문수는 대승불교에서 최고의 지혜를 상징하는 문수보살이 머물렀다 하여 유래한 지명으로 무거마을의 매력에도 문수보살이 나타난다. 신라의 김부대왕(경순왕)이 나라의 제사를 지내면서 꼭 문수보살을 청해서 제사를 주관하게 하고 싶었다.
그래서 신하들을 각지로 보내어 문수보살을 찾아 모셔 오게 했다. 신하들이 흩어져 각지의 절을 다 뒤졌으나 절에 스님이 있는 곳이 한군데도 없었다. 울산 지역을 뒤지던 신하들이 통도사를 거쳐 문수산자락으로 올라오다 보니 산중에 불빛이 비치는 곳이 있어 찾아갔더니 암자가 하나 있고 거기에 스님 한 분이 계셨다.
자세히 살펴보니 그 스님은 문둥병자였다. 신하들이 깨끗하지 못하다고 생각하고는 바로 돌아 나와버렸다.
신하들은 임금님께로 가서 스님이 계시는 절이 한 곳도 없고 오직 한 분 찾은 스님은 문둥병자였다는 사실을 전했다.
김부대왕은 스님 없이 나라의 제사를 지낼 수 없다고 생각해서 신하들에게 다시 한 번 찾아보고 그래도 몸이 성한 스님이 없으면 그 문둥병자인 스님이라도 모셔오라고 명령하였다. 그래서 신하들이 다시 찾아보았으나 다른 스님을 찾을 수 없었기 때문에 그 절로 가서 문둥병자인 스님에게 서울로 갈 것을 청하였다.
그러자 스님은 자신이 어떻게 그런 일을 할 수 있겠냐고 하면서 신하들의 간곡한 부탁을 사양하다가 신하들의 물리력으로 어쩔 수 없이 서울로 와서 제사를 주관하게 되었다
스님은 제사를 지내면서 피고름이 뚝뚝 떨어지는 손으로 제물들을 일일이 만지니 임금님과 신하들은 두려움이 앞섰다. 제사를 마친 스님은 임금님과 신하들에게 그 음식을 음복(飮福)할 것을 권했다.
임금님과 신하들은 더럽게 생각해서 그 음식을 먹지 못하고 스님에게 모두 싸 가지고 가라고 했다.
스님이 떠나갈 때에 임금님은 문둥병자인 스님이 나라의 제사를 맡아 지냈다는 사실을 백성들에게 발설할까 두려워 스님을 조용히 불러 “스님께서 이번 나라의 제사에 참여했다는 말을 입 밖에 내지 말아 주십시오. 그것이 제 소원입니다.” 라며 부탁을 하였다.그 얘기를 들은 스님은 문밖으로 천천히 나서시며 문득 돌아서서 임금님을 향해 말하기를 “이번에 문수보살을 모셔다 나라의 제사를 지냈다는 말을 입 밖에 내지 말아 주십시오. 그것이 제 소원입니다.”라고 말하시며 가시는것이었다.이 말을 들은 임금님은 그 스님이 문수보살의 화신(化身)임을 확연히 깨닫고는 스님을 붙들기 위해서 바삐 뒤를 쫓아갔다. 그러나 잡힐 듯 잡힐 듯 하면서도 스님은 끝내 따라잡을 수가 없었다. 스님을 붙들려고 울산까지 따라온 임금님이 삼호에 이르러 바라보니 앞서가던 스님의 모습이 홀연히 사라지고 말았다. 그래서 문수보살이 간 곳이 없어졌다는 뜻에서 ‘없을 무(無)’, ‘갈 거(去)자’를 써서‘무거(無去)’라고 부르게 되었다고 한다.