조선 선조 초기에 진묵대사란 분이 이 암자에 있으면서 불상을 만들다가 완성되기 전에 어디로 가면서 다시 자기가 와서 완성하기 전에는 아무도 손을 대지 말라고 부탁해서 그 말대로 하였는고 그 뒤 진묵대사가 영원히 돌아오지 않았다. 그렇기에 흙만 바른 부처로 전해오고 있다고 한다. 이 불상과 관련 깊은 진묵대사의 본명은 일옥이라 했는데 이상한 행적이 많았다.

어떤 날 저녁 여러 사람의 꿈에 호법신이 나타나서 부처가 차 받드는 일을 하는 것은 황공하다고하는 꿈을 꾸었다고 한다. 그런데 다음날 진묵대사는 그 암자에서 차 받드는 일을 맡았는데 처음은 모두들 어리둥절하게 생각했다.

이 후에 남녀 나무꾼이 산에서 부랴부랴 쫓겨오면서 대성 통곡을 해서 사유를 들은즉 일옥이라는 중이 불로 지져서 그 기운에 못 이겨 도망해 왔다고 했다. 그 말을 들은 여러 사람들은 무릎을 쳐 진묵대사가 부처임을 깨닫고 더욱 대사를 존경하게 되었다. 뜨거운 불로 나무꾼에게 붙은 마귀를  물리친 것이기 때문이다.

이 운문암은 6.25사변에 불타버리고 지금은 그 유적만이 남아있다.