도선국사는 우연히 아무렇게나 방치되어 있던 불상을 발견하고 수정산에 있는 안양사라는 절로 모시기 위해 승려들과 함께 암소 등에 싣고 먼 길을 재촉하였다. 불상을 아무렇게나 방치한다는것은 불경스러운 일이라 생각하고 급히 서둘러 발걸음을 재촉하게 되었다. 그리하여 택한 지름길이 이 암소고개였다.

해는 저물고 점점 승려들과 암소는 지쳐만 갔다. 이들은 이 고개 마루터에 잠시 쉬기로 하였는데 쉬는 동안에 이상한 일이 생겼다. 그것은 다름아니라 암소 등에 실어 놓았던 불상이 자취를 감춰버린 것이었다. 승려들은 당황하여 여기저기 찾아 해매 었으나 불상은 결국 보이지 않았다.

그런데 어떤 스님이 지금의 도피안사 자리에 이르렀을 때 그 불상이 이곳에 앉아 있는 것을 발견하였다. 도선국사는 이 불상을 안양사에 모실 것을 포기하고 그 자리에 암자를 짓고 이 불상을 모셨다고 한다.