옛날 아주 평화스럽게 지내던 마을에 갑자기 흉년이 들어 밥한끼 제대로 먹지 못하고, 어린 아기는 젖을 못먹어 울음을 그치지 않았다. 사람들은 먹을 것이 없어 다른 마을로 이사를 가거나 이사를 가지 못한 사람은 집에서 기르는 가축을 잡아 먹었다. 이마저도 못한 사람은 죽을 지경에 이르렀다.

이러한 마을에 아주 늙은 노파와 어린 손자가 있었는데 이 노파는 먹을 식량이 없어 참다 못하여 어린 손자를 업고, 마을에서 10리쯤 떨어져 있는 연흥사라는 절을 향해 가고 있었다. 때는 여름이라 햇살이 매우 뜨거웠다. 특히 늙은 할머니인지라 더위를 무척 탔다. 가는 도중 마침 더위를 피하기에 알맞은 바위가 있었다.

할머니는 어린 손자를 업고, 바위로 올라가 쉬었다. 손자도 배가 고파 울고, 할머니도 곧 쓰러질것만 같았다. 그런데 그때 할머니가 어린 손자를 보더니 군침을 삼키는 것이었다. 그리고는 할머니가 어린 손자를 얼른 잡아 먹고 어디론가 사라져 버렸다고 한다. 그 이후로 이 바위는 「손자바위」라 불리게 되었다고 한다.