예로부터 전해 내려오는 전설에 의하면, 동래 지역의 어느 마을에 김씨 할머니라는 분이 계셨다. 그 분의 영감님이 배를 타고 고기잡이를 나갔는데 영감님은 돌아올 시기가 지나도 돌아오지 않았다. 하루 이틀 기다려도 영감님이 돌아오질 않자 할머니는 제당 옆에 있는 소나무에 올라가서 영감님을 기다렸다. 그러기를 수없이 반복한 끝에 결국 기다리다 지쳐 할머니는 죽게 되었다.

그 뒤에 이 소나무 이름이 망부송이 되었고, 그리고 할머니가 또 다른 자리에서 기다린 반석 자리는 망부석이 되었다고 한다. 그리하여 이 마을 할머니를 시조로 모시고 제당을 형성하게 된 것이 김해 김씨 할머니 전설로 전해진다.