칼바위라 하는 바위는 그 모양이 마치 칼처럼 뾰족하다하여 붙여진 이름으로 쟁기바위, 보습바위라고도 한다.

임진왜란때 왜군이 쳐들어와 이 일대 주민들을 약탈하자 이름을 알 수 없는 우리나라 장사가 혼자서 왜군의 진격을 막아섰다고 한다. 왜장이 그 기백을 크게 칭찬하여 한가지 제의를 하였다.
  "당신의 기백을 보니 대단하오. 우리 장사와 턱걸이 내기를 해서 당신이 이기면 그냥 물러가겠소. 어떠시오?"

선택의 여지가 없었던 장사는 결국 왜군 장사와 턱걸이 내기를 하였다. 양국의 장사는 그 실력이 막강하여 우열을 가리기가 힘들었다. 내기 막바지에 이르러 왜군 장사가 99번을 하고 백번째 하려는 순간 힘이 다해 바위 밑으로 떨어져 버렸다. 그충격으로 바위의 끝이 쪼개져 나갔다고 한다.

약속대로 왜군이 물러간 후 긴장이 풀린 우리나라 장사가 오줌을 누었는데, 그 오줌 줄기가 얼마나 강한지 바위 한 가운데가 움푹 패여 나갔다고 한다. 그때 움푹파인 바위를 팽이바위라 하는데 칼바위 인근에 위치하고 있다.

칼바위가 세워진 틈새는 겉으로 보기에는 겨우 한사람이 들어갈 수 있을 정도이나 속은 매우 넓어서 6·25때는 이곳에 숨어 서울이 수복될 때까지 기다린 사람도 있었다고 한다. 지금은 인근 주민들의 여름피서지로 활용되고 있다.