백담사라는 절은 원래 화천이라는 곳에 북금사(北琴寺)라는 이름으로 있었는데 인제군 북면 한계리로 절을 옮기고 한계사라 칭했다고 한다.

한계리로 옮긴 이 절은 이곳에서만 다섯 차례나 화재를 당했다고 한다. 그런데, 화재를 달할 때마다 신기하게도 주지스님의 꿈에 도포를 입고 말을 탄 사람이 나타나 절터를 옮기고 이름을 고쳐보라고 일러주곤 하였다.

화재를 자주 당한 절은 부근인 용대리 암자동(庵子洞)에 옮겨 영취사(靈鷲寺)라고 이름을 고치기도 했으나 이곳에서도 화재를 당했다. 여기서 또 다시 화재를 당하자 주지스님은 이름이 잘못되었기 때문인 것으로 알고 이름을 고치려 했다.

그런데 어느날 주지스님의 꿈에 백발노인이 나타나
 "청봉에서 절까지 담을 세어 담이 백개가 되는 장소에 사찰을 건립하면 삼재를 면하리라"
 고 일러주는 것이었다.

꿈에서 깨어난 주지스님은 그 이튿날 청봉에서부터 절까지 물굽이를 세어 백번째가 되는 현재의 자리에 절을 세우고 백담사라 이름지었다. 그 후부터는 화재가 좀처럼 일어나지 않는다고 전해진다.