괴산은 삼국시대 3국의 접경지대로서 백제와 신라와 고구려 사이에 충돌이 잦았던 곳이다.

신라 진평왕 28년(606)에 신라장수 찬덕이 가잠성을 지키고 있을 때 백제의 대군이 침입하여 백여 일을 포위 공격하여 성은 완전히 고립되고 바람 앞에 등불 같은 위기에 직면하게 되었다. 신라에서 여러번 원군을 보냈으나 그 때마다 패하고 달아나 버려 성안은 식량과 물이 떨어지고 군사의 사기는 땅에 떨어졌다.

성주인 찬덕이 의롭게 싸우다 죽을 것을 명령 하였으나 군사들은 항복하여 목숨을 보존하길 원하였다. 찬덕은 운명이 가까워 온 것을 깨닫고
 "너희들은 내가 죽은 후에 항복하라. 나는 죽어 귀신이 되어 백제놈들을 잡아갈 것이다."라고 외친 뒤 앞의 느티나무에 머리를 들이 받고 장렬하게 죽었다.

후에 이 소문을 들은 김춘추(金春秋)는 찬덕장군의 높은 뜻을 기리기 위해서 가잠성을 ´괴산(槐山)´이라 부르라고 하였다. 이것이 괴산이라 부른 유래라고 전해진다.