이 사찰은 신라 선덕여왕 14년(645) 원효대사가 창건하여 자재암이라 하였고 고려 광종 25년(974)에 왕명을 받아 각규대사가 중창하였으며, 의종 7년(1153)에 화재를 당해 이듬해 각령대사가 대웅전과 요사 일부를 중건하였다. 조선 고종 9년(1872) 원공선사와 제암화상이 퇴락된 이 사찰을 44칸의 건물로 복원하고 영원사라 개칭하였다. 순종 융희 원년(1907) 일본에 의해 강제 해산당한 군인들이 각처의 의병과 합류하여 독립전쟁이 한창일 때, 의병의 근거지였던 이곳도 일본군의 공격을 받아 불태워졌다. 그후 2년 뒤에 제암,
