四国八十八ヶ所霊場・第81番札所で、五色台の白峰山にある古刹です。弘仁6年（815年）弘法大師（空海）が、白峯山中に如意宝珠を埋め、閼伽井（あかい）を掘り、後に智証大師（円珍）が堂宇を建立したと伝えられています。
当寺にはすべての干支の守り本尊が各堂に祀られており、四国で唯一の御陵である白峯陵が隣接し、讃岐三天狗、日本八天狗の一狗である白峯大権現（相模坊）が守護しています。
また県内最大落差を誇る稚児の滝があり、一年を通して花が楽しめ、特に春は桜、夏は紫陽花、秋は紅葉が有名でシーズンには多くの参拝者が訪れます。
県道鴨川・五色台線から白峯寺へ入る途中にある苔むした石造りの「白峯寺十三重塔」をはじめ、境内には国指定の重要文化財のお堂が立ち並びます。