伝承によれば行基（ぎょうき）により創建され、767年（神護景雲元年）に古稱陀洛山 神宮寺（こしょうだらくざん じんぐうじ）または大乗院（だいじょういん）と称され、上宮神（現在の赤坂上之山神社）を鎮守として完成しました。
1699年（元禄12年）に曹洞宗に改められたと言われています。
池には斑蓮（まだらはす）と呼ばれる蓮があり、これは創建当時に植えられたもので、現在では全国に数箇所しかない珍しい種類のものであるそうです。そのため、お寺の呼び名も「白蓮華（しろれんげ）の寺」とも言われています。
また、池の周りには多数の羅漢像があって、木造阿弥陀如来坐像は平安時代末期に祀られたもので現在は国の重要文化財に指定されています。
