仁王門をくぐると、ブロンズの観音さんがずらりと並んで迎えてくれる。創建ころのこの付近一帯は広大な桑園で、絹の生産地であったようである。縁起によると、和銅5年、この地方の領主、和気道隆公が桑の大木を切り、小さな薬師如来像を彫造し、草堂を建てたのが寺の初めといわれる。道隆公は、周囲5メートル近い桑の大木が、夜ごと妖しい光を放っているのを見た。この光を怪しみ矢を射ると、女の悲鳴があり、乳母が倒れて死んでいた。嘆き悲しんだ道隆公は、その桑の木で仏像を彫り、草堂に安置して供養する。