寺には次のような伝説があります。昔、青峰山には人間を食べる恐ろしい怪獣、牛鬼が棲んでいました。村人は、弓名人山田蔵人高清に頼み退治してもらうことしました。しかし、高清が山へ入れど、なかなか牛鬼が現れません。そこで高清は根香寺の本尊に願をかけました。すると21日目の満願の暁に、牛鬼が現れ口の中に矢を命中。逃げる牛鬼を追うと2ｋｍほど西の定ヶ渕で死んでいるのを発見しました。高清は牛鬼の角を切り寺に奉納。その角は今でも寺に保存されています。また牛鬼の絵は魔よけのお守りとして親しまれています。