泰山寺には、水難で人命を失う悪霊のたたりを鎮めた伝説が根強く残っている。弘法大師がこの地を訪れたのは弘仁6年のころ。蒼社川という川がこの地方を流れており、毎年梅雨の季節になると氾濫して、田地や家屋を流し、人命を奪っていたため、村人たちは恐れ苦しみ、人取川といって悪霊のしわざと信じていた。この事情を聴いた大師は、村人たちと堤防を築いて、「土砂加持」の秘法を七座にわたり修法したところ、満願の日に延命地蔵菩薩を空中に感得し、治水祈願が成就したことを告げた。大師は、この修法の地に「不忘の松」を植えて、感得した地蔵菩薩の尊像を彫造して本尊とし、堂舎を建てて「泰山寺」と名づけた。