霊山寺の所在する富雄の里は、古事記には「登美」であり、日本書紀では「鳥見」の地となっています。
敏達天皇の頃より、この地方は小野家の領有でした。右大臣小野富人(遣隋使・小野妹子の息子と伝わる)は壬申の乱に関与したため、弘文元年(672)官を辞し、登美山に閑居しました。天武12年(684)4月5日より21日間熊野本宮に参籠。この間に薬師如来を感得され、登美山に薬草湯屋を建て、薬師三尊仏を祀って諸人の病を治されました。そして富人は鼻高仙人と称され尊崇されたのです。
神亀5年(728)流星が宮中に落下し、大騒ぎになり孝謙皇女が征中の病(ノイローゼ)にかかられた時、聖武天皇の夢枕に鼻高仙人が現れ、湯屋の薬師如来を祈念すれば治るとのお告げがあり、すぐに行基菩薩が代参。皇女の病が快癒しました。天平6年(734)聖武天皇は行基菩薩に大堂の建立を勅命。
天平8年8月インドバラモン僧、菩提僊那が来日され、登美山の地相が霊鷲山(りょうじゅせん)にそっくりということから、寺の名称を霊山寺(りょうせんじ)と奏上され、落慶となりました。
平安時代、弘法大師が来寺され、登美山に力の強い龍神様がおられると感得され、奥の院に大辯才天女尊(辯天さん)として祀られました。それまで当寺は法相宗でしたが、弘法大師が真言宗を伝えられ、以後は法相宗と真言宗の2宗兼学の寺となりました。
鎌倉時代には北条氏の帰依厚く、弘安6年(1283)本堂の改築、堂塔寺仏の修復新調が行われ、僧坊21ケ寺という所説からも非常に栄えました。その後、豊臣秀吉公の社寺政策により寺領百石を与えられ、また徳川幕府にも受け継がれ、御朱印寺として国家安泰と五穀豊穣そして幕府の武運長久を祈願して参りました。
ところが明治維新の廃仏毀釈により、伽藍の規模は半減、200体以上の仏像焼却の運命をたどりました。しかし本尊薬師如来のご加護と、弘法大師が勧請された大辯才天の霊験により復興し、今もなお国宝重文建物6棟、重文仏像宝物30余点を所蔵し、隆盛を保っています。
境内にある1200坪の薔薇庭園は先代住職の戦争体験から平和を願って、昭和32年に開園されました。200種2000株の色とりどりの薔薇が心の安らぎを与えてくれます。