当山は行基ゆかりの橋本寺を起源としています。

西遊寺を開山された感譽上人（のちの大本山増上寺第10世法主）は、元小田原城主北条氏康の次男で、1570年氏康公の命により上洛し、法然上人八幡宮参篭の由緒地である橋本寺に留まり、奥橋本山から現在の地に移し当山を創建しました。

当山2世欣譽上人はさらに立派な本堂を建立し、師、感譽上人の西国遊歴の縁起により、寺号を「西遊寺」と改めました。
当山3世救譽上人の代、1600年5月徳川家康公より朱印5国3斗を給わり、それ以後家康公出陣の際には金襴の袈裟を給うなど法灯盛んになり、別格本山として末寺9カ寺を頂きました。

現在の本堂は、当山21世戒譽上人の代（1830年頃）に建てられました。