臨済宗の禅寺である。はじめ播州男山にあり、三要庵と称し、同国野里の慶雲寺の住職南景の設けた庵寺であったっが、池田輝政が野遊の途次立寄って三友寺と改めた。寛永九年の国替えで池田光政が鳥取から岡山に移ったとき、南景の法弟孤法峰の弟子牧翁なるものが光政に従うて岡山に来たので、岡山の御堂屋敷（森下にある）に寺地を与えて、三友寺をこれに移し牧翁を従持とした。延宝元年の旭川の洪水で伽藍が大破し、その機会に現在の門田屋敷に移して復興した。ついで明治二十年十一月には御成道にあった神光山蓬雲寺を三友寺に合併した。
文政十年の池田家絵図を見ると、今の東山大道の北側の田圃中に正方形に地域を劃し、周囲に水溝をめぐらした一郭があって、「三友寺・年貢御免」の書入れがある。境内はあまり形を変えることなく周囲が屋敷町となり、戦災前になお六
四五坪余の寺域を保っていた。建物は本堂、庫裡、開山堂、観音堂、山門があったが、昭和二十年六月の空襲にこの付近は火の海となり、三友寺もまた山門だけを残して焼失した。戦後は寺域に民家がたち、山門まで住居に取り入れられる有様となったが、それでも焼跡に木造洋風の本堂を再建、庫裡も建てた。
この寺に合併した蓬雲寺については確かな記録は残っていないが、宝永二年二月二十六日に三友寺住職鹿門なるものから寺社奉行に差出した中牒（寺社留）により、三友寺住職牧翁の弟子北蔵主が入ったいた寮が土倉淡路守の母隣松院から寄進したもので、隣松院の父村上周防の法名蓬雲院をとって寺号としたのにはじまり次第に寺院と「なったことがわかる。この寺は大体宝永二年以前から存在し、正徳年中に東山に移して宝珠庵と号し、宝暦年間に門田屋敷に移して蓬雲寺と称したようで、本尊は釈迦如来であった。三友寺の本尊は十一面観音であるが、蓬雲寺を合併したので釈迦が加わった。