「佐伯の遺跡」（佐伯町中央公民館編）は、この長楽寺について、孝謙帝の勅願による報恩大師の開基で、備前四十八箇寺に一寺として建立され、天台宗山門派に属す。度々の兵火にあい荒廃したが、源頼朝、浦上宗景の祈願所として再建され、盛時は三十二坊建ちならび、寺名も安生寺、長福寺とかわり、江戸時代に長楽寺となる。
昭和三十三年に本堂炎上し、現在は仁王門、十王堂、薬師堂を残すのみと紹介している。
寺に伝わる縁起をみても、この紹介に尽（つ）きているが、なおできるかぎり忠実に再録してみることにした。
この寺は天平勝宝年中（749〜756）孝謙帝の勅願を得て、報恩大師によって開基された備前金山金山寺を惣本寺とする末寺で、当時は寺領百五十石、寺敷には三十二坊が軒を並べて隆盛を極めた。
開基から百余年の後の仁寿天安の頃（849〜857）兵火のため荒廃し、僧徒は諸所にその身を潜めて廃寺同様となったが、康保年中（964〜967）信源上人により中興されたものの、歳とともに衰微していった。
文治年中（1185〜1189）源頼朝が西国の逆徒没落の時（平家滅亡の時）西国諸国の平穏を祈願して、当寺と、八塔寺、作州英多郡（今の英田郡）鳥坂山妙徳寺を同時に建立した。本寺はその時十五坊あり、かつ四方傍示（ぼうじ）の指定がされた。山の面は、道祖ﾀﾜから南鉄炮段までは、ｸｲﾋﾞ坂、黒岩、横ｶﾞｹ、横ﾉ小池、野竹、一之滝、大井、尾ﾉ出崎、堂屋敷、三本松、島首で、傍示（ぼうじ）敷は十二箇所あった。西は、鉄砲段より北東、道祖ﾀﾜまで宇根切細道あり。その他、境内、山林竹木は御赦免となり、寺領は先規（ｾﾝｷ）のとうり（百五十石か）奉納せられ、僧徒は日夜勤行を怠らず、日を逐うて繁昌した。
元弘建武の頃（1331〜1335）元弘の変を初めとして、楠正成の挙兵、後醍醐天皇の隠岐流島、鎌倉幕府の滅亡、新田義貞の挙兵、足利尊氏の鈑等々相継いだ激動の世に、寺は公役をおそれてやむなく寺領を差し上げて無禄寺となってしまった。
弘治年中（1555〜1557）天神山城主浦上宗景が祈祷所とし、城の近辺にあって零落していた照光山安養寺、鳥坂山妙徳寺、一倉山宝城聚寺もこの長福寺とともに再興し、寺領境内等も先規のとおり寄進され漸く昔の立派な姿を取り戻した。
天正五年（15577）八月十日天神山城が典型的な下剋上のため、宇喜多直家の攻略にあい遂に宗景は少数の家臣に護られて敗走し、天文二年の築城から四十数年にして落城するのであるが、このとき寄手の兵火は、堂舎仏閣寺院はもとより、民家をまで悉く焼払ったが、事が余りにも急であったため、本尊の守護者すらなく、一拠にして寺院中絶の運命となったが、霊仏の験（しるし）あらたかにして、本尊は竜天に護られて、南山形（南山方）の薬師堂に安置されていた。
降（くだ）って、文禄年中（1592〜1595）比叡山探題僧正豪円（たんだいそうじょうごうえん）が金山寺にきて、諸所の廃寺を復興した。当寺の再興も予め余（われ）（澄運＝豪円の弟子）に再興の命があったので、これをうけて現地にきて古老について古事や本尊のことをきいたところ、数々のいやちこな霊験を聞かされた。このことによって、信者もにわかに増加したので、元の寺屋敷に正殿（せいでん）を造って本尊を遷座した。ついで寺院、三坊を建立して開基報恩大師の厚恩を追遠（ついえん）し、天下泰平を祈願し、郡生済度に寧日（ねいじつ）がなかったので、豊臣（ほうしん）（豊臣秀吉の臣）宇喜多秀家から高二十石、境内先規のとおり、山林竹木御赦免の折紙を授けられ、文禄四年極月吉日これを納受したことを録している。
この縁起は、慶長十二年（0607）二月涅槃（ねはん）の日、再興の本願寺主澄運（ちょううん）によって成ったものである。
なお寺名について筆を加えて、開山当初は宝厳院安生寺（ほうごいんあんしょうじ）で、その後杉沢山長福寺となったとして筆を擱いている。
この後長楽寺となるのであるが、その時期については明らかでない。一書では、弘治年中の浦上宗景の祈祷所となったときとしているが、江戸時代この寺に寄進された器物に長福寺とある以上、この説は信用できない。
金山寺文書、文禄四年十二月の「備前国四十八箇寺並に分国大社神領記」は四十八箇寺を総記するものとしては、現存するものとして最も古いものであるが、その中の「備前国四十八箇寺書立之事」において「杉沢山」を標記し、寺領二十石を示しているは、なぜか寺名が省略されている。
さらに吉備温故は、寛政年間（1789〜1800）に編集された集成地誌であるが、これに「和気郡杉澤山長楽寺圓了院、本尊観音」と出ているから、この集成時（徳川将軍十一代家斉の世）には長楽寺となっていることはいうまでもない。
寺領を巡れば、山中に教塚がある。心ない人の手によって、無惨に荒されて、夥（おびただ）しい甕（かめ）の破片が残されているのに眼を覆う。
山門から南へ約百五十ﾒｰﾄﾙ、山道が北に折れる地点に、岡山県指定の文化財「石造五輪塔」が古色蒼然と遺されている。
この寺は、昭和十二年五月十二日、往時の修験を中心とする山岳尊崇観から、むしろ信者側の利便にたって、僻陬（へきすう）の地から潔く下山を発念して、矢田の地に仏地を相し、新たに伽藍を建立し、本尊を遷して現在におよんでいる。
杉沢の廃寺は、そのまま保存されていたが、昭和三十三年春、不幸にして炎上の厄にあい、現在は仁王門、十王堂、薬師堂を遺すのみとなり、ひっそりと古刹の遺跡として寂静を漂わせている。