南朝梁天監四年（公元505年），梁都建康（今江蘇省南京市）道林寺高僧寶志江南著名方士白鶴道人“斗法”，卓錫得地，開山建剎。初名菩提庵，武帝蕭衍聞奏，賜額“山谷寺”。北周建德六年（公元577年），周武帝宇文邕滅佛，誅滅沙門，禪宗三祖僧璨南徙隱避皖公山（即今天柱山風景名勝區），往來于司空山（今安徽省岳西縣境）與皖公山之間，幽棲林野，澗飲松餐，積十余年無人知曉。隋文帝開皇十年（公元590年），僧璨正式駐錫山谷寺。開皇十二年（公元592年），沙彌道信投謁僧璨，求“解脫”法門，奉師九載。仁壽元年（公元601年）受僧璨衣缽，是為禪宗四祖。湯帝大業二年（公元606年），僧璨于寺前法會大樹下為四眾說法時，合掌立化，葬于寺后。
唐玄宗天寶四載（公元745年），舒州別駕李常啟僧璨遺骨火化，得舍利子三百粒，以百粒塑僧璨像，出已俸建舍利塔，置像于塔座南竇。乾元元年（公元758年），肅宗李亨賜山谷寺名“三祖山谷乾元禪寺”。大歷七年（公元772年），代宗李豫又謚僧璨號“鑒智禪師”，賜塔名“覺寂塔”。會昌五年（公元845年），武宗李炎滅佛，寺與塔俱毀，宣宗大中初（公元847年），寺塔又獲重修。
宋太平興國七年（公元982年，）舒民柯萼于萬歲山（即玉鏡山）古松下掘出一石篆，上鐫寶志手書“圣祚綿遠”4字，進獻于朝。太宗趙光義取名“瑞石”，遣使至三祖寺致謝，謚寶志名“寶公”，賜號“道林真覺禪師”。天圣六年（公元1028年），，章獻皇太后降旨，為仁宗趙禎增壽，選舒州山谷寺為道場，降賜佛牙舍利，建資壽寶塔。皇祐二年（公元1050年），塔被雷焚，宋廷復飭造資壽寶殿。宋末，元兵南侵，三祖寺被兵火燎劫，唯塔獨存。明清兩代，屢修屢毀。至民國初，始有恢復，但規模僅限于塔院，山下大殿，山門等，均成一片廢墟。
三祖寺位于潛山縣城西北9公里的天柱山麓，此地群山環抱，溪谷幽深，山谷中突起一峰，三祖寺建于其上，故又有山谷寺之名。自南北朝以來，歷史一許多文人墨客紛踏而至，在祖寺西側的山谷之中，至今仍留有李德修、王安石、蘇東坡、黃庭堅、李公麟等唐宋以來300多塊名人石刻。
自唐宋以來，三祖寺一直是禪宗南派舒州一方的叢林，按叢林規制而容納十方僧眾，其住持人須由住寺僧眾公認，由十方名德的合適者擔任，故三祖寺史屬“十方叢林”。據《大乘義章》卷十三稱：叢林“能生智慧、神通等功德”，因而三祖寺亦稱“功德叢林”。三祖寺的叢林組織，按十方叢林規制，設置禪堂、客堂、庫房、衣缽寮四大堂口歸口管理，并根據四大堂口的寺務分工，在住持以下，設東、西兩序，分別由監院和知客負責。
佛像，是佛教徙舉行宗教儀式時頂禮膜拜的重要的精神象征。*禪宗自六祖慧能以后，僧徙僅以道法相傳，多穴處巖居，或寄于律宗別院，不立佛像，不參禪拜佛，齟齬時生。馬祖道一乃創叢林，以安禪侶；百丈懷海制定清規、肅整禪風，叢林之制，漸次興盛；佛像供置，復踏正軌。三祖寺的佛像，民國以前無史料可考；民國間的佛像，盡毀于“文化大革命”，無一幸免。1979年以后至今，由簡陋而豐富。1985年以前，僅有數尊經改制和信眾敬獻的木刻佛像，且規格較小。1988年，*仰光妙明法師贈送一尊40厘米高的玉石佛像；1993年，又增加了一尊5.5米高的漢白玉釋迦像和2.5米高的漢白玉迦葉、阿難像。1996年，三祖寺又投資50萬元，先后鑄成銅質釋迦太子、彌勒、千手千眼觀音，韋馱、達摩、慧可、僧璨、寶志像，每尊重量達300公斤，使三祖寺的佛像供置，達到了一個新的歷史水平。
佛教經典是佛教徙進行修持、求得無上智慧、達到真如境界的理論基礎和思想武器。它包括經、律、論三部分。經，是由佛陀說出，由其弟子集成的佛的言論，后被譯成漢文，取名曰“經”。律，是印度早期佛教時由佛陀及其弟子制定并陸續完善的各種戒律。論，是后世僧人對于經、律理義的詮釋、闡發以及對于佛教哲學思想的探討、研究的言論和文章。經、律、論的總集，則是《大藏經》。1990年，臺灣佛教協會通過全國佛教協會趙樸初會長轉贈給三祖寺一套漢譯縮印本《大藏經》，珍藏在藏經閣內。從此，三祖寺有了一套完整的佛教經典而傳延后世。
佛事活動，是佛教徙按照佛教儀規所舉行的一種宗教儀式，并根據佛教各宗派的特點，有其佛事活動的特色。三祖寺佛事活動的開展，均按禪林規制舉行，并同時開展漢地佛教寺院共同開展的佛事活動，以及對外交流活動。在三祖寺的佛事活動中，尤以阿彌陀佛的圣誕日紀念活動|——“彌陀七”*隆重，它是三祖寺十幾年來最活躍、規模*佛事活動。佛教徙的“三皈依”、居士的“五戒”也都在“彌陀七”這場佛事活動中舉行。改革開放以來，隨著人們生活水平的逐漸提高，千百年來流傳在民間的各種習俗越來越被人們所事視，有相當一部分習谷活動在三祖寺舉行。正月初一，數萬計的社會青年擁到三祖寺“出行”，拜佛年，圖在新的一年里吉祥平安，萬事亨通；三月初三，民間傳說是三祖僧璨的誕日，江南、江北皖、鄂等省的信徙，結成一支支數百人的“朝山”隊伍，專車來三祖寺。禮謁三祖，謂之“百子香”；九月初九，金秋重陽，一些老人結伴登山禮佛，吟詩唱和。這些，又給今日三祖寺增添了一個新的佛事活動內容——民俗佛事。
在高僧輩出的*佛教禪宗中，三祖僧璨則是一位杰出的大師。他不僅在北周宇文氏滅佛、隋楊廣餮滅建康的危境中忍辱負重，將禪宗這一剛剛植入*土壤的新的佛教宗派從瀕臨滅絕的危境中拯救出來，使之延續發展，同時，他在隱避皖公山的十數年間，完成了他的畢生之著《信心銘》，為禪宗思想體系的形成奠定了堅實的理論基礎。
四祖道信，少年來三祖寺，在僧璨精心培育下，受領禪宗衣缽，傳法于皖、贛、鄂三省，改《楞伽經》為《金剛經》傳家，為后來六祖慧能的“頓悟”法門開示了理論先導，也為禪宗的較后形成拓寬了理論領域并奠定了組織基礎。嗣后，唐代的智、宋時的守禧、明季的善達、清初的東源，以及民國時的月海等，都為振興祖業，光耀宗風作出了各自的貢獻。
在歷代高僧駐錫的同時，三祖寺也得到了諸多檀越的護持。上自帝室，下至庶賢，如：梁武帝蕭衍，唐肅宗李亨、代宗李豫、宣宗李忱，宋太宗趙光義、仁宗趙楨；唐舒州別駕李常、刺史獨孤及、張彥遠；梁潛邑隱士何氏三高、明處士葛暹等。雖然他們出于各自不同的動機和目的，但畢竟對三祖寺的興盛和發展起過重要作用。
三祖寺也曾以它歷史上的輝煌招來了歷代達官顯貴、墨客騷人。僅北宋一朝，就有林逋、王安石、蘇東坡、黃庭堅、李公麟、陸宰等游寺題詩。至于唐代的李翱、李德修、呂渭，宋代的李師中、周邦彥、徐俯和范成大，明代的劉基等，他們雖然沒有留下直接吟詠三祖寺的詩篇，但在山谷流泉的崖壁上，卻留下了真跡。山谷流泉的300多處石刻的作者，無一不與三祖寺結下了不解之緣。
三祖寺歷史悠久，文物相對集中。但在經歷了1000多年的風雨剝蝕和兵災劫亂之后，幾乎盡毀無余，以至今天很難見到它歷史的一斑。據舊《潛山縣志》載，漢武帝祭岳時用的四只大鑊，明末尚有一只存于三祖寺內，后卻不知所終。“文化大革命”中，據當地民眾目睹，“紅衛兵”毀塔無計，將造龕中的僧璨舍利像砸毀，并將像內一卷黃綾經文投入火中。這卷黃綾經極有可能就是僧璨的《信心銘》。今日三祖寺的文物，主要是幸存下來的部分古建筑、摩崖石刻及碑刻。這些石刻、碑刻，不僅為今日游人增添游景攬勝、撫古思今的感慨，而且還可以通過這些斷斷續續的記載，把三祖寺歷史的這串零散的珠璣連綴起來，以再現其昔日的風采。
隨著天柱山旅游事業的不斷興盛和古皖文化研究的不斷深入，三祖寺不僅以其獨特的風韻而成為天柱風景名勝的重要一景，更重要的是它那得天獨厚的地理位置曾經引起并將繼續引起有識之士的矚目。它地處吳楚分疆的八皖之首，以古南岳天柱山為依托，向南與安慶、九華山、黃山、廬山連成一道佛教文化“長廊”；向西與安徽岳西司空山、湖北黃梅雙峰山形成一個禪宗發祥的“金三角”，而三祖寺則是這個“長廊”和“金三角”的聯結樞紐，成為探索和研究禪宗源流及禪宗文化的大本營，成為皖西南旅游風景線上的一顆璀璨的明珠。[1]