传说五台最早是道家的地盘，《道经》里称五台山为紫府山，曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来中国时，居于石盆洞中，而石盆在道家的玄真观内，这说明当时五台山为道家所居。

　　佛教最初传入我国时，只有少数人奉行。公元前二年，大月氏国(原居我国新疆西部伊犁河流域的少数民族，西迁中亚后建立的国家)国王的使者伊存来到当时中国的首都长安(即今西安)，他口授佛经给一个名叫卢景的博士弟子，这是中国史书上关于佛教传入中国的最早记录。

　　佛教传入五台山，普遍的说法是始于东汉。史籍记载，永平十年(公元67年)十二月，汉明帝派往西域求法的使者同两位印度高僧摄摩腾和竺法兰来到洛阳。

　　永平十一年在洛阳城西雍门外御道之南，建造一座僧院以供这两位印度高僧居住。为纪念白马负经(《四十二章经》)输像(佛像)之功，因名白马寺。

　　永平十一年，摄摩腾、竺法兰从洛阳来到了五台山(当时叫清凉山)。由于山里很早就有阿育王的舍利塔，再加上五台山又是文殊菩萨演教和居住的地方，他二人想在此建寺，但由于当时五台山是道教根据地，他二人颇受排挤，因此奏知汉明帝。汉朝廷为辨别佛教与道教的优劣高下，让僧人与道士表演、说明、验证，因此双方达成协议——约期焚经，以别真伪(相传，焚经地点在今西安焚经台)。焚经的结果，道教经文全部焚毁，佛教经文却完好如初，故他二人获得建寺的权利。台内山多地广，河流纵横，何处适合建寺?《清凉山志》载：“在大塔左侧，有释迦牟尼佛所遗足迹，其长一尺六寸，广六寸，千幅轮相，十指皆现”。相传他二人不仅发现此足迹，而且还发现佛“舍利”，此外，营坊村这座山的山势奇伟，气象非凡，和印度的灵鹫山(释迦牟尼佛修行处)相似。由于这三种原因，故决定在此建寺。寺院落成后，以其山形命名为灵鹫寺。汉明帝刘庄为了表示信佛，乃加“大孚”(即弘信的意思)两字，因而寺院落成后的全名是大孚灵鹫寺。大孚灵鹫寺是现今显通寺的前身。从那时起，五台山开始成为中国佛教的中心，五台山的大孚灵鹫寺与洛阳白马寺同为中国最早的寺院。