华严寺建于辽代。清初毛世膺碑记载，该寺之址早在北魏年间，即已建有寺院（已不知其名）；而明碑则说该寺建于“李唐”之时。此二说都因无确切的信物，而无法确认。据辽史记载：辽“清宁八年（公元 1062 年）建华严寺，奉安诸帝石像、铜像”。而薄伽教藏殿右侧梁下题记为辽重熙七年（公元 1038 年）建，较辽史所记早二十四年。从文献以及建筑风格与艺术特色看，亦当为辽代作品。
　　在辽统和年间（公元 983 —— 1012 年），辽圣宗为加强其统治，降旨全国尊崇佛法，大力建造佛寺，抄刻经藏。道宗皇帝还亲自撰写《华严经随品赞》十卷，使佛教尤其是华严宗因此而大为盛行。华严寺便是华严宗盛行的必然产物。当时在大同，除这座华严寺外，大同东关和口泉镇还建有两座华严寺，只是其规模逊色了许多。据《辽史 · 地理志》记载，道宗在清宁八年（公元 1062 年），巡视西京，下令在此“建华严寺”，并随之扩建寺院及附属建筑，如建南北阁、东西廊、宝塔、斋堂、影堂、厨库及陀罗尼经幢等等，盛极一时。此时的华严寺，不仅仅是拜佛念经和储存经书的敕建寺院，而且是“奉安（辽）诸帝石像、铜像”，具有了辽代皇帝祖庙的性质，所以其建筑规模宏大华丽，气势雄伟壮观。
　　辽末天祚帝保大二年（公元 1122 年），金兵攻入西京（大同），战争的烽火使华严寺遭受池鱼之殃。这座雄伟壮丽的建筑，除仅存薄伽教藏殿、斋堂、影堂和宝塔外，其它建筑，如大雄宝殿等，都毁于兵火。据现存于薄伽教藏殿内的金大定二年（公元 1162 年）的《大金国西京大华严寺重修薄伽教藏碑记》记载：“天兵一鼓，都城四陷。殿阁楼观，俄而灰之。唯斋堂、厨库、宝塔、经藏、洎守大师影堂存焉。”这一段话非常真实地记录了当年华严寺被烧毁的景况。
　　金代大同仍为西京。天眷三年（公元 1140 年），僧人通悟大师等人对华严寺的残缺部分，进行了大规模的修复和重建。现在的上华严寺大雄宝殿，就是金天眷三年在被烧毁的辽代建筑的旧址上重新修建的，距今已有八百四十多年。当时除了重建寺院外，僧人慈慧大师还将失散大半的经卷，按照辽藏目录，经过三年的访查和征集，一一补齐。此寺尽管进行了大规模的修建，但比之于辽代清宁年间的规模和盛况，则逊色了许多。但是一直到元朝初年，它仍然还是北方的名寺巨刹。
　　元朝末年，战争的烽火又使华严寺遭受了严重的破坏。到明代，据《大同县志》记载：洪武三年（公元 1370 年），华严寺被没收为官产，改大雄宝殿为大有仓，直到洪武二十四年，才得以恢复（明代《上华严寺重修碑记》）。宣德、景泰年间，又进行了大规模的重修重建。四川的了然禅师，来大同说法，见华严寺十分衰败，发誓重修，于是便在全国各地云游化缘二年，重修了殿堂、佛像、壁画及其它一些建筑。现大雄宝殿内的一些塑像、平棋、藻井等，就是明代作品。这时寺院的规模虽然又小了许多，但仍可谓勃然中兴。
　　据明万历九年（公元 1581 年）《上华严寺重修碑记》中所载，此时已明确标明为“上寺”，这说明华严寺从明代起，虽连为一体，但却以薄伽教藏殿与大雄宝殿各为中心，分别进行了重修和重建，各开山门，成为隔墙相望的两组建筑——上华严寺和下华严寺了。上下两部分，是根据地理方位，以北为上，南为下而划分的。
　　清顺治五年（公元 1648 年），大同的明朝守将姜镶降清复反，致使大同遭受屠城之祸，华严寺又一次重罹浩劫。后因僧人化愚等人募修，才得以幸存。但是到了清末，连年战争又使这两座建筑创伤累累，破坏不堪，日趋衰微，每况愈下。解放以来，多次拨款进行大规模的维修，修殿建舍，扩院筑路，植树种花，使其粹容赫焕，又获新生。 1961 年经国务院批准，定为全国重点文物保护单位。这两组建筑的曲折经历，既是近千年来中国劳动人民聪明才智和顽强不息精神的体现，又是一部动荡的历史写照：它身上既有昔日的创伤不幸，又有今天的满面春风。