最初来汉地的印度、西域僧人，先是下榻于鸿胪寺，后来乃以“寺”称呼他们的住处，是把他们当做西方来的客人。后来人们习惯上把僧人聚居的地方都称为“寺”了。

以“寺”作为对佛教僧侣基本生活和活动场所的称呼，与“鸿胪寺”及其掌管事物有关。《大宋僧史略》讲：“沙门始隶鸿胪寺也”，又说，“鸿胪寺之任，礼四夷远人也。教法初来，须就斯寺，虽同白马，终隶此司。古云僧尼是鸿胪寺是也。”中国汉地最早的佛教寺院，是洛阳郊外的白马寺。相传汉明帝夜梦金人，遣人西行求法，佛教传入汉地，最初来到汉地的印度、西域僧人，先是下榻于鸿胪寺，后因鸿胪寺乃招待四方宾客的国家宾馆，非僧人久留之地，所以在洛阳城西雍门外另立居处，称作“白马寺”。之所以仍以“寺”称之，是因为把他们当做西方来的客人，仍以宾客之礼待之。后来人们沿用这一称呼，习惯上把僧人聚居的地方都称为“寺”了。