义存得悟以后，与好友岩头、钦山文邃欲参访北方的临济义玄禅师，中途闻定上座云：“临济和尚已于四月初十日示寂。”从此三人分手，各去一方，岩头往龙山，钦山止于澧阳，义存则还闽。

还闽后义存先于建安（治今福建建瓯市，属闽北地区）结草庵而居，即今黄龙寺和双石寺。咸通九年（868年），义存怀念芙蓉山旧地是自己当初学法之地，所以又回到福州芙蓉山居于石室，即灵洞岩，这一年义存已经四十七岁了。这年又有圆寂大师带领众徒，从沩山回到福州，居于怡山王真人升仙之所（即今西禅寺），因此屡次请义存出山，特地开创福州城西之怡山，但义存却谢绝了。

咸通十一年（870年），有僧行实，是义存当初在芙蓉山宏照大师门下学法的同门师兄。他认为义存道德高深莫测，非“鹫岭猴江”之胜地，不能请他出山，因此介绍福州之西二百里处有象骨峰，实是世间奇妙之处，谓其山曰：

环控四邑，峭拔万仞。怪石古松，栖蛰鳌鹤。灵湫邃壑，隐见龙雷山之半。顶之上则先冬而雪，盛夏而寒。其树皆别垂藤萝，奇姿异景，不可殚状。虽霍童武夷，无以加之。实闽越之神秀，而古仙之未攸居。

义存听说象骨峰之胜，为之所动。同年七月，登上象骨峰，但见岩谷爽朗，烟霞飞动，乃喜曰：“真吾居也。”当时象骨峰东的信士万训、谢効、陈佐等，皆奉田园供养义存。山南信士蓝文卿，仰慕义存之德学，把陈洋之地施舍给义存，于所居东池侧古树创庵，请义存驻锡，即今枯木庵。又于柽洋庄的凉映台之北建成精舍，请义存居住。义存以其山冬雪夏寒，取“鹫岭猴江”之意，便取名“雪峰”。自此道隆雪峰，名扬远近。天下禅者，莫不归往。而雪峰山之名从此也代替了义存之名，诚所谓： 师以山而道侔，山以师而名出，天下之释子，不计华夏，趋之如赴诏。

由于四方禅人学子越来越多，渐渐无处容止。因此，乾符二年（875年），观察使韦岫舍钱三百万缗为建造寺宇，历时六年之久，寺院建成。同年僧智朗到长安城，奏报建寺之事，时值应天节，唐僖宗乃赐名“应天雪峰寺 ”。

中和二年（882年），义存六十一岁，得到福州前观察使李景温、司空颖川陈岩、观察使韦岫、退休官员李公等的支持，创太平王坂庄，又于福州城西创大睦廨寺。同年，有内官自闽回京，奏言义存道德峻拔高洁，谓“其侪之拔俗悟空者，请蜕浮华而来脱屣”。僖宗闻之便派翰林学士造访闽人陈延郊，得知情况属实。于是赐义存“真觉大师”之号，并授以紫袈裟。而义存对于这些，视若浮云，不为所动。

至昭宗龙纪元年（889年），义存六十八岁，开基造塔于陈洋，当年七月七日塔成。义存自作塔铭，曰《难提塔铭》，铭曰： 兄弟横十字，同心著一仪。土主曰松山，卵塔号难提。更有胡家曲，汝等切须知。我唱泥牛吼，汝知木马嘶。但看五六月，冰片满长街。薪尽火灭后，密室烂如泥。