据禅宗史料记载，菩提达摩秉着他师父（印度禅宗第二十七祖般若多罗）的遗教，正当中国南朝粱武帝普通元年、后魏孝明帝正光元年（公元五二0年）期间（据《景德传灯录》宋本的西来年表）到达了中国。他的师父的遗教说：“路行跨水复逢羊，独自栖栖暗渡江。”便是指他由南印度渡海东来，先到南朝与粱武帝见面，话不投机，因此就栖栖惶惶地暗渡长江，到了北朝的辖区河南的嵩山少林寺。佛典中对于杰出的人才，向来比之为龙象。达摩大师在南北朝时代，传授了禅宗的心法，虽然有了二祖慧可（神光）接承了他的衣钵，但是道育和尚与道副和尚以及比丘尼总持，也都是他的入门弟子。尤其是神光与道育，更为杰出。但是他们遭遇的时势，与传教的阻力也更为艰难。这便是他师父遗言所谓“日下可怜只象马，二株嫩桂久昌昌”的影射了。
　　中国的画家，在元、明以后，经常喜欢画一个环眼碧睛而虬（:虬龙，传说中的一种龙）髯的胡僧，足踏一枝芦苇，站在滔滔的波浪间，作前进的姿态，那便是描写达摩大师由南朝暗渡长江而到后魏的典故。达摩偷渡过江到北方去是不错，是否用一枝芦苇来渡江，却无法稽考。这很可能是把神僧“怀渡和尚”的故事，纳入“独自栖栖暗渡江”的诗情画意中，以增添达摩的神异色彩。
　　达摩大师由南印度航海东来，先到了广州。那时，距离唐太宗时代大约还差一百年，玄奘还没有出生。而在这以前，印度的佛教与印度的文化传入中国，都是从西域经过中国西北部而来的。中国历史上所称的北魏（或称后魏），便是佛教文化的鼎盛地区，也是南北朝期间佛教最发达的时期。同时，也是中国佛教从事翻译，讲解佛经义理，寻思研探般若（慧学）等佛学文化的中心重镇。
　　同此时期，南朝的粱武帝也是笃信宗教的统治者，他以宗教家的资质，虔诚地相信佛经与道教。曾经亲自讲解佛经与《老子》，又持斋信佛，舍身佛寺为奴，又充当传教师，讲解道书，过一过传教师与学者的瘾，这已是违背大政治家的法则，没有做到无偏党而“允执厥中”，也可以说，因此便注定他要失败的后果。所以达摩大师的师父（般若多罗），六十年前远在印度时，便预言他会失败。他告诉达摩说：“你到中国传道，将来悟道之士，多不胜数。但在我去世后六十多年，那一个将有灾难，犹如‘水中文布’（指粱武帝），你须好自为之。最好不要在南方久耽，因为南方的领导者，只是喜欢世俗有所为而为的佛教功德，对于佛法的真谛，并没有真正的认识。”
　　达摩大师又问他师父，中国佛教以后发展的情形。他师父说：“从此以后再过一百五十年，会有个小灾难。”同时告诉他另一预言：“心中虽吉外头凶，川下僧房名不中。如遇毒龙生武子，忽逢小鼠寂无穷。”这便是指中国佛教僧众中有些不自检点，因此招来北周武帝的废佛教、废僧尼的灾难，业就是中国佛教史上有名的“三武之难”之一。