姚興專心于佛法，供養著三千余名僧眾，這些人往來宮中，參與各種事務。

只有覺賢自守清靜，與眾不同。然而他并未因此免掉麻煩。

他的麻煩出在兩件事上。

某天，覺賢對弟子說：“我昨天看見有五艘船從家鄉向這里駛來?！?

弟子將話傳給外人，于是關中僧人當即認為覺賢妖言惑眾：“誰不知他家在天竺？中國與那里遠隔萬里，他又不是神佛，如何能看得見呢？”

另一件是，覺賢弘揚禪法，遠近僧俗聞風而至。但學習所得有深淺，證得的境地有高低，難免有矯偽之徒用奸?；?。

有個弟子，很少用心參證，卻自稱得了不還果，覺賢又沒有立即察問。于是流言四起，誹謗橫生，隨時都可能發生不測之災。

徒眾中很一部分是投機取巧之流，見勢不好，有的匿名遛掉，有的半夜跳墻而走，半天工夫，便散得差不多了。

只是覺賢平淡自處，不以為意。但有人找上門來了。

長安僧人道恒、僧契前來，表情莊重地說：“你先前宣稱有五只船要來，結果了無蹤影，虛而不實，你的門徒也誑言惑眾，愛起紛爭，這于戒律已有違背。你最好快走，不要停留！”

覺賢平靜地說道：“我如漂于水上的浮萍，去留都極容易。只是遺憾在此地有志未伸?！闭f完便收拾行裝。

覺賢與弟子慧觀等四十多人開始動身，當時太陽很好，照得一切明晃晃的。

師徒一個個神志從容，面無異色，輕松得如同出游一般。

許多人見他們都如同遇到妖人，避到遠處，也有眼力超凡者為他們惋惜，相送的僧俗聚集了一千多。

姚興聽說后悵恨不已，將道恒召去，責備道：“覺賢和尚，不遠萬里來游化傳道，本欲宣揚。真知卓見尚未吐露，但用意之良苦，也足以讓人感慨，怎么能因一句話有錯，就讓萬眾失去導師呢？”

道恒心內不服，但不得不做出懺悔狀，姚興便派使者騎快馬追趕。

使者說明來意，覺賢平淡地說：“陛下皇恩浩蕩，值得感念，然而既已啟程，就恕不能從命了。”

覺賢知道凡事皆有緣分，不必勉為其難，日后終有被承認的一天。

覺賢率眾人連夜趕路，向南直奔廬山，那便是宋的境地了。

隱居廬山的高僧慧遠，早就聽說過覺賢的大名，知道覺賢來，欣喜非常，如遇故舊。

慧遠認為，覺賢的被排斥，過在門徒，至于那五只船的說法，也只看你同意與否，于律無犯。

于是他派遣弟子曇邕，送信給姚興及關中僧人，為覺賢排解。

又請覺賢他譯了數種禪經。

覺賢居無定所，一年多以后，便西上江陵。

在那里正好碰到五艘船靠岸，一打聽，果然是從天竺來的，再查對日期，正是覺賢對弟子說話之日。

消息傳開，境內士庶百姓競相前來禮拜。

關中僧人聽說，才知錯怪了覺賢，羞愧難當。

覺賢聲名鵲起，所得供奉很多，但覺賢一概不要，而是不分貴賤地持缽化緣，恬淡度日。

覺賢帶著弟子到太尉長史袁豹家乞食。

這袁豹平日不信佛法，待他們相當刻薄。

兩人吃了一點，便起身告辭，袁豹說：“好像還不夠，再多用些吧。”

覺賢一笑：“施主施心有限，為我設的飯已沒了?！?

袁豹呼左右加飯，并說：“和尚不必多心，怎么可能沒了呢？”

左右卻為難地說：“確實已完?！?

袁豹羞愧難當。他悄悄問慧觀：“這位僧人到底是什么人？”

慧觀略帶神秘地回答：“德行器量高遠，不是你我凡夫所能測知的?！?

袁豹驚異非常，便稟報太尉，太尉