第四次东渡时，鉴真决定在福州购船出海，并带了三十多人自阿育王寺出发。谁知，才到温州便被拦截了。原来，之前留在大明寺的鉴真的弟子灵佑怕鉴真出事，便苦苦哀求扬州官府帮忙拦截，而淮南采访使就真的依言将鉴真等人拦截了下来。就这样，第四次东渡也以失败告终。
公元748年，荣睿、普照二人又来到大明寺邀请鉴真东渡。鉴真也不推脱，同年六月便又带了十四位僧人以及工匠、水手等共计三十五人从崇福寺出发，再次开启了东渡旅程。为了等到顺风，出了长江以后，鉴真便在舟山群岛附近逗留了四五个月，直到十一月才再次起航。来到东海时，船又遇上了强风来袭，他们在海上漂泊了整整十四天才望见陆地。等到第十六天上岸的时候，他们才发现原来已经到了振州。无可奈何之下，鉴真等人便在大云寺里休养。
一年后，鉴真一行人沿北返回，途经万安州、崖州、雷州、梧州等地，并最终到达始安郡。鉴真在始安的开元寺逗留了一年，然后又被邀请到广州讲法。在路过端州时，荣睿病故于龙兴寺。此后，鉴真又前往天竺小住了一段时间，直到入夏才再次动身。在路过韶州时，普照与他拜别。离别之际，鉴真发誓不到日本不罢休。然而这个时候的鉴真因为舟车劳顿，加上水土不服，还遇上庸医误诊，导致双目失明。在越过大庾岭时，鉴真的大弟子祥彦于吉州坐化(69)，这给了鉴真一个沉重的打击。此后，鉴真又途经庐山、润州等地再次回到扬州。至此，第五次东渡也没能成功。