話說地方看了牌文，立即將白龍山庵拆毀。建文大驚，急問程濟道：「你舊年曾說：『且住餅一年再看』，今果住了一年，就被有司拆毀，你真是個神人。莫非還有大難麼？」程濟道：「即此就是一難，已過了，師可勿憂。」建文道：「難雖過了，而此身何處居住？」程濟道：「吾聞大理浪穹山水比白龍更美，何不前往一遊？倘若可居，再造一庵可也。」建文大喜，師弟四人收拾了，竟往浪穹。
到了浪穹，上山一覽，果然山蒼蒼，林鬱鬱，比白龍更勝。兩僧一道，見師意樂此，遂分頭募化，草草蓋造一庵。不消一月，早已庵成。建文安心住在庵中。
不期到了永樂十年二月，而應能和尚竟卒矣。到了四月，而應賢和尚亦亡矣。建文見賢、能兩弟子，一時俱死，大慟數日，不忍從僧家火化，遂命程濟並葬於庵東。
過了月餘，無人相傍，只得納了個弟子，取名應慧。到十一年九月，因應慧多病，又納個弟子，取名應智。到十二年十月，應慧死了，又納個弟子，取名辨空。到十三年四月，同程濟出遊衡山，聞知金焦、程亨、馮漼、宋和、劉伸、鄭洽、黃直、梁良玉皆死了，不勝悲傷，無意遊覽，遂回庵中。
到十五年二月，又別築一個靜室於鶴慶山中，時常往來。忽雪庵和尚的徒弟了空來報知，前一月其師雪庵和尚死了。建文大哭一場，自此之後，想起從亡諸臣，漸漸凋謝，常拂拂不樂。
直到十七年四月，在庵既久，忽想出遊，又同程濟，先游於蜀，次游於粵，後游於湘南，然後回駕。到十九年十二月，不喜為僧，蓄起發來，改為道士。到二十年正月，命徒弟應智、辨空為鶴慶靜室之主，自與程濟別居於淥泉。到二十一年，建文又動了遊興，遂與程濟往游於楚。此時二人，俱是道裝，隨路游賞，就在大別留住了半年有餘。到二十二年二月，因想起史仲彬一向並無音信，就隨路東遊，按下不題。
卻說史仲彬自戊子年謁師東還之後，日日還思復往，忽被仇家將奸黨告他，雖幸辨脫，卻不敢遠行。到今甲辰年，相間十七年，不知師音耗，心愈急切。又聞新主北狩已晏駕了，革除之禁，漸漸寬了，遂決意南遊訪師，竟望雲南而來。
一日行到湖廣界上，因天色晚了，往一旅店投宿。主人道：「客人來遲，客房皆滿。惟有一房甚寬，內中止兩個道者，客官可進去同住罷。」仲彬入房，看見兩個道人，鼾鼾床上，忙上前看時，恰一個是師，一個是程濟。歡喜不勝，因自通名道：「史仲彬在此。」建文與程濟夢中聽了，驚而躍起，看見仲彬，滿心歡喜。建文問道：「汝為何到此來？」仲彬道：「違師十七年，心甚不安，故欲來問候。不知師將何往？又為何改了黃冠？」建文道：「我東遊正為思汝，改黃冠亦無他，不過逃禪久而思入道耳。」仲彬又問：「賢、能二師兄，何不同來？」建文道：「他二人死已十餘年了。」仲彬聽了，不勝感傷，又說道：「師可知新主北狩迴鑾，已晏駕於榆林川了？」建文聞言，喜動顏色道：「此信可真麼？」仲彬道：「怎麼不真？弟子從金陵過，聞人傳說太子即位，已改元洪熙矣。」建文聽說是真，因爽然道：「吾今得釋矣！」
到了次日，即相率從陸路東遊。因偕行有伴，一路看山玩水，直至十一月方到吳江，重登仲彬之堂。仲彬忙置酒堂上，程濟東列，仲彬西列，相陪共飲。
忽仲彬有個從叔祖，叫作史弘，住在嘉興縣，偶有事來見仲彬，在堂下窺見，忙使人招出仲彬問道：「此建文帝也，我要一見。」仲彬還打帳瞞他，說道：「不是。」史弘道：「你不須瞞我，當初在東宮時，我即認得了。後來我家當抄沒，若非天思赦了，我死無所矣。不獨君臣義在，文，思主也，今幸瞻天，豈可不拜！」
仲彬不得已，報知建文，史弘進拜堂下。拜畢，叫他坐於仲彬之上，就說往日感恩之事。建文不勝感歎。四人飲至夜深而止。
住了數日，建文欲起身往游海上。史弘道：「弟子才得面師，不忍即別，願隨行一程，以表戀戀。」仲彬亦要隨行。建文不欲拂其意，只得允了。遂行到了杭州，方辭史弘、仲彬回去，止同程濟渡過錢塘江，直到南海，禮過大士，方才從福建、兩廣，回到淥泉。此時已是洪熙元年六月。洪熙又晏駕，又是太子即位，改元宣德。建文聞知說道：「吾心可放下矣。」
到了宣德二年，建文又將發剃去，復移居鶴慶靜室中。忽聞知趙天泰、梁田玉、王資、王良皆死了，不勝悲慟。到宣德三年正月，又聞知史仲彬為仇家訟其從亡之事，竟以此累死，又慟哭不已。到了十月，遊行漢中，遇見廖平之弟廖年，報知廖平已於元年死於會稽山中。未死之前，曾寄書家中，囑將他妹子配與太子文奎為室，今已成親三年矣。建文聽了，又大慟不已。想起從亡諸臣，死去八九，竟神情恍忽，中心無主，又蓄髮出遊。
自此以後，東西遊行，了無定所。直到宣德八年，朝廷因奸僧李皋反，就下令：凡是府縣，但遇削髮之人，即著押送原籍治罪。建文聞知，又還淥泉。
到宣德十年，聞知何洲、蔡運、梁中節、郭節、王之臣、周恕又俱死了，心下更驚惕不安，因謂程濟道：「請從亡皆東西死矣，我不知埋骨何所！」程濟道：「葉落還是歸根。」建文道：「可歸麼？」程濟道：「事往矣，人老矣，朝代已換矣，恩怨全消矣，天下久定矣，何不可歸！」建文自此遂萌歸念。
到正統二年，又削髮行遊。到正統五年庚申，建文年已六十四，遂決意東歸，命程濟卜其吉凶。程濟卜完，道：「無吉無凶，正合東歸。」建文遂投五華山寺，登梵宮正殿，呼眾僧齊集，大聲說道：「我，建文皇帝也。一向行遁於此，今欲東歸，可報知有司。」
眾僧聽了皆驚，忙報知府縣。府縣不敢怠慢，因請至藩司堂上。建文竟南面而坐，自稱露姓名，道述往事：「前給事胡，名雖訪張邋遢，實為我也。」府縣不敢隱，報知撫按，飛章奏聞。不多時，有旨著乘驛迎至京師。
師既到京師，眾爭看之，則一老僧也。詣寓大興降寺。此時，正統皇帝不知建文是真是偽，因知老太監吳亮，曾經侍過建文，遂命他去辨視真假。吳亮走到面前，建文即叫道：「汝吳亮也，還在耶？」吳亮說道：「我不是吳亮。」建文笑道：「你怎麼不是？我御便殿食子雞，曾擲片肉於地，命汝食吃，你難道忘了？」吳亮聽說是真，遂伏地痛哭，不能仰視。
建文道：「妝不必悲，可為我好好覆命，說我乃太祖高皇帝嫡孫，今朱家天下正盛，豈可輕拋骸鼻於外？今歸無他，不過欲葬故鄉耳。」吳亮覆命後，恐不能聽信，遂縊死以自明。
正統感悟，命迎入大內，造庵以居，厚加供奉，不便稱呼，但稱老佛，以後壽終，敕葬於北京西城外黑龍潭北，一丘一碑，碑題曰：天下大師之墓。因禮非天子，故相傳葬之西山，不封不樹。
此時，從亡二十二臣俱死，維程濟從師至京，送入大內，方還南去，不知所終。程濟當革除時，與魏冕言志，魏冕道：「願為忠臣。」程濟道：「願為智士。」今從亡幾五十年，屢脫主於難，後竟主歸骨。自稱智士，真無愧矣！
後人覽靖難遜國遺編，不勝感憤，因起詩歎息道：
風辰日午雨黃昏，時世休教一概論。
神武御天英烈著，仁柔遜國隱忠存。
各行各是何嘗悖，孤性孤成亦自尊。
反覆遺編深悵望，殘燈挑盡斷人魂。