話說永樂既得了天下，又殺戮了一班異己之臣，遂封賞姚廣孝等一班佐命之臣，各各進爵，以酬其從前慫恿扶助之功。姚廣孝等既遭福貴，又各衣錦還鄉，報答有恩，以酬其塵埃拔識之力。後來姚廣孝終不蓄髮娶妻。
一日，廣孝奉命賑濟蘇湖，往見其姊，姊拒之曰：「貴人何用至貧家焉。」不復接納。廣孝乃易僧服往，姊堅不出。家人勸之，不得已出，立於中堂。廣孝即連下拜，姊曰：「我安用你許多拜！曾見做和尚不了底是個好人！」遂還戶內，不復見。廣孝賑濟事畢，入朝覆命，未幾而卒。此是後話，不題。
卻說建文一個仁主，同著二十二個忠臣，寄宿在神樂觀中，有如叢林之鳥，漏網之魚，好不淒淒惶惶。到了次日，打聽得燕王奪了大位，改元永樂，懸賞格追求效忠於建文之臣，殺戮了無數，建文與眾人，甚是心慌。建文道：「此地與帝城咫尺，豈容久住？可往雲南，依西平侯沐晟暫寄此身。或者地遠，無人蹤跡。」
史仲彬道：「沐西平駐紮地方雖遠，然受命分符，聲氣與朝廷相通，豈敢隱舊君而欺新主？況大家聲勢，耳目眾多，非隱藏地也。」建文道：「汝所慮亦是。血沐晟既不可依，則此身將何所寄？」
程濟道：「師毋過慮，既已為僧，則東西南北皆吾家也。只合往要名勝，以作方外之緣。倘弟子中有家素饒，而足供一夕者，即暫駐錫一夕，亦未為不可。」建文道：「汝言有理，吾心殊覺一寬。但居此郊壇之地，甚不隱僻，必速去方妙。」程濟道：「是。明日即當他往。」
到了次早，牛景先與史仲彬商量道：「師患足痛，豈能步行？必得一船，載之東去方妙。」遂同步至中和橋邊尋舡。原來這中和橋在通濟門外，是往丹陽的旱路，往來車馬頗多，河下船隻甚少。二人等了半晌，忽見一船遠遠而來。二人忙趨到岸邊，牛景先不等那舡搖到面前，便大聲叫道：「舡上駕長，可搖船來裝載。」舡上人回說道：「我儂舡自有事，不裝載個。」史仲彬聽見是同鄉聲音，忙打著鄉語道：「我是同鄉，可看著鄉情面上，來裝一裝，重重謝你。」叫還來完，只見那舡忙靠近岸邊，跳上兩個人來道：「那裡不找尋老爺，卻在這裡！」仲彬再看時，方認得是自家的家人。因家中聞知京中有變，不知消息，差來打探的。
仲彬與景先見舡來的甚巧，不勝之喜，因吩咐舡在橋邊，忙回觀報知，就請師下舡，且往仲彬家暫住。師與眾弟子皆大喜，但恨二十二人不能同往，又未免惻惻。舡中原議定：葉、楊兩和尚，並程濟一道人，與師四人，仲彬船主，自應隨侍；其餘俱使散走，總期於月終，至吳江再晤。眾人聽了，各分路而去。
史仲彬暗暗載師與弟子，轉出大江，行了八日，方到吳江之黃溪。仲彬因請師入至大廳，盡率家人出拜。恐正居不靜，遂奉師往於所居之西邊，一座清遠軒內。此軒一帶九間，前臨一池，後背一圃，樹木扶疏，花竹掩映，甚是清幽。師徒四人，同居於中，頗覺快暢。
過了三四日，舊約諸弟子，俱陸續到了，大家相聚甚歡。牛景先道：「弟前日過丹陽時，曾撞著一個老僧，見我匆匆而走，因笑道：『前程甚遠，何用急走，徐行則吉。』弟子想其言，深有意味，今欲棄去前名，改為『徐行』，以應僧言，不知可乎？求師指示。」師點頭道：「改名甚好，可以漸消形跡。」
由此，馮漼改稱塞馬先生，宋和改稱雲門生，趙天泰此時穿著葛衣，因說道：「我即以衣為名，叫做葛衣翁罷。」大家相聚一堂，雖傷流落，卻也歡喜。
建文道：「此地幽雅可居，又得眾弟子相從，吾即投老於此，何如？」仲彬道：「師若不棄，布衣菜飯，弟子猶可上供。」程濟歎道：「世事豈能由人料定！且住兩月再作區處。」建文聽了也不留意。
不期永樂即位之後，名列奸臣者，既已殺盡，及查各處在任諸臣，暗暗逃去者，共有四百六十三人。欲要拿來處分，卻又無大罪。到了八月，方降旨，著禮部行文各府州縣，將逃去諸臣，盡行削籍，不容復仕。有誥敕者，俱著追繳。
史仲彬是翰林侍讀，受有誥命，該當追繳。早有人報知仲彬，仲彬一時不知詳細，只道是走漏消息，心甚慌張，忙通知建文。建文也自著忙，因問程濟道：「你前日說『世事豈能由人』，今果然矣。莫非朝廷不能忘情於我，知我在此，故先追奪仲彬的誥命，以觀動靜，恐還有禍及我。」
程濟道：「禍事必無，師請放心。但既為僧，即如孤雲野鶴，原不宜久住人間。況此地離宮闕不過千里，縱使朝廷忘情，亦不安也。」建文聽了道：「是。」即欲遠行。仲彬苦留道：「追奪仲彬誥命，未必為師，請暫寬一日，容再打聽。」建文只得住下。
到了次日，只見吳江縣丞，姓鞏名德，奉府裡文書，著他至仲彬家追奪誥命。仲彬相見，問知來意，只得捧出誥命繳上。鞏德收了，又道：「有人傳說，建文君在於君處，不知果有此事否？」仲彬聽了，假作吃驚道：「久聞建文君己火崩矣，如何得能在此！」鞏德便不再言，微笑而去。
仲彬送鞏德去後，忙走來對建文痛哭，將鞏德文言說了，又道：「本欲欲師久住，少盡犬馬之私，不意風聲樹影，漸漸追求到此，倘有不測，禍及於師，卻將奈何！」建文道：「事已至此，我明日即當遠行，但師弟相聚未久，又要分散，未免於心惻惻耳。」眾弟子聽了，俱各淚下。
仲彬因命置酒，師弟作別，飲了半夜。說到傷心，鄭洽不禁歎息道：「臨天下當以仁義稱至治，今天下誰不稱仁慕義，乃不能保其位，此何意也！」梁良玉流涕答道：「曹瞞篡漢，司馬懿篡魏，反儼然承統，此又何意？總之天難問，理難窮耳。」程濟道：「得失乃天數，而篡自篡，仁義自仁義，千古原自分明，諸君何不察也？」郭節道：「這總難言，只合聽之。且請問師此行，當往何地？不知何時方得再晤？」程濟道：「目今福星在滇中，弟子欲奉師至雲南。但雲南道遠，眾弟子難至，襄陽中道，可以再晤。來春三月，當約會於廖平家，不知師意何如？」建文道：「所議甚善，即如此可也。」大家議定，方各就寢。
到了次日，建文與兩個和尚、一個道人，竟往京口而去，其餘眾弟子各各分散。建文師弟四人，行藏不甚怪異，在路中雖無人物色，但心中終有此懼怯。及到了京中，不敢從金陵城外過去，恐有人認得，惹是招非。四人算計，竟買舟渡過了大江，望六合而來。
到得六合，天色晚了，要往大寺去住，又恐有人認得，只得就借一個草店裡歇宿。此時師弟四人，寂寂寥寥，在一間破屋內吃了粗糲晚餐，臥了稻草床鋪，也說不得。到次早起來，離了草店，因想往楚，沿江南行。在路曉行夜宿，受過了許多風霜勞苦，方才到得襄陽。
你道建文為何要到襄陽，來見廖平？原來燕兵入城時，建文竟欲身殉社稷，卻念太子文奎年小，無處著落。偶值廖平入朝，知他忠義，遂悄悄將太子托付與他。廖平慨然受命，藏太子而出，差的當家人送回襄陽，故建文要來看看太子。
及到襄陽，訪問廖平，不期廖平住的府前，正是眾人矚目之地。這日忽然三個和尚、一個道人突至其家，廖平出迎，似驚似訝，默然不語，竟邀入後堂去了。早有人看在眼裡，此時京中有人傳說建文帝不曾死，已削髮為僧，逃亡在外，朝廷遣人各處追求，一發動人之疑。故就有人來問廖平府家人，說：「前日那三個和尚是何人？」
家人報知廖平，廖平著驚，因暗暗與建文商議。建文道：「我此來，只為要看看文奎。今已見他平安，我心已放下，既此地有人蹤跡，我即去矣。」廖平道：「師間關到此，坐席尚不曾溫，怎就離去？城中西北有一座西山，甚是幽僻，無人往來，我曾造個草庵在上，養兩個村僧照管。今屈師暫住於中，再打探消息。」
建文見廖平情意殷殷，只得應允，乘夜移到西山去住。早有兩個府役，將前日見三個和尚、一個道人到廖侍郎家，廖侍郎邀入後堂，不見出來，蹤跡可疑，恐是建文，悄悄報知知府。知府聽了著驚，遂打轎來見廖平，問道：「朝廷疑建文末死，出亡在外。部中行文書到各州縣挨查，此事干係甚大，本府昨聞得府上有三個和尚、一個道人來相投，不知是老先生甚麼親眷？故本府特來請教。廖平聽了變色道：「老公祖此問甚奇，治生忝居司馬，豈不知法度？」有甚和尚道人，敢來投我？」知府道：「本府亦知無此事，因有人來報，不得不來請問。」廖平道：「既有報知此事，糊塗不得，到要屈老公祖暫住，可叫此人來人去一搜，看個有無，方見明白。」