與黃州時的處境相比，蘇軾此時日子的艱苦有過之而無不及。詹范雖多方周濟，終有照料不周之處。蘇軾本來就怕會給詹范惹來麻煩，故而即使陷入飲食不繼的困境，也不好意思開口求助。黃州時還有雪堂可以落腳棲身，住在這合江樓卻總不得安生。這日，廣南路安撫使來，也要下榻在合江樓，詹范心中暗恨不已，卻只得再把蘇軾「攆」出去。
詹范特地帶了一小壇嶺南桂酒，來到合江樓與蘇軾對飲。詹范主動給蘇軾斟上一杯，請他品嚐。蘇軾飲了一口，覺得美味異常，又飲了一大口，笑著對詹范讚道：「老夫自來惠州，最愛這桂酒，此酒微甜而不上頭，益氣補神，飄飄欲仙，實在是人間仙露。」詹范給他滿上，笑道：「蘇公喜歡就好，喜歡就好。」
蘇軾又飲了一口，細細回味半晌，放下酒杯，一臉微笑地點點頭，忽然對詹范說：「詹太守，說吧。」詹范一愣，心知沒逃過蘇軾的法眼，十分過意不去地「咳」了幾聲，忐忑不安地將來意說了，又連連打恭賠罪。
蘇軾擺手坦然笑道：「你我已是朋友，不說這話。無所謂，再搬一次就是。」詹范這才放下心來：「我怕蘇公心有不快，如此我就安心了。等他們一走，蘇公再搬回來。」蘇軾舉起杯，慨然道：「不說這個了。來，飲酒。」
詹范走後，蘇軾把朝雲、蘇過叫來，再次搬到嘉祐寺去住，路上與他們商議蓋房子的事。蘇軾覺得此生北徙無望，只怕要在惠州終老，須作長期打算；寄居在合江樓終非長久之計，搬來搬去麻煩不說，還讓詹范為難；不如像在黃州時那樣，自己蓋房子，住得心裡踏實，也好安心撰著詩文。朝雲、蘇過自無異議。
在嘉祐寺中安頓好，蘇軾便去找翟秀才，問他哪裡有能蓋房的地可買。翟秀才建議他把房子蓋在白鶴峰上。山下有片絕地，主人一家已死絕了，官府把地收了回去，但價錢再低也沒人敢買。蘇軾向來不信邪，便想買過來種成橘子園。
蘇軾又去找詹范。詹范陪安撫使一行在合江樓飲酒，席間聽說他們明日就離開惠州，嘴上假意挽留，心裡十分高興。宴罷，正要跑到寺中告訴蘇軾，見蘇軾過來說蓋房子的事，長歎一聲，心想這樣也好，就說以極低的價錢賣給他，問他敢不敢要那塊絕地。蘇軾豈有不敢要的，二人當即說妥。
蘇軾回來一說，朝雲怕那塊絕地對家裡有妨礙，又說地裡有太歲。蘇軾不以為然地擺手道：「我歷來不怕什麼鬼邪。有，他們也得讓路。小小太歲，何足掛齒。照迷信說法，他才九品官，奈何不得我。」蘇過、朝雲都笑了起來。
一家人籌劃已定，蘇過就去僱人在白鶴峰上挖地基。翟秀才來幫忙，蘇軾與他一起一邊和泥巴，一邊說笑。翟秀才揩揩汗，笑道：「蘇大人，房子一蓋好，我們就成了鄰居。子曰：『德不孤，必有鄰。』大人在此，不會孤獨。」
蘇軾頷首道：「俗話說得好，『遠親不如近鄰』。定居有好鄰，持家有賢內，出外有好友，此乃人生之幸也。」翟秀才感慨地說：「這都是緣。人這一生，該辦什麼事，該走多少路，該識哪些人，似乎差一點都不行。大人到此，我這窮酸秀才一生無憾矣。」
蘇軾笑道：「我也無憾。老兄弟，以後須改口了，不要再大人大人的，那樣太見外，叫老兄即可。」翟秀才到底不敢和他稱兄道弟，想了想說：「你是咱大宋的文壇宗主，永遠是我們讀書人的先生，就叫先生，如何？」蘇軾笑了笑，擺了擺手。
這時，朝雲來送飯，對蘇軾耳語幾句。原來，自從那日在東南郊外見了被貶之人的遺骨，朝雲心中不忍，一直記掛著讓他們入土為安。蘇軾聽了連連點頭，便把此事跟翟秀才說了，道：「我還有點錢，你能否替我雇幾個人，挖一個墳，把這纍纍白骨合葬了。屍骨不全，也只好如此了。」翟秀才一口應下：「先生仁及亡魂，實屬積陰德之舉。學生乃當地之人，更是責無旁貸。放心，三日內即可辦好。」
果然，兩日後墓已修好。蘇軾剛搬回合江樓，就和翟秀才去祭拜。蘇軾親自上好水果供品，點了三炷香，執香三拜，將香插在墳土上。望著裊裊升起的輕煙，蘇軾從袖中取出祭文，緩緩念道：「有宋紹聖二年，官葬曝骨於是。是豈無主，仁人君子，斯其主矣。東坡居士銘其藏曰：人耶天耶，隨念而徂，有未能然，宅此枯顱。後有君子，無廢此心。陵谷變壞，復棺衾之。」念完，深鞠一躬。
翟秀才燃起冥幣，歎道：「原來這地方，每到夜晚，磷火不斷，沒人敢來。時下好了，這些孤魂野鬼可以安息了。先生做了一件積陰德的大好事。」蘇軾心想自己就算終老此地，還有蘇過為他殯葬，而這些人落得個曝屍野外，實在可憐，故而滿懷同情地長歎道：「誰無父母，誰無妻兒老小！但願這裡不再有曝屍枯骨。」
這日，蘇軾在白鶴峰上，朝雲過來說詹太守有事找他。蘇軾便猜只怕又是搬家的事，也不以為意。趕到家中，見詹范一臉難色地坐在那裡，心知猜得八九不離十。蘇軾爽快地請他有事直說，詹范只得說：「新任廣東路提點刑獄要來惠州巡視，又要住合江樓。」蘇軾不以為意地笑笑：「不就是再搬次家嗎，你別為難。」
詹范一臉苦笑地說：「這搬來搬去，都三次了。也奇了怪了，自從蘇公來後，這一貫養尊處優的各路要員們接二連三地來此。這次來的提刑我也沒見過，聽說姓程，叫程之才。」
蘇軾聽了大吃一驚：「是誰？」詹范見蘇軾臉色不對，忙道：「是程之才。你們認識？」蘇軾長歎一聲，將四十年前的舊怨告訴了詹范。詹范「啊」了一聲，驚得有些結巴起來：「那章惇把程大人派來可就……可就大有文章了。」
蘇軾心知，這是章惇等人的借刀殺人之計。樹欲靜而風不止，蘇軾一心想終老此地，求個安寧，但章惇深知這位老朋友的影響深入人心、牢不可動，因此一直念念不忘。章惇此時位居宰相，一年前卻是待罪的貶官，深知朝中人事瞬息即變，生怕蘇軾哪天死灰復燃，於是想出這一妙計，用這致命一擊使他一蹶不振，徹底打消重返朝廷的念頭。
聽了蘇軾這番分析，詹范急得站起來踱來踱去，連連拍著額頭：「這如何是好呢？」想了半天，試探著問道：「大人是否……」蘇軾知道他的意思，擺手道：「若在當勢之時，先去登門和好，未嘗不可。如今失意之人，焉能行此苟且之事。況且，當年錯不在蘇家。我若苟合，先父焉能安息九泉？」詹范默然無語，憂心忡忡。蘇軾反勸道：「聽天由命。俗話說得好，死豬不怕開水燙。」
第二天，程之才住到合江樓，他早聽說蘇軾住在這裡，便問詹范為何不見人。詹范驚慌地說：「大人，蘇子瞻已經搬走，您就不要……不要為難……」程之才痛苦地閉上眼，歎了口氣：「你誤會了，我的意思是請他搬回來住。」詹范吃驚地望著他，只得說：「我這就去告訴蘇大人。」
蘇軾聽說此事，雖不知吉凶，卻十分坦然，於是當下主動去合江樓見程之才。程之才的確並無惡意，而是真心悔過。他沉痛地說：「過去，愚兄年輕氣傲，不懂道理，以致釀成慘禍，至今追悔莫及。幾次想主動找到你和子由，求得你二人原諒。若能盡釋前嫌，兩家幸莫大焉。」蘇軾喟然而歎：「塵封往事，還提它幹什麼！不管誰對誰錯，都過去這麼多年了。有結必有解，再計較這些還有什麼意義？難得兄台有長者胸懷，我與子由還能說什麼呢！」
程之才很是高興：「子瞻有如此胸懷，我就放心了。」他早知章惇推薦他來此提點刑獄，是想利用蘇、程兩家不和來迫害蘇軾。但「姑表親，姑表親，打斷骨頭連著筋」，他與蘇軾本是同根生，怎能做此親痛仇快之事。本想拒絕來廣東任職，但又一想，他來還能給蘇軾遮風擋雨，不然章惇還會派別人來加害，這才走馬上任。
蘇軾深謝他的一番好意。程之才搖頭歎道：「千萬不要這樣說，愚兄是在補過。在這裡需要些什麼，儘管說。愚兄只想求你一件事。」蘇軾忙道：「兄台下令即是，何來『求』字一說？」程之才頷首道：「能否給你的外曾祖寫篇碑文呢？」蘇軾道：「謹遵兄命，分內之事。」
二人緩緩走在江邊，一路說說笑笑。江畔青草依依，藍天綠樹倒映在悠悠碧水之中，一群白鷺飛過。
過了幾日，詹范陪著程之才、蘇軾遊覽白水山。白水山上長滿了形態各異的巨大榕樹和許多熱帶樹種，整座山都是蒼翠欲滴。知名的不知名的、看得見的看不見的、遠處的近處的山鳥，爭著鳴唱，宛若天籟。
望著那飛流直下的瀑布，蘇軾欣喜不已，便問程之才對此有何感想。程之才道：「心胸蕩然。不知賢弟有何高見？」蘇軾凝望著瀑布，緩緩地說：「水落故能跌蕩，人挫愈能奮強。水靜則如處子，蕩則如狂夫，入湖則為蕩子，入江則為壯士。而瀑布者，乃天下唯一剪不斷之布，亦是大寂寞之人的萬丈白髮。」程之才笑讚道：「尋常之景，入賢弟之耳目則為大道，出賢弟之口則為妙詩奇文。與弟相處，得道不遠。」
蘇軾俯瞰合江，見江上沒有橋，心想百姓來往甚是不便，便問詹范為何無橋。詹范道：「蘇公有所不知，建橋需很多錢，而州府稅錢皆繳上衙。上不撥款，則橋自難建成。」蘇軾若有所思地點了點頭。
次日，蘇軾便和詹范商議募錢修橋之事，並執意帶頭把原本就所剩不多的家底捐了出來，詹范只得收下。程之才聽說了此事，回廣州任所前捐了一千緡。但修橋要很多錢，這些還遠遠不夠，蘇軾整天為此犯愁。
因蓋新房花費甚巨，修橋又幾乎把家底掏空，這天剩下的一點錢用完，又沒米了，晚飯只好糊弄過去，一家子餓著肚子。蘇軾自我解嘲地說：「人說一覺解千愁，依我看，一覺也可忘百餓。這沒有東西吃，睡覺是最好的辦法。」
朝雲服侍他睡下，端燈走向桌邊，拿起佛經輕聲誦讀起來。蘇軾知她以此法忘饑，忍不住坐起來，滿懷歉疚地說：「自從你來我家，就沒過一天好日子。黃州的苦日子過完了，這惠州的苦，又不知何時是個盡頭。讓我說什麼好！」朝雲過來扶住蘇軾，看著他靜靜地笑道：「先生，夫妻一體，何來此語？」
蘇軾輕輕握住她的手，動情地看著她，忽而抖擻起精神：「好！起來寫我的《易傳》，陪著你。」說罷，起身走到桌前，攤開紙，奮筆疾書起來。寫了一會兒，抬起頭來揉揉眼，自言自語道：「《論語傳》已完成，著寫《易傳》用時最多，如今六十四卦也已過半，就差《書傳》了。」
朝雲看著他笑笑不語，坐到對面讀經。蘇軾邊寫邊問朝云：「天女維摩，自入佛門，有何感受？」朝雲道：「只要心中存佛，入不入佛門，都是一樣。哎，方才先生叫我什麼？」蘇軾瞇著眼，剔掉筆尖的脫毛，笑道：「天女維摩。你就是我蘇家的天女維摩。」朝雲忙問是何意思。蘇軾解釋道：「維摩又稱維摩詰，是佛之化身。唐代譯成無垢，即一塵不染之意。唐代詩佛王維字摩詰，即從維摩詰而來。」
朝雲放下佛經，凝視著蘇軾：「得先生這般愛稱，朝雲縱是死也知足了。」蘇軾聽了不由得一驚，心知不祥，忙正色道：「不許胡說。」隨即笑道：「蘇東坡被貶南荒，上天卻賜了一個天女朝雲。天不滅我，奈何奈何？！人們動輒哭天，不無道理！」朝雲佯嗔道：「看你！」
讓他們高興的是，沒過多久，新居終於落成。新居屹立在白鶴峰上，十多間新房錯落有致，竹牖青青，槿籬疏疏，柴門北向，與合江樓相映成趣。新栽的柑橘林和山上原有的荔枝樹鬱鬱蔥蔥，掩映得新居幽雅超然。蘇軾帶著朝雲、蘇過興致勃勃地來到新居，把房前屋後、屋裡室外都細細看了一遍，滿意地說：「咱們又有自己的家了。此家築成，我們就算是惠州人了。」
書齋裡竹書架、床櫃等都安排停當，蘇軾給書齋起名為「思無邪齋」，取「《詩》三百，一言以蔽之，曰思無邪」之意。正堂起名為「德有鄰堂」，取「德不孤，必有鄰」之意。蘇過笑道：「他人起堂名皆是三字，唯獨父親要取四個字的。」蘇軾道：「名投志趣，不在乎字多字少。北歸無日，為父權當自己是一個屢舉不第的惠州秀才，又有何不可？隨遇而安，則為大安。」
蘇軾又命朝雲把他那些字畫收拾一下，明日要到街上去賣。他在黃州時即使家無隔宿之米，也堅守不為衣食賣字畫的信條，但這回合江橋因為沒有錢一直未曾動工，也只得破此例。
次日，聽說蘇軾要到府衙前的大街上賣畫，早有人等在那裡。人們紛紛議論：「蘇大人的字大宋第一，我父親盼了許久，無論如何也要得到一幅。」「蘇大人的畫也獨具風格。」「蘇大人從不為衣食賣字畫，這可都是為了修橋。」「真是個大好官，偏被貶到這地方來。」
詹范和幾位官員陪著蘇軾走過來。蘇軾擺出字畫，片刻之間就被搶著買完。蘇軾將交子和銅錢交給詹范，詹范數了數，共三千緡。蘇軾沉思片刻，道：「還有欠缺，再想辦法。」
蘇轍夫婦也聽說了蘇軾捐錢修橋的事。蘇轍已被再貶為少府監分南京，在雷州居住。雷州離惠州不遠，蘇轍著實希望與哥哥離得更近些，以實現當年「同歸林下，風雨對床」之願。此時，蘇轍一家正在往新租的家中搬運東西。史雲提議，把皇宮賜給她的首飾、金幣都捐到惠州，幫蘇軾建橋。
蘇轍讚道：「夫人有此義舉，善莫大焉。子曰，『道不遠人。唯天下至誠，當能盡其性；能盡其性，則能盡人之性；能盡人之性，則能盡物之性；能盡物之性，則可以贊天地之化育；可以贊天地之化育，則可以與天地參矣』。」史雲笑道：「我可沒想那麼多道理。我只是想，寶器不宜多，應該像哥哥那樣多為百姓做善事，以求蒼天保佑夫君，保佑兄長和孩子們。」蘇轍笑道：「我與哥哥都貶到這南部海州來，離觀音菩薩越來越近，但願我等化個菩薩身。」
錢終於湊夠，蘇軾心中的一塊石頭總算落地。晚上，蘇軾憑窗遠眺，只見滔滔江水泛著月光，聽著流水之聲，一時陷入沉思。朝雲進門問道：「先生在想什麼？是為建橋一事擔憂嗎？」
蘇軾歎息道：「晚年得一朝雲，足矣。建橋一事，錢款籌措完成，已不用過憂。我被貶南荒，連累四學士流落天涯，已經許久沒有他們的音訊，時時輾轉思念。」朝雲心中也充滿憂愁，勸道：「先生不必自疚，即使不為先生所累，當世的賢人學士又有誰不在四海飄零？」
蘇軾搖搖頭，歎了口氣，道；「朝雲，再為我唱一曲《蝶戀花.花褪殘紅》吧。」朝雲站起身來，清了清嗓子，卻一個字也唱不出來。轉而低頭哭泣，淚如雨下。蘇軾忙問怎麼了。朝雲泣道：「我一想到『枝上柳綿吹又少，天涯何處無芳草』這兩句，心中感念，就不能自已。」
蘇軾強笑道：「你啊，剛誇你兩句，卻忽然感傷起來，這可不是平日的你。」朝雲拭淚笑道：「先生可以悲秋，我就不能傷春嗎？」蘇軾柔聲道：「『笑漸不聞聲漸悄，多情卻被無情惱』都是我的錯，當日塗抹這首婉詞，如今惹得朝雲落淚，此詞該廢。」
朝雲忙道：「不可，先生諸詞之中，我最愛這一首。」蘇軾凝視著朝雲，眼中含淚：「原來的你生性開朗，萬事無憂，如今卻多愁善感起來。除了他們四個，你也是為我所累！」朝雲伸手替他拭去淚水，望著遠方：「此時不知四學士怎樣了，也在想著先生吧。」
四學士的性情，蘇軾最為瞭解。黃庭堅老成，晁補之心寬，張耒能耐寂寞，身處逆境，都能自遣；唯獨秦觀最是性情中人，蘇軾最擔心的就是他，生怕他經不起如此打擊。
黃庭堅被貶在西南的戒州，住在一處破棚子裡。這天夜裡，電閃雷鳴，暴雨如注，棚子內四處漏水，躲也無處躲。他索性坐在竹椅上，望著忽明忽暗的夜雨夜空，閉目誦讀當年寫給蘇軾的一首詩：「青松出澗壑，十里聞風聲。上有百尺蓋，下有千歲苓。自性得久要，為人制頹齡。小草有遠志，相依在平生。醫和不並世，深根且固蒂。人言可醫國，何用太早計。大小材則殊，氣味固相似。」
晁補之和張耒被貶去監鹽酒稅，晁補之在處州，張耒在筠州。當地鄉親們知道他們是蘇內翰的學生、無辜被貶的好官，都對他們格外尊敬，很為他們不平，主動來幫他們的忙，讓他們倍感溫暖。一有空，他們或是教當地的孩子們識字讀書，或是學蘇軾想盡辦法做好事，以回報這些淳樸的老百姓。如此，日子倒也過得去，只是心中著實記掛遠在嶺南的蘇軾，擔心這位六十一歲的老人受不了那裡的苦。
此時秦觀被貶往郴州，他最是多愁易感之人，一腔愁悶無以排遣，只得日日在酒樓買醉。不多時日，已是面容憔悴。這天夜裡，又來酒樓喝酒，一直喝到酒客散盡。他搖搖晃晃地端起酒杯，來到窗前，只見郴江泛著粼粼月光，顯得那樣冷清，想起遠隔千里的家人、恩師與諸友，不由得潸然涕下。他望著江月，自言自語：「先生啊先生，你時下還好嗎？」
店家過來勸道：「秦學士，您喝多了，要保重貴體。自您貶到這郴州來，幾乎日日大醉，這樣下去，如何得了？」秦觀苦笑道：「店家，多謝關照。你去忙吧。但求常醉，不省人間事。」店家無奈地下樓，口中嘟噥著：「多好的一個人兒，怎的被貶到這鬼地方？人人都道當官好，不如林中一小鳥……」
此時江霧已起，直向酒樓撲來，秦觀恍然一驚，愁緒使他詩興大發。他悠悠念道：「霧失樓台，月迷津渡，桃源望斷無尋處。可堪孤館閉春寒，杜鵑聲裡斜陽暮。驛寄梅花，魚傳尺素，砌成此恨無重數。郴江幸自繞郴山，為誰流下瀟湘去？」念罷，淒然一笑，醉倒在窗邊。
然而，他們不知道的是，蘇軾正遭遇到晚年最大的打擊。這天，蘇軾又去建橋的工地，和翟秀才檢查石料。翟秀才贊蘇軾一心為民，德化一方。蘇軾淡淡地說：「這算不得什麼。民樂吾樂，民憂吾憂。民便吾便，民累吾累。一人生命苟活於世者，小生命也；一人生命與天下百姓生命融為一體，才是大……」一語未了，一個小和尚飛跑過來，驚慌地說：「蘇大人，不好啦！你家夫人中了瘴氣，昏死在路邊，現正在嘉祐寺中救治。你快去吧！」蘇軾登時慌了神，手中的石料也忘了丟下，不顧一切地拔腳就往嘉祐寺跑。
蘇軾踉蹌著衝進禪房，撲過去抱著朝雲。朝雲已是奄奄一息，見他進來，無力地一笑，喊了聲「先生」含淚道，「朝雲無福再陪你了，來世我還伺候你。」又看著蘇過：「你多保重，不要喝這裡的生水。先生的書稿在箱子裡，保管好。」
說完這句，朝雲已是氣若游絲。蘇軾早已如心被剜去一般，哭得氣噎腸斷。朝雲艱難地抬起手，想替他拭去眼淚。蘇軾緊緊抓住她的手，貼在自己臉上，生怕手一鬆開她就會飛走。
蘇軾痛哭道：「雲兒，你有什麼話就說吧，我一定辦到！」朝雲忽然紅光滿面：「先生，你叫我什麼？再叫一遍！」蘇軾附耳連聲輕喚：「雲兒，雲兒……」淚水一滴滴落在朝雲臉上，朝雲笑著斷斷續續地說：「我死後，埋在豐湖邊的小丘上。」蘇軾痛苦地閉上眼，點頭說不出話來。