數年後，柳生三次踏上黃色大道。
雖然他依舊背著包袱，卻已不是赴京趕考。自從數年前葬了小姐，柳生儘管依然赴京，可心中的功名漸漸四分五裂，消散而去。故而當又是榜上無名，柳生也全無愧色，十分平靜地踏上了歸途。
數年前，柳生落榜而歸，再至安葬小姐的河邊時，已經無法確認小姐的墳塚，河邊驀然多出了十數座墳塚，都是同樣的荒涼。柳生佇立河邊良久，始才覺得世上斷腸人並非只他一人。如此一想倒也去掉了許多感傷。柳生將那些荒塚，一一除了草，又一一蓋了新土。又凝視良久，仍無法確認小姐安睡之處，便歎息一聲離去了。
柳生一路行乞回到家中時，那茅屋早無蹤影。展現在眼前的只是一塊空地，母親的織機也不知去向。這情景尚在柳生離開時便已預料到了，所以他絲毫沒有驚慌。他思忖的是如何活下去。在此後的許多時日裡，柳生行乞度日。待世上的光景有所轉機，他才投奔到一大戶人家，為其看守墳場。柳生住在茅屋之中，只幹些為墳塚除草添土的輕鬆活兒，餘下的時間便是吟詩作畫。雖然窮困，倒也過得風流。偶爾也會惦記起一些往事，小姐的音容笑貌便會栩栩如生一陣子。每臨此刻，柳生總是神思恍惚起來，最終以聲歎息了卻。如此度日，一晃數年過去了。
這一年清明來到，主人家中大班人馬前來祭掃祖墳。丫環婆子家人簇擁著數十個紅男綠女，聲勢浩蕩而來。滿目琳琅的供品鋪展開來，一時間墳前香煙繚繞，哭聲四起。柳生置身其間，不覺淚流而下。柳生流淚倒不是為墳內之人，實在是觸景生情。想到雖是清明時節，卻不能去父母墳前祭掃一番，以盡孝意。隨即又想起小姐的孤墳，更是一番感慨。心說父母尚能相伴安眠九泉，小姐獨自一人豈不更為淒慘。
次日清晨，柳生不辭而別。他先去祭掃了父母的墳墓，而後踏上黃色大道，奔小姐安眠的河邊而去。
柳生在道上行走了數日，一路上儘是明媚春光，奼紫嫣紅的歡暢景致接連不斷。放眼望去，一處是桃柳爭妍，一處是桑麻遍野。竹籬茅舍在綠樹翠竹之間，還有澗溝裡細水長流。昔日的荒涼景像已經銷聲匿跡，柳生行走其間，恍若重度首次踏上黃色大道的美好時光。昔日的荒涼遠去，昔日的繁榮卻捲土重來，覆蓋了柳生的視野。然而荒涼和繁榮卻在柳生心中交替出現，使柳生覺得腳下的黃色大道一會兒虛幻，一會兒不實。極目遠眺，雖然鮮艷的景致歡暢跳躍，可昔日的荒涼並未真正銷聲匿跡，如日光下的陰影一般遊蕩在道旁和田野之中。柳生思忖著這一番繁榮又能維持幾時呢？
柳生一路走來，遇上幾個赴京趕考的富家公子，才驀然想起又逢會試之年。算算自己首次赴京趕考，已是十多年前的依稀往事。再思量這些年來的無數曲折，不覺感歎世事突變實在無情無義。那幾個富家公子都是一樣的躊躇滿志。柳生不由為之歎息，想世事如此變化無窮，功名又算什麼。
道兩旁曾經是傷痕纍纍的枯樹，如今枝盛葉茂。幾個鄉里人躺在樹蔭下佯睡，這一番悠閒道出了世道昌盛。迎風起舞的青青芳草上，有些許牛羊懶洋洋或臥或走動。柳生如此走去，不覺又來到了岔路口，近旁的河流再度出現在他眼前。
那正是他首次赴京時留跡過的河流。河旁的青草經歷了滅絕之災，如今又茁壯成長。而長柳低垂的柳樹曾狀若屍骨，現在卻在風中愉快搖曳。柳生走將過去，長長的青草插入褲管，引出許多親切。來到河旁，見河水清澈見底，水面上有幾片綠葉漂浮。一條白色的魚兒在柳生近旁游來游去，那扭動的姿態十分嫵媚。這裡的情形居然與十多年前所見的毫無二致，使柳生一陣感慨。看魚兒扭動的嫵媚，怎能不想起小姐在繡樓裡的嫵媚走動？想到數年前這裡的荒涼，柳生更是感慨萬分。樹木青草，河流魚兒均有劫後的興旺，可小姐卻只能躺在孤墳之中，再不能復生，再不能重享昔日的榮華富貴。
柳生在河旁站立良久，始才淒然離去。來到道上，那城已依稀可見，便加快一些步子走將過去。
柳生來到城門前，聽得城中喧嘩的人聲，又窺得馬來人往的熱烈情形。看來這城也復原了繁華的光景。柳生步入城內，行走在街市上，依然是五步一樓，十步一閣。金粉樓台均已修飾一新，很是氣派。全不見金粉剝落、樓台蛛網遍佈的潦倒模樣。街市兩旁酒店茶亭湧出無數來，賣酒的青簾高挑，賣茶的炭火滿爐。還有賣面的，賣水餃的，測字算命的。
肥肥的羊肉重新掛在酒店的櫃檯上，茶亭的櫃子上也放著糕點好幾種。再看街市裡行走之人，大多紅光滿面，精神氣爽。
幾個珠光寶氣的仕女都有相貌甚好的丫環跟隨，遊走在街市裡。一些富家公子騎著高頭大馬也擠在人堆之中。柳生一路走去，兩旁酒保小廝招徠聲熱氣騰騰。如此情景，全是十多年前的佈置。柳生恍恍惚惚，彷彿回入了昔日的情景，不曾有過這十多年來的曲折。
片刻，柳生來到那座廟宇前。再看那廟宇，金碧輝煌。廟門敞開，柳生望見裡面的百年翠柏亭亭如蓋，磚鋪的地上一塵不染，柱子房梁油滑光亮，也與十多年前一模一樣。荒年席捲過的破落已無從辨認，那雜草叢生，蛛網懸掛的光景，只在柳生記憶中依稀顯示了一下。柳生解開包袱，故伎重演，取出紙墨硯筆，寫幾張字，畫幾幅花卉，然後貼在牆上，賣於過往路人。一時間竟圍上來不少人。雖說瞧的多，買的少，可也不過片刻功夫，那些字畫也就全被買去，柳生得了幾弔錢後心滿意足，放入包袱，緩步離去。
不知不覺，柳生來到那曾是深宅大院，後又是斷井頹垣處。走到近旁，柳生不覺大吃一驚。斷井頹垣已無處可尋，一片空地也無蹤跡。展現在眼前的是一座氣派異常的深宅大院。
柳生看得目瞪口呆，疑心此景不過是虛幻的展示。然而凝視良久，眼前的深宅大院並未消去，倒是越發實在起來。只見朱紅大門緊閉，裡面飛簷重疊，鳥來鳥往，樹木雖不是參天，可也有些粗壯。再看門前兩座石獅，均是凶狠的模樣。柳生走將過去，伸手觸摸了一下石獅，覺得冰涼而且堅硬。柳生才敢確定眼前的景物並不虛幻。
他沿著院牆之外的長道慢慢行走過去。行不多遠，便見到偏門。偏門也是緊閉，卻聽得一些院內的嬉鬧之聲。柳生站立一會，又走動起來。
不久來到後門外，後門敞著，與十多年前一般敞著，只是不見家人走出。柳生從後門進得後花園。只見水閣涼亭，樓台小榭，假山石屏，甚是精緻。中間兩口池塘，均一半被荷葉所遮，兩池相連處有一拱小橋。橋上是一涼亭，池旁也有一涼亭，兩側是兩棵極大的楓樹。後花園的佈置與十多年前稍有不同，然而楓樹卻正是十多年前所見的楓樹。楓樹幾經災難，卻是容貌如故。再看涼亭，亭內置瓷墩四個，有石屏立於後。屏後是翠竹數百桿，翠竹後面是朱紅的欄杆，欄杆後面花卉無數。有盛開的桃花、杏花、梨花，有不曾盛開的海棠、蘭、菊花。
柳生止住腳步，抬頭仰視，居然又見繡樓，再環顧左右，居然與他首次赴京一模一樣。繡樓窗戶四敞，風從那邊吹來，穿樓而過，來到柳生跟前。柳生嗅得一陣陣襲人的香氣，不由飄飄然起來，沉浸到與小姐繡樓相會的美景中去。全然不覺這是往事，彷彿正在進行之中。
柳生覺得小姐的吟哦之聲就將飄拂而來。這麼想著，果然聽得那奇妙的聲音從窗口飄飄而出。又四散開去，然後如細雨一般紛紛揚揚降落下來。那聲音點點滴滴如珠璣落盤，細細長長如水流潺潺。仔細分辨，才聽出並非吟哦之聲，而是瑤琴之音。然而這瑤琴之音竟與小姐的吟哦之聲毫無二致。柳生凝神細聽，不知不覺匯入進去。十多年間的曲折已經化為煙塵消去，柳生再度佇立繡樓之下，似乎是首次經歷這良辰美景。雖然他依稀推斷出接下去所要出現的情形，可這並未將他喚醒，他已將昔日與今的經歷合二為一。
柳生思量著丫環該在窗口出現時，一個丫環模樣的女子果然出現在窗口，她怒目圓睜，說道：
"快些離去。"
柳生不由微微一笑，眼前的情景正是意料之中。丫環嚷了一聲後，也就離開了窗口。柳生知道片刻後，她將再次怒目圓睜地出現在窗口。
瑤琴之音並未斷去，故而小姐的吟哦之聲仍在繼續。那聲音時而悠揚，時而遲緩。小姐莫非正被相思所累？
丫環又來到窗口：
"還不離去？"
柳生仍是微微一笑，柳生的笑容使丫環不敢在窗前久立。
丫環離去後，瑤琴之音戛然而止。然後柳生聽得繡樓裡走動的聲響，重一點的聲響該是丫環的，而輕一點的必是小姐在走動。
柳生覺得暮色開始沉重起來，也許片刻功夫黑夜就將覆蓋下來，雨也將來到。雨一旦沙沙來到，樓上的窗戶就會關閉，燭光將透過窗紙漏出幾點絲來，在一片風雨之中，那窗戶會重新開啟，小姐將和丫環雙雙出現在窗口。然後有一根繩子扭動而下，於是柳生攀繩而上，在繡樓裡與小姐相會。小姐朝外屋走去時像一條白色的魚兒一般嫵媚。不久之後，小姐又來到柳生身旁，倆人執手相看，千言萬語卻化為一片無聲無息。後來柳生又攀繩而下，離去繡樓，踏上大道。數月後柳生落榜歸來，再來此處，卻又是一片斷井頹垣。
斷井頹垣的突然出現，使柳生一陣驚慌。正是此刻，繡樓上一盆涼水朝柳生劈頭蓋腦而來，柳生才驀然驚醒。環顧四周，陽光明媚，方知剛才的情景只是白日一夢。而那一盆涼水十分真實，柳生渾身滴水，再看繡樓窗口，並無人影，卻聽得裡面竊竊私笑聲。少頃，那丫環來到窗口，怒喝：
"再不離去，可要去喚人來了。"
剛才的美景化成一股白煙消去，柳生不禁惆悵起來。繡樓依舊，可小姐易人。他歎息一聲轉身離去。走到院外，再度環顧這深宅大院，才知此非昔日的深宅大院。行走間，柳生從包袱裡取出當初小姐臨別所贈的一縷黑髮，仔細端詳，小姐生前的許多好處便歷歷在目。柳生不覺淚流而下。