這幢閣樓建在一簇太湖石上。在閣樓的西側略低的地方，修有六角涼亭一座。
亭子的四周砌有護欄。亭內石桌、石凳之外，別無他物。亭柱左右兩邊刻有父親當年撰寫的楹聯：坐對當窗木看移三面蔭秀米從獄中出來後，除了偶爾下樓照料花草之外，日日於涼亭內攤書自遣。無所用心的蟄居生活帶給她想像中的寧靜。
看書看得倦了，就伏在石桌上小憩片刻。通常要在午後時分，她才能看到西院牆上緩緩移動的陰影。時間一長，她漸漸就能通過牆上光影的移動來判斷時間了。
與日晷相似，用光影來計算時間，往往必須將季節、時序、晝夜的長短一併考慮在內。當年父親曾親手製出牆影與季節、時序關聯的對照列表。作為父親大量遺稿的一部分，它被寶琛小心地訂裝成冊。
假如光影滯留在牆邊的植物——比如蜀葵、芭蕉或枇杷的枝冠上，時間的計算就更不準確，因為植物每年都在生長，而開出花朵的數量與大小也不盡相同。
如果父親要想準確地計算出時間的變化，簡單的辦法就是製作一隻沙漏。但父親沒有這樣做。只有寂寞的人才會對時間有精深的研究，倘若你被內心的痛苦煎熬得無所事事，情形也差不多。
令父親感到煩惱的是，陰天或下雨之時，時間就會搞得一團糟。清晨的晦冥更近於黃昏，而某一個秋日午後的溫暖陽光亦會使人誤以為置身於春和景明的四月。特別是你一覺醒來，大腦還處於失神狀態，而亭子四周的風物則促使你即刻作出判斷。
有數不清的夜晚，父親都在這座小亭裡仰觀浩瀚的群星，並試圖給一些有固定位置的恆星命名。這些名稱五花八門，既有花朵，亦有動物，甚至還有家人或他所熟悉的人名。比如說在遺稿的某一頁，父親這樣記述道：寶琛與母豬隔河相望，中有茉莉、丁樹則、余（他自己）以及山羊星四枚。余初不甚亮，幾難於辨識。
茉莉、山羊、丁樹則呈品字形。寶琛、母豬一南一北，最為璀璨，為群星之冠。
在他的遺稿中，對時間的細微感受佔據了相當大的篇幅。在他看來，時序的交替，植物的榮瘁、季節的轉換，晝夜更迭所織成的時間之網，從表面上看，是一成不變的，而實際上卻依賴於每個人迥然不同的感覺。
比如說，一個鐘點，對於睡眠者而言，它實際上並不存在，而對於一個難產中的婦女來說，卻長得沒有盡頭。
不過，睡眠若是在這一個鐘點中做了一個夢，那情形又另當別論。父親寫道：今日所夢，漫長無際涯。夢中所見，異於今世。前世乎？來世乎？桃源乎？普濟乎？醒時駭然，悲從中來，不覺涕下。
當他在靜觀牆上的樹影之時，時間彷彿被凝固了，它「移寸許，有若百年」，而他在石桌上只打了一個盹，則「俄爾黃昏一躍而至，暝色四合，露透衣裳，不知今夕何夕」。
除了對星象的觀察、光陰記錄之外，書中遺存大量的雜記、詩詞、歌賦以及信手寫下的讓人不明就裡的片言隻字。遺稿終於光緒三年臘月初八。父親最後寫下的幾行小字：是夜大雪。光陰混雜，猶若蛛絲亂麻。
奈何，奈何。
涼亭與對面的院牆之間，有一小塊狹小的荒地，父親曾將它闢為花圃。而如今已被喜鵲開墾出來，種有一畦蔥蒜，一壟韭菜。唯有樹陰下的一座酴架還在原先的位置。木架雖還完好，但酴早已枯死，蔓枝掛拂其間，隨風而動。
差不多每天中午，喜鵲就會到後院來掐蔥、蒜。每當她蹲下身子的時候，都會抬頭朝亭子的方向張望。
如果正好秀米也在看她，喜鵲必會粲然一笑。她面色紅潤，走路極快，一陣風來，一陣風去。像影子悠忽出沒，似乎永遠都處於奔跑中。除了掐蔥、挖蒜，到柴屋取柴，有時候，她也會到閣樓上來，幫她打掃房間，或是給她送來在集市上購得的花籽和花種。
每當黃昏來臨，夕照移上西牆，將院牆上的茸草和葛籐襯得一片火紅，秀米就會從閣樓上下來，匿跡於酴架、竹林和柴房之間。院落庭階未經除掃，過雨之後，滿地腐葉堆積，到處都是綠茸茸的蘚苔，色翠而靜閒。
缸荷開敗之後，秀米想到了秋菊，可惜的是，滿眼望去，只在籬落牆隅找到幾叢野菊。單葉，花苞瑣細而密，顏色或淡白或淺黃，猶若茉莉，聞之無香。秀米曾小心地挖出一叢，移入陶盆，悉心養護，置於閣樓下的幽蔭處，不幾日便枯死了。而院內的馬蘭、天竺、厭草、澤蘭、蒿菜之屬卻隨處可見。王世懋在《百花集譜》中以柴菊、觀音菊、繡球菊、孩兒菊稱之，雖有菊名，實非菊類。而且到了深秋，早已無花。日日環伺之下，庭院中除了正在結籽的大紅石榴、兩株木樨、一簇雞冠花之外，開得最艷的，就要算東牆柴房外的那一溜鳳仙花了。
這排鳳仙常年未經養護，紅色的根莖暴露於外，葉片亦被雞啄食得有如鋸齒一般，一副將死未死的樣子。
秀米撮來黃土，摻以細沙，培敷於花下，又以淘米水、雞糞和豆餅沃根，並用石灰水殺滅蚯蚓，先後折騰了差不多一個月，等到金風送爽，秋霜初降的時節，葉片果然由黃轉綠。一場冷雨過後，竟然開出花來。紅紫紛羅，鮮綽約。先是單花，稀疏無可觀，秀米於每日傍晚掐去殘花小苞，又插竹扶蕊，花遂漸密，繼而蕊萼相迭，蔚然成球，攢簇枝上，嬌媚妖艷。
《人面桃花》