蒲生野塘中，其葉何離離，秋風不相惜，靡為泉下泥。四序代炎涼，光景日夜馳，榮瘁不自保，倏忽誰能知。愚闇觀目前，達人契真機，履霜知冰凝，見盛恆慮衰。種松勿負垣，植蘭勿當逵，臨市歎黃犬，但為後世嗤。(14)
在那個時代裡，政治界的人物，大都是熱中的。無疑地，居正的整個政治生活，充滿熱中的氣息。然而這時他居然恬淡了。他沒有忘去魯連存齊、綺皓安劉的偉業，但是眼前正留著種松負垣、植蘭當逵的炯戒。歸去吧，歸去吧，江陵的山水正在向他招手。
據敬修《文忠公行實》，居正元配顧氏，繼配王氏。他第一次結婚在那一年，不可考。從詩集編次看，大致嘉靖三十二年，顧氏已經死去一年了。詩題：「余有內人之喪一年矣，偶讀韋蘇州傷內詩，愴然有感。」這首詩很流露了居正夫婦間的愛戀：「蹇薄遘運屯，中路棄所歡，嬿婉一何促，飲此長恨端」四句，指明他們相處的時期，並不太長，然而已經永別了。「離魂寄空館，遺嬰未能言」，正寫出寄櫬北京的情形，遺嬰是否就是敬修，也不可知。(15)
顧氏死後，不久居正又結婚了，這是王氏。正和一切再娶的情形一樣，人生的缺憾是無法彌補的。居正詩集中《朱鳥吟》的最後兩句：「仙遊誠足娛，故雌安可忘」，是一個證明。
歸去吧，歸去吧！平生的抱負無法實現，當朝的權奸無法掃除；同年的楊繼盛已經下獄，自己的前途毫無保障；少年的伴侶，已被死亡奪去；感情的創痕，又無從彌補。嘉靖三十三年的居正，只是一個三十歲的青年，然而已經認識了人生的痛苦，縱使沒有什麼大不了的疾病，他已經感覺到衰病纏綿。（詩集《送黎忠池》—首之二：「余有歸與興，抱病淹朝秩」可證。）終於在這一年，他告了病假，仍回江陵。臨行的時候，他對徐階留下一千幾百字的一封長信。他說：
相公雅量古心，自在詞林即負重望，三十餘年；及登揆席，益允物情，內無瑣瑣姻婭之私，門無交關請謁之釁，此天下士傾心而延仕也。然自爰立以來，今且二稔，中間淵謀默運，固非博識可窺，然綱紀風俗，宏謨巨典，猶未使天下改觀而易聽者，相公豈欲委順以俟時乎？語曰：「日中必熭，操刀必割。」竊見向者張文隱公剛直之氣，毅然以天下為己任，然不逾年遽以病歿。近歐陽公人倫冠冕，向用方殷，亦奄然長逝。二公者皆自以神智妙用，和光遵養，然二三年間，相繼凋謝。何則？方圓之施異用，慍結之懷難堪也。相公於兩賢，意氣久要，何圖一旦奄喪，誰當與相公共功名者？況今榮進之路，險於榛棘，惡直丑正，實繁有徒。相公內抱不群，外欲渾跡．將以俟時，不亦難乎？盍若披腹心，見情素，伸獨斷之明計，捐流俗之顧慮，慨然一決其平生。若天啟其衷，忠能悟主，即竹帛之名可期也。吾道竟阻，休泰無期，即抗浮雲之志，遺世獨往，亦一快也。孰與鬱鬱頷而竊歎也？夫宰相者，天子所重也，身不重則言不行，近年以來，主臣之情日隔，朝廷大政，有古匹夫可高論於天子之前者，而今之宰相，不敢出一言。何則？顧忌之情勝也。然其失在豢縻人主之爵祿，不求以道自重，而求言之動人主，必不可幾矣。願相公高視元覽，抗志塵埃之外，其於爵祿也，量而後受，寵至不驚，皎然不利之心，上信乎主，下孚於眾，則身重於泰山，言信於其蓍龜，進則為龍為光，退則為鴻為冥，豈不綽有餘裕哉！(16)
究竟經驗是跟著年齡來的。三十歲的翰林編修，已經迫不及待，拂衣而去了；五十二歲的內閣大學士，卻認清楚還得忍耐，還得忍耐。「披腹心，見情素」，固然是一個辦法，但是在固執己見、阿護前非的世宗面前，指摘嚴嵩，便是激怒皇上。楊繼盛的例子在那裡，這個使不得。「抗志浮雲，遺世獨往」，也很好，可是在和嚴嵩決裂以後，要想退居林下，安然自得，這是不可能的事——這是事實，不是徐階的過慮；徐階去位以後，遇到高拱當國，高拱去位以後，遇到張居正當國，都經過很大的危難，何況嚴嵩是一個比高拱更有辦法，比張居正更無顧忌的人呢？不錯，為了國家的安全，為了自己的安全，徐階一步造次不得，他終於還是跧伏著，一切還是和平。他想到居正信中最後的幾句，簡直有些諷刺自己固位希寵了，他只是深切地沉吟：青年人不知道自己的苦衷，臨去的時候，連辭行的禮貌都沒有，那麼，就讓他去吧。徐階依舊是「內抱不群，外欲渾跡」。
————————————————————