嘉靖三十三年，居正請告歸江陵，暫時脫離了政治生活。在這一年，俺答還是不斷地向大同進攻。東南方面，倭寇的侵擾更加積極。由太倉潰圍的殘賊，奪海船再入江北，大掠通州、海門、如皋這一帶，前鋒直到山東境上。江南一帶、海鹽、嘉興、嘉善、松江、嘉定，到處都是倭寇。總督浙福南畿軍務張經和巡撫浙江副都御史李天寵正在積極地堵御。到冬天，嚴嵩的義子趙文華上奏，倭寇猖獗，請禱祖東海，鎮壓暴寇。異想天開的對策，從專事齋醮的世宗看來，正是合理的策略。趙文華奉命南行，沿路騷擾，一面上疏彈劾張經，不肯辦賊。張經正在調兵殺敵，等到三十四年五月在王江涇大破倭寇，斬賊一千九百的時候，趙文華上疏的結果也揭開了。張經被逮入京，不久李天寵也被逮，十月間，二人棄市，附帶著楊繼盛也趁此被殺。彈劾嚴嵩的和不善伺候文華的，得到同樣的結果。這是當時的政治。東南方面和西北方面的敵人同時進攻，這是當時的情勢。這一個有抱負、有主張、有辦法的三十歲的青年，已經退出政治生活，在詩酒往還中消磨他的歲月。
居正《先考觀瀾公行略》，自稱「甲寅，不肖以病謝歸，前後山居者六年，有終焉之志」。六年指從嘉靖三十三年到三十八年為止，只是一個大概的計數。其實三十六年，居正已經銷假。《種蓮子戊午稿序》(1)稱「往甲寅，不佞以病謝歸」，又稱「丁巳，不佞再泰朝列」，可證。實際上三十三年至三十六年，居正整整度了三年的悠閒生活。三十七年便道歸家，大致三十八年仍回北京，連同以前的時期，稱為前後山居者六年。
敬修《文忠公行實》對於前期三年的生活，有以下的記載：
三十三年甲寅，遂上疏請告。既得歸，則卜築小湖山中，課家僮，插土編茅，築一室，僅三五椽，種竹半畝，養一鶴，終日閉關不啟，人無所得望見，唯令童子數人，事灑掃、煮茶洗藥。有時讀書，或棲神胎息，內視返觀。久之，既神氣日益壯，遂博極載籍，貫穿百氏，究心當世之務。蓋徒以為儒者當如是，其心固謂與泉石益宜，翛然無當世意矣。
周聖楷《張居正傳》亦稱「終日閉關不起，人無所得望見，久之，益博極載籍，通當世之務」，當然是根據敬修之言。《明史》本傳對於此節，完全略去。其實居正的生活，並不這樣恬淡。詩集、文集裡面，留下許多斷片，我們可以看出他怎樣消遣歲月。
在這個階段裡，他有過許多的游宴，最後在三十五年游衡山，生活中有過不少的波瀾。但是最使他關心的還是整個的政局。《登懷庾樓》(2)有這幾句：
但恐濛汜夕，餘光不可留，風塵暗滄海，浮雲滿中州。目極心如惄，顧望但懷愁，且共恣嘯歌，身世徒悠悠。
這是熱中。居正對於整個的政局擱不下：自己沒有機會把握政權，但是眼看政權落在人家手裡，國家踏上不幸的命運，真是萬分的不甘。《修竹篇》(3)又說：
永願老煙霞，寧知勞歲移，但畏伶倫子，截此凌霄枝，裁鑿豈不貴，所患乖天姿。亭皋霜露下，淒其卉草衰，願以歲寒操，共君搖落時。
這好像是恬淡了，然而還是熱中。歷史上的政治家，常常在熱中的情緒上，蒙上一層難進易退的色彩。其實真真有抱負的人，用不到這樣地做作。長沮、桀溺耕田的時候，看到子路，桀溺只顧諷刺孔子，孔子悵然地說：「鳥獸不可與同群，吾非斯人之徒與而誰與？天下有道，丘不與易也。」他說既然是人，便得為人類謀幸福，孔子決然不肯和長沮、桀溺那樣做個辟(4)世之士。這是孔子的熱中。熱中不是一件不能告人的事，用不到諱飾。居正也是不容諱飾的熱中。他曾說起：「當嘉靖中年，商賈在位，貨財上流，百姓嗷嗷，莫必其命，比時景象，曾有異於漢、唐之末世乎？幸賴祖宗德澤深厚，民心愛戴已久，僅免危亡耳！(5)」這是怎樣的景象！在這個時期，自負清流的君子們，也許只是優遊林下了，偏有不辭赴湯蹈火的人，縱在林下，還是不斷地悵念，他的熱中，還不值得後人同情嗎？
居正又有聞警一首(6)：
初聞鐵騎近神州，殺氣遙傳薊北秋，間道絕須嚴斥堠，清時那忍見氈裘。臨戎虛負三關險，推觳誰當萬戶侯？抱火寢薪非一日，病夫空切杞人憂。
三十四年九月，俺答犯大同、宣府，十二日後，進犯懷來，北京戒嚴，這首詩大致指此。國家已經亂到這個地步了：皇帝在那裡齋戒禱告，祈求長生；商賈式的嚴嵩在那裡繼續「貨財上流」；清醒的徐階只是束手無策，把整個的心力，精治青詞，逢迎帝心。居正在朝也沒有辦法，何況在野！他的心緒，只向詩集裡傾瀉，最沉痛的是一篇七賢詠敘(7)：
余讀《晉史·七賢傳》，慨然想見其為人，常歎以為微妙之士，貴乎自我，履素之軌，無取同塗，故有謗盈於一世，而獨行者不以為悔，沈機晦於千載，而孤尚者不以為悶，斯皆心有所愜，遊方之外者也。夫幽蘭之生空谷，非歷遐絕景者，莫得而采之，而幽蘭不以無采而減其臭；和璞之蘊玄巖，非獨鑒冥搜者，誰得而寶之，而和璞不以無識而掩其光。蓋賢者之所為，眾人固不測也。況識有修短，跡有明晦，何可盡喻哉？今之論七賢者，徒觀其沈酣恣放，哺啜糟醨，便謂有累名教，貽禍晉室，此所謂以小人之腹，度君子之心，獨持繩墨之末議，不知良工之獨苦者也。嘗試論之。《易·翼》有言：「天下同歸而殊塗，一致而百慮。」故語默不同，其撰一也，弛張異用，其旨歸也。巢、由抗行，稷、契宣謨，並容於堯代；箕子佯狂，比干死諍，俱獎於宣尼，豈有異議哉！余觀七子皆履沖素之懷，體醇和之質，假令才際清明，遇適其位，上可以亮工宏化，贊興王之業，下可以流藻垂芬，樹不朽之聲，豈欲沈淪滓穢，無所短長者哉！
等待吧，到了「遇適其位」的時候，居正決定要做出一番大事業。為國家致太平，為個人求不朽，一切都待著適當的時機。
但是嘉靖三十三年，居正已經請告回籍了，國家大事，只有交付給「貨財上流」的政府，他自己正準備做一個「沉淪滓穢」的人物。在朝廷大政沒有清明的時候，要在外省找一片乾淨土，事實上不可能。地方行政，永遠是中央行政的反映，居正沒有不知道的。在他回到荊州府以後，他只覺得在明代最初一百年間，荊州的情況還好，但是：
其繼也，醇俗漸漓，網亦少密矣，變而為宗藩繁盛，骫權撓正，法貸於隱蔽。再變而田賦不均，貧民失業，民苦於兼併。又變而僑戶雜居，狡偽權詐，俗壞於偷靡。故其時治之為難。非夫沈毅明斷，一切以摘奸剔弊，故無由勝其任而愉快矣。(8)
事情是顯然的：宗藩亂政，當然給宗藩以限制；大地主兼併土地，貧民失業，當然給大地主以制裁；機巧變詐的人多，當然只有痛快地施行法治。一切都在居正的眼裡，但是他只是一個在野的人，儘管有加以制裁的決心，但是沒有加以制裁的權勢。他只有種田了，一篇《學農園記》，寫著他的生活：
余少苦篤貧，家靡儋石，弱冠登仕，裁有田數十畝。嘉靖甲寅，以病謝，自念身被沈病，不能簪筆執簡，奉承明之闕，若復馳逐城府，與賓客過從，是重增其戾。乃一切謝屏親故，即田中闢地數畝，植竹種樹，誅茆結廬，以愜息其中。時復周行阡陌間，前田夫、傭臾，測土地燥濕，較穜稑先後，占雲望祲，以知歲時之豐凶。每觀其被風露，炙熇日，終歲僕僕，僅免於饑；歲小不登，即婦子不相眄；而官吏催科，急於救燎，寡嫠夜泣，逋寇宵行；未嘗不惻然以悲，惕然以恐也。或幸年谷順成，黃雲被壟，歲時伏臘，野老歡呼，相與為一日之澤，則又欣然以喜，囂然以娛。雖無冀缺躬饁之勤，沮、溺耦耕之苦，而詠歌欣戚，罔不在是。既復自唯，用拙才劣，乏宏濟之量，唯力田疾耕，時得甘膬以養父母，庶獲無咎。(9)
田賦以外，還有商稅。洪武十八年令：「各處稅課司局商稅，俱三十分稅一，不得多收。(10)」這是一個原則，但是原則是原則，執行是執行，商稅的額外苛求，無形轉嫁，更加重一般人民的負擔。這也在居正的眼中。他說：
異日者，富民豪侈，莫肯事農，農夫藜藿不飽，而大賈持其盈餘，役使貧民。執政者患之，於是計其貯積，稍取奇羨，以佐公家之急，然多者不過數萬，少者僅萬餘，亦不必取盈焉，要在摧抑浮淫，驅之南畝。自頃以來，外築亭障，繕邊塞，以捍驕虜，內有宮室營建之費，國家歲用，率數百萬，天子旰食，公卿心計，常慮不能殫給焉。於是征發繁科，急於救燎，而榷使亦頗騖益賦，以希意旨，賦或溢於數矣。故余以為欲物力不屈，則莫若省征發，以厚農而資商；欲民用不睏，則莫若輕關市，以厚商而利農。
周子曰：「即如是，國用不足，奈何？」
張子曰：「余嘗讀《鹽鐵論》，觀漢元封、始元之間，海內困弊甚矣，當時在位者，皆扼腕言榷利，而文學諸生，乃風以力本節儉。」其言似迂，然昭帝行之，卒獲其效。故古之理財者，汰浮溢而不騖厚入，節漏費而不開利源；不幸而至於匱乏，猶當計度久遠，以植國本，厚元元也。賈生有言：「生之者甚少，靡之者甚多，天下財力，安得不困？」今不務除其本，而競效賈豎以益之，不亦難乎？(11)
居正只是一個在野的人，但是對於政治，他的主張已經很清楚地留下一個輪廓。要解除民眾痛苦，便得減輕負擔。嘉靖三十年來最大的負擔：第一是對外的國防經費；其次是皇宮的建築。在政治方面有抱負的人，對國防，對皇室，都要有一番佈置。居正看清楚了，慢慢地在伺候他的機會。
在他休假三年的當中，遼王憲是一個往還甚密的同伴。真不幸，這兩個同年同歲的人，眼看他們的命運，永遠糾結在一處。毛妃死了，憲自由了，在遼王的崇銜以外，他是清微忠教真人。這是一重保障，對於崇奉道教的世宗，他是一個徹底的同道。修道只是一個名義，憲最喜歡的還是女人，是遊戲。親王是不許擅自外出的，但是憲有時會到數百里以外，追求他的愛好，誰也管不著。你管得著皇帝的同道遼王殿下嗎？居正回家，憲又添了一種歡愉，他雖然不是什麼游朋浪友，但是既是翰林院編修，詩是一定會做的了。憲也喜歡作詩，嬲著居正作詩。唱和、催句，凡是酸秀才愛做的事，都做到了。在喝酒、追女人這一類的生活以外，又添一種新的娛樂，這可夠憲高興了。居正數到當日祖父被憲灌酒的創痕，料不到自己又身受這催詩的虐政。一切且忍耐著，他只得抽取空閒的時間，追陪這一個自命曹子建、李太白的遼王殿下。遼王自然有遼王的詩才。居正曾說：
蓋天稟超軼，有兼人之資，得司契之匠。其所著述，雖不效文士踵躡陳跡，自不外於矩矱。每酒酣賦詩，輒令坐客拈韻限句，依次比律，縱發忽吐，靡不奇出。或險韻奇聲，人皆燥吻斂袂，莫能出一語；王援毫落紙，累數百言，而穩貼新麗，越在意表，傾囊瀉珠，纍纍不匱。(12)
這是一種諷刺。所謂「越在意表」「靡不奇出」，當然是一種不上家數的態度。但是居正還得和他唱和。一杯苦酒，只得慢慢地嚥下。詩集有《同貞庵殿下、李羅村飲述齋園亭》(13)《味秘草堂卷為貞庵王孫賦》(14)《和貞一王孫八嶺山韻》(15)《贈貞庵王孫二首》(16)，貞庵即貞一。又詩中屢言「瑤章驚錫蓬萊闕，羽節高懸太乙宮」(17)，「江上初聞小有洞，年來不住大羅天」(18)，顯然是指憲。李羅村名憲卿，湖廣巡撫，嘉靖三十六年，擢左副都御史，總督湖廣川貴，採辦大木，開府江陵。
居正文集裡有兩篇關於遼府的文章：一篇是《遼府承奉正王公墓誌銘》(19)，一篇是《王承奉傳》(20)。墓誌銘是休假中作的，對於憲稱為「英敏聰達，才智絕人」。《王承奉傳》作時，居正已經還朝了，直言「王聰敏辯給，而嗜利刻害，及長，多不法，常出數百里外遊戲，有司莫敢止」。鬥爭已經開始了，當然用不到諱飾，這是後事。在休假中，居正對憲，還是妥協。對於遼王的不法，一句沒有提到。甚至憲的私生子冒充嫡子的事，也沒有說。《王承奉傳》便盡情地揭露，並且指出在呈報的時候，照例應由承奉正署名，但是在王大用(21)拒絕以後，憲偷偷地把承奉印蓋上，其後大用竟因此氣死。一切的事，居正在應酬唱和中，都看在眼裡。直到隆慶二年，才得到結束。
休假之中，居正曾經一度到過武昌。《賀少宰鎮山朱公重膺殊恩序》(22)稱「今年愚承乏，與得陽董公偕，得辨材省中」，即指其事。鎮山朱公即朱衡，潯陽董公即董份。
最使居正感興趣的，還是衡山之遊，文集有《游衡岳記》《後記》兩篇(23)，詩集便有十篇左右。居正自言：
余用不肖之軀，弱冠登仕，不為不通顯。然自惟涉世酷非所宜，每值山水會心處，輒忘返焉，蓋其性然也。夫物惟自適其性，乃可永年，要欲及今齒壯力健，即不能與汗漫期於九垓，亦當遍游寰中諸名勝，遊目騁懷，以極平生之願。今當發軔衡岳，遂以告於山靈。(24)
這一次的旅行，在嘉靖三十五年十月，同游者有應城李義河、湘潭王會沙、漢陽張甑山，山中盤桓八日，下山後遇長沙李石棠。他們看到岳廟、半山亭、祝融峰、觀音巖、上封觀、兜率寺、南台寺、黃庭觀、方廣寺、二賢祠。錄兩詩於次：