五十四歲那年，曾國藩宣佈退出江湖紛爭。
此時曾國藩位高權重，哪怕是打個噴嚏，都會引發朝野震動。所以他的退出，自然也不同於常人，照樣是引發一輪權力波蕩。
第一步：奏請停解部分釐金，就是放棄手中收過路費的權力。
所謂釐金這怪東西，是咸豐三年時一個叫錢江的師爺創造的。因為朝廷要練兵對抗洪秀全的太平軍，卻沒有費用，錢江開創性地推出向老百姓徵收過路費，於路上建立關卡，此路是你開，此樹是你栽，我堵你家門，收費發大財。錢江的這手明顯是黑社會老大的絕活，立即被朝廷採用，風靡大江南北。駱秉章、胡林翼、曾國藩等人紛紛學了這個辦法，到處設卡堵路，截道收費，聚斂了練兵的第一桶金。
就為了這筆過路費，曾國藩和許多人都翻了臉，最典型的是沈葆楨，兩人曾為了江西的厘捐，吵得臉紅脖子粗。現在曾國藩削利權，頭一樁先把江西的厘捐抽取及軍餉發放，全部塞給沈葆楨。
第二步，裁撤部分湘勇。
利權而後是兵權，這是重中之重。朝廷疑忌曾國藩，世人均認為曾國藩有可能造反，原因就是他手裡握有兵權。現在他把自己手中的兵權主動削掉，大家自然無話可說。
說到裁撤湘軍，這恐怕是曾國藩最渴望最渴望的事情。從他為母親治喪歸鄉、接到朝廷之命出山辦團練之前，他就對此充滿了厭惡，一味地迴避搪塞。他只是個飽讀二十三史、希望抱著小女生吟風弄月的書生，率領虎狼之師上戰場打群架，這事可不是他的特長。但大時代無可爭議地把他推上了頂峰，他沒辦法，也只好在頂峰上鬱悶地呆坐。但對於湘軍所流露出的暴力因子，他卻是切齒痛恨。
湘軍與太平軍在暴力的屬性上是沒有區別的——如果有區別，湘軍也就無法消滅太平軍。湘軍必須要比太平軍更暴力，才有可能戰勝太平軍。而這就意味著，二者在殘暴上是沒有區別的，甚至湘軍會更殘暴。
在曾國藩的日記中，記載了幾樁湘軍犯下的殘忍罪行：
咸豐十年三月二十七日，是日，節字營勇傷殺人又打傷縣官。是日，節字營勇鬧事，殺一人，枷二人。因一人買帽子，訛奪店子之帽，又打店家之眼，又糾眾入縣署打破轎子，打傷縣官也。近日，節字營名聲甚壞，俟九弟到，當商換營官。
曾國藩日記中提及的節字營，是隸屬於曾國藩的吉字大營的，湘軍將領蕭孚泗、朱洪章先後出任過該營營官。蕭孚泗是天京破城之後劫掠最嚴重的。而朱洪章則是打頭陣的。有記載稱，天京城破之後，朱洪章雖然率先攻入城中，但蕭孚泗卻因為俘獲了李秀成，奪得頭功。朱洪章不服，去找曾國荃理論，曾國荃解佩刀交給朱洪章，說：「論功之事，是我大哥帳下幕僚李鴻裔排的，他居然把你排在蕭孚泗之後，真是太不像話了，你拿著我的刀，去殺了李鴻裔！」朱洪章聽了，翻翻白眼，哈哈大笑，遇到這種賴皮老闆，只能自認倒霉。
曾國荃耍賴皮，那是因為他也沒法子擺平這個節字營，可知此營之難纏，那是從基因裡帶來的暴力元素。當年曾國藩初練湘軍，就曾被提標兵打爛轎子，還差點要了他的命。現在曾國藩的兵練成了，就該輪到別人倒霉了。所以湘勇訛奪帽子，打傷縣官，這不過是湘軍的暴力屬性使然，如果把這個屬性取消，湘軍就不復為軍事武裝，變成書院了。
而書院是無力與洪秀全對抗的，這就是曾國藩馭虎伏狼，無奈的選擇。
同治三年五月十七日，曾國藩日記：「聞熊禮元之子與婦在江中為游勇所殺。殺數人，搶去銀物而鑿沉其船以滅跡。游勇之凶悍如此，可畏也。」
這時候的湘軍已經失去控制了，江心殺人，毀船滅跡。而攻破天京城後，湘軍大營中藏滿了劫掠來的婦女，這時候如果不速速裁撤，勢必倒噬其主，釀成大禍。
而且這時候裁撤湘軍也容易，湘勇們搶得盆滿缽滿，正等著領取路費回家呢。曾國藩放開手腳，立下狠手，一口氣將湘軍裁得只剩老湘營六千餘人。
第三步：把親弟弟曾國荃打發回家，讓他退休養老。
曾國藩首先裁掉曾國荃，那是他真心替曾國荃著想。打下天京，這功勞太大，曾國荃已經成為國人之大敵，人人都想在他身上找出點毛病，以宣洩心中的嫉恨之火。偏偏曾國荃這廝還真是一身的毛病，所以對他來說，最好不過的法子，就是立即銷聲匿跡，躲回老家過土財主的日子，等過段時間，再出來招搖過市。
而且，曾國藩認為曾國荃是應該知道他的苦心的，此前，他一再告誡曾國荃：「萬一金陵克復，擬引退，避賢者路，非愛惜微名，而求自全也。」
話說得好好，可等到真要曾國荃回家時，曾國荃卻不幹了，竟然在大庭廣眾之下衝著曾國藩發起飆來，大吼大叫，大吵大鬧，讓曾國藩極是尷尬。
曾國藩無奈，在曾國荃四十一歲生日的當天，派了趙烈文前去慰問，慰問品就是曾國藩親寫的十二首詩，其中有一首曰：「河山策命冠時髦，魯衛同封異數叨。刮骨箭瘢天鑒否，可憐叔子獨賢勞。」有記載稱，曾國荃讀到這首詩的後兩句，竟號啕大哭，以洩胸中抑鬱之氣。
曾國荃真的生氣了，他悲憤地回到老家，大病了一場。不久，慈禧召他入京，想瞧瞧他長的是什麼模樣，被他斷然拒絕。而後朝廷又授予他山西巡撫，他拒絕赴任，幸好這個朝廷臉皮巨厚，曾國荃如此不給面子，朝廷卻非要安慰他不可，同治五年又調任他為湖北巡撫，曾國荃這才不服不忿地去上任。