清朝的正規軍——綠營兵有六十多萬，在太平軍的衝擊下損失慘重，集結在南京城外的江南大營、江北大營也只能採取守勢。這樣，清政府不得不把挽救危局的希望，寄托在地主武裝——團練身上。曾國藩就是在這一背景下起家發跡的。
曾國藩是湖南湘鄉人，道光年間考中進士，在京城做到了禮部侍郎，二品高官。公元1852年，他因母親去世回鄉守孝，不久咸豐帝就下達了要求各地在籍官員督辦團練的詔令。曾國藩的做法與其他大臣不同，他的目的不在於組織地方性的民團，而是著手於建立一支新軍。這支軍隊全由湖南人組成，湖南簡稱湘，所以被稱為「湘軍」。
曾國藩以他的親友、師生、同鄉為骨幹，招募樸實、也都缺乏社會經驗的農民當兵。湘軍的餉銀比綠營兵高出一倍，內部實行家長式管理，下一級由上一級挑選和指揮，最後聽命於曾國藩一人。曾國藩利用團練大臣的地位，取得了脫離於地方的司法權，在組織和整肅湘軍的過程中，就擅自處決了二百多人，被人稱為「曾剃頭」。他藉著督辦團練的機會，截留朝廷過往的賦稅、餉銀，私自賣官、開徵，用來購買了一千多門洋炮，置辦了三百餘艘戰船。一年之間，湘軍陸營、水營兵力達到一萬七千餘人。
在太平軍西征部隊的進擊下，綠營兵節節敗退，清政府一再下令湘軍增援。老謀深算的曾國藩不願輕易冒險，一邊抗旨拖延，一邊加緊了湘軍的軍事訓練。公元1853年底，太平軍攻克湖北黃州，咸豐帝不得不親筆寫信給曾國藩，說，已經火燒眉毛了，要他「激發天良」，出兵打太平天國。曾國藩感到軍事準備已經完成，這才同意出境作戰。從此後，湘軍就成了太平軍最主要和最兇惡的敵手。
湘軍雖然挽回了局部戰場的頹勢，但也受到了太平軍沉重的打擊。公元1854年4月，太平軍在長沙附近的靖港大敗湘軍，曾國藩羞憤之下投水自殺，被部下救起。一年後在江西湖口，石達開又沉重打擊湘軍水師，曾國藩眼看將被俘虜，又一次投水自盡，被撈起後逃回南昌城中，還 特地寫了遺囑。只因西征軍取勝後，奉調回師天京參加攻打江南大營的作戰，才使曾國藩避免了全軍覆滅的命運。
然而，太平軍在大好的軍事形勢下，卻爆發了一場可怕的內訌。公元1856年，東王楊秀清利用「代天父傳言」的特權，令洪秀全下跪，逼他加封自己同為「萬歲」。洪秀全秘密召回韋昌輝包圍東王府，殺了楊秀清，韋昌輝後來又被洪秀全誅殺。在這場自相殘殺的「天京之變」中，有兩萬名太平軍戰士死去。石達開在全家被害、又處處受到排擠的情況下，負氣帶領主力部隊十萬人出走西南，先後轉戰七省，終被清軍消滅。
「天京之變」不僅給了湘軍喘息和重整的機會，而且改變了各戰場的力量對比。曾國藩乘勢攻佔了安慶，打開了通往天京的門戶。他讓弟弟曾國荃沿長江東下進攻天京，左宗棠由江西進入浙江，李鴻章從上海進犯蘇南，三面合擊，圍困天京達兩年之久。公元1864年7月，湘軍用炸藥炸開城牆，攻入天京。守城的太平軍雖然因為長期飢餓而奄奄一息，仍然與清軍展開了激烈的巷戰。天京淪陷後，太平天國的餘部還 在江南各省堅持鬥爭達四年之久。
曾國藩鎮壓了太平天國革命，被譽為「中興名臣」，博得清朝和帝國主義者一片讚賞聲。他深知「功高震主」的歷史教訓，為了避免朝廷疑忌，於是主動將十二萬人的湘軍逐步遣散，由旗兵南下接防。但他的勢力和影響，已經非常大。僅僅在他的幕僚中，擔任總督、巡撫以上高官的就有二十六人，其中包括李鴻章、左宗棠這樣的重臣。「湘軍系」成為清朝統治階層中的一個重要政治集團。