同治十一年（1872年）二月初四日，這是一個令曾國藩悲痛的日子。15年前的二月初四，他的父親去世了，這天，他拜過父親的牌位，讓兒子紀澤扶他去花園散步。他對紀澤說：「我這輩子打了不少仗，打仗是件最害人的事，造孽，我曾家後世再也不要出帶兵打仗的人了。」父子倆拉著家常，不知不覺走近一片竹林。忽然，一陣大風吹過，曾國藩連呼「腳麻」，便倒在兒子身上。扶進屋時，曾國藩已經不能說話了。他用手指指桌子：那是他早已寫好的遺囑。曾紀澤雙手把紙展開，以顫抖的聲音念道：
「余通籍三十餘年，官至極品，而學業一無所成，德行一無可許，老人徒傷，不勝悚惶慚赧。今將永別，特立四條以教汝兄弟。
一曰慎獨則心安。
二曰主敬則身強。
三曰求仁則人悅。
四曰習勞則神欽。
此四條為餘數十年人世之得，汝兄弟記之行之，並傳之於子子孫孫。則余曾家可長盛不衰，代有人才。」
待兒子念完，曾國藩努力把手伸起，指指自己的胸口，紀澤紀鴻一齊說：「我們一定把父親的教導牢記在心！」曾國藩臉上露出一線淺笑，便溘然長逝了。
在中國近代歷史上，要是選出一個最有影響的人，選擇曾國藩的應該不在少數。毛澤東年輕時，對曾國藩佩服備至，曾說：「吾於近人，獨服曾文正。」中年毛澤東於1942年在延安時，曾勸黨的高級幹部說：「要讀一點曾文正公的家書。」晚年，毛澤東於1969年1月曾說：「曾國藩是地主階級最厲害的人物。」蔣介石多次告誡他的子弟僚屬，要多看曾國藩的東西，並稱曾國藩的文章和家書為任何政治家所必讀。他審訂《曾胡治兵語錄註釋》時說：曾氏已足為吾人之師資矣。在黃浦軍校，他以曾國藩的《愛民歌》訓導學生。他說，我認為曾、左能打敗洪、楊，是他們的道德學問、精神與信心勝過敵人。近代名人中，梁啟超、蔡鍔也崇拜他。
曾國藩一生，總結起來可以由這幾件事來概括：組建湘軍；倡導洋務運動；不拘一格提拔人才；遵從並克己實踐理學。在近代歷史上，在中國走向現代化的征程裡，曾國藩是有開創之功的。他不但親自創辦了安慶軍械所等軍需或民用工業，更重要的是，他提拔了一批在洋務運動和晚清歷史上舉足輕重的人物如左宗棠、李鴻章、郭嵩燾等等，湘軍重要將領在一段時期內更是極晚清政壇之盛。湘軍興起以後，更出現了無湘不成軍的局面。所有這些，與曾國藩都有密切的關係。
盡避如此，國內多數史家卻長期視曾國藩為歷史的罪人。他們的理由有兩條：一是說他是鎮壓太平天國革命的劊子手；二是說他處理天津教案「賣國投降」。
在近代中國，反對帝國主義的侵略，維護國家獨立，一直是個決定歷史進程的基本問題之一。癥結在於怎樣才能有效地解決這個基本問題。曾國藩的對策不外兩個要點：一是師夷長技，奪其所恃。二是要求整飭自身。用他自己的話來概括，則是「以忠剛懾泰西之魄，而以精思竊製器之術，國恥足興。」當然，歷史證明，曾國藩也沒有找到救國的正確道路。
曾國藩歷任禮部侍郎、湖北巡撫、兩江總督、直隸總督，並加兵部尚書和太子少保銜，還曾奉命統轄江蘇、安徽、江西、浙江四省軍務。太平天國覆亡後，朝廷褒功，封曾國藩為一等毅勇侯，加太子太傅，賞雙眼花翎。有清一代漢官中，無人能出其右。
曾國藩居官治軍尤重整飭吏治、端正人心，曾作文勸戒州縣：明刑法以清訟，重農事以厚生，崇節儉以養廉。江南任內，他在江西、江蘇、安徽等省實行減賦、緩徵、免征；從太平天國手中重新佔領安慶、蕪湖、南京等地後，即籌復書院、課試士子，對緩和社會矛盾、穩定統治秩序起了一定作用。
曾國藩畢生服膺程朱理學，又主張兼取鎊家之長，認為義理、考據、經濟、辭章四者不可缺一，但始終將理學放在首要地位。於古文、詩詞也很有造詣，被奉為桐城派後期領袖。
曾國藩逝世後，清政府贈其太傅，謚文正。後人輯其所著詩、文、奏章、批牘等為《曾文正公全集》，又有影印《曾文正公手書日記》行世。