曾國藩不是軍人，也從來沒有摸過武器。但是他畢竟從道光二十九年起，兼任過數年的「兵部左侍郎」(約等於今天的國防部副部長)，加以他以經世致用為志，對大清國家武裝情況有較一般人遠為深入而全面的瞭解。
他深知，依靠目前這支大清軍隊，打敗太平軍是不可能的。因為晚清國家軍隊是一支沒有靈魂的、沒有「天良」、沒有精神力量的軍隊。曾國藩說過：「國藩歷年來痛恨軍營習氣，武弁自守備以上無不喪盡天良！」
要挽救這個國家，只有一個辦法，那就是「赤地立新」，自己動手，練出一支嶄新的有戰鬥力的隊伍。所以，在接奉聖旨後的第十天，曾國藩就復奏，要在長沙創建一支新的軍隊。
曾國藩練兵，首重給軍隊注入「良心」和「靈魂」。他在中國軍事史上首先發明了「政治教育」。創立湘軍之後，每逢三日、八日，他要把軍隊召集到操場上，進行政治動員。他親自訓話，用「殺身成仁，捨生取義」的孔孟之道和「不要錢，不怕死」的岳飛精神激勵將士，教育他們忠君愛國，不得擾民。
這當然是好事。但問題是曾國藩又一次把手伸向了自己的權力範圍之外。和各地國家軍隊一樣，駐長沙的綠營軍，軍紀廢弛、四處擾民，令全長沙頭疼。曾國藩命令駐省的正規軍隊每三八兩日，與湘軍一起「會操」。曾國藩自己說：「傳喚(綠)營兵，一同操演，亦不過會弁委前來聽我教語」，開啟他們的天良。他為了喚醒這些兵痞的良心，也確實苦口婆心：「每逢三、八操演集諸勇而教之，反覆開說至千百語，但令其無擾百姓。」「每次與諸弁兵講說，至一時數刻之久。雖不敢雲說法點頑石之頭，亦誠欲以苦口滴杜鵑之血。」其目的「蓋欲感動一二，冀其不擾百姓，以雪兵勇不如賊匪之恥，而稍變武弁漫無紀律之態」。
這一利國利軍之舉，卻差點讓曾國藩送了命。
大清政治慣例是文官不管軍隊的日常事務。即使是巡撫這樣的實權大官，也不會具體過問軍隊的日常操練。文官們雖然痛恨曾國藩，但也只能形於辭色，性情粗野的軍人們卻沒有這麼好脾氣，他們立刻付諸行動。
帶頭鬧事的，是長沙副將清德。他在太平軍進攻湖南時曾臨陣脫逃，此時面對曾國藩卻很勇敢。他不僅帶頭抵制會操，「操演之期，該將從不一至」，而且搖唇鼓舌，四處鼓動各軍不要受曾國藩的擺弄。
行事至剛的曾國藩立刻給皇帝上了個折子，彈劾清德，並猛烈抨擊湖南駐軍「將士畏葸，疲玩已成痼習，勸之不聽，威之不懼，竟無可以激勵之術」。尚方寶劍很快顯示了威力。咸豐皇帝立刻將清德革職拿辦。這是曾國藩出山之後，與湖南官場發生的第一次正式衝突。
表面上看曾國藩在這次衝突中取得大勝，實際上失敗的隱患已根植在這場「大勝」之中。
晚清官場最重要的潛規則是「官官相護」。常在河邊走，誰能不濕鞋？只有彼此掩蓋，才能最大限度保證大家的集體安全。動輒咬人，足以令人人自危。湖南官員從此對曾國藩更加恨之入骨。清德的上司、湖南提督，也就是駐湖南最高軍事長官鮑起豹更伺機報復，而機會也很快就來了。
綠營軍看著曾國藩招來的這些湘勇土包子怎麼看怎麼不順眼，經常藉故與湘勇發生械鬥。八月初四，鮑起豹的衛隊又尋釁攻打湘勇，雙方各有負傷。
軍隊沒有紀律，何以平賊，何以安民？曾國藩向鮑起豹發去文書，要求他逮捕帶頭鬧事的綠營兵，以杜私鬥之風。
鮑起豹決意要借這個機會好好教訓教訓曾國藩。他故意將幾名肇事士兵五花大綁捆起來，大張旗鼓地押送到曾國藩的公館，同時派人散佈曾國藩要嚴懲這幾個綠營兵的消息，鼓動軍人鬧事。綠營一傳二、二傳三，越聚越多，群情激憤，紛紛上街，遊行示威，要求曾國藩釋放綠營兵。長沙城中一時大亂。
張亮基調走之後，湖南通省官員都和曾國藩氣味不投。出了這個事，滿城官員都關起大門，袖手旁觀，心中暗喜。「營兵既日夜遊聚城中，文武官閉門不肯誰何。」等著要看曾國藩的笑話。綠營兵見狀，膽子更大，居然開始公然圍攻曾國藩的公館。
曾國藩的公館就臨時設在巡撫衙門的射圃裡，與巡撫駱秉章的辦公室僅一牆之隔。曾國藩以為綠營兵膽子再大，也絕不敢武裝攻擊他這個二品大員。所以被綠營兵包圍後，他還若無其事地處理公文。不料綠營兵竟然破門而入，連傷了他的幾個隨從。連曾國藩自己都差點挨刀。曾國藩奪門而逃，幾步竄到隔壁巡撫辦公室門前，連連急叩。
綠營在門外鬧事，巡撫駱秉章聽得一清二楚，但是卻裝聾作啞，暗暗發笑。他早應該出來調停，卻一直假做不知。直到曾國藩來叩門，他才故作驚訝，出來調停。綠營兵一見巡撫駕到，馬上規矩下來。
駱秉章的調處辦法是命人把鮑起豹捆送來的那幾個綠營兵帶過來，他親自上前鬆綁，還連連向他們道歉，說讓兄弟們受委屈了！
綠營兵面子掙足，興高采烈擁著這幾人而去。
只剩下駱曾二人了，駱秉章一句安慰的話也沒對曾國藩說，只淡淡地說了一句：「將來打仗，還要靠他們啊！」就轉身走了。
曾國藩氣得啞口無言。
湖南官員們眼見前一段飛揚跋扈的二品大員這次被狠狠地修理，個個眉開眼笑，把這事當成笑話，四處飛傳。一時間，滿城都是對曾國藩的譏笑之聲。「司道群官皆竊喜，以謂可懲多事矣。」
這是曾國藩出生以來，第一次遭遇真正的挫折。進秀才的艱難，畫稿遭人嘲笑的尷尬，比起這次挫辱來，完全不在同一個檔次。堂堂副部級官員，差點讓鬧事的兵痞殺了，還沒處講理。這種難堪在整個大清朝的歷史上，也不多見。我們可以想像曾國藩是如何心血上衝，夜不成寐。
曾國藩的第一反應當然是向皇上控告。乾脆，借這個機會把到省辦事以來所受所有排擠委屈都痛快淋漓地向皇帝陳訴一番！
然而細一想，他就知道這種做法行不通。這一道奏折上去，頂多打倒一個鮑起豹，能把湖南全省官員都搬倒嗎？如果搬不倒全省官員，那麼以後他在湖南的處境，豈不是更要寸步難行？
經過幾夜不眠的反思，曾國藩做出了一個出人意料的決定：「好漢打脫牙和血吞」。他不再和長沙官場糾纏爭辯，而是捲起鋪蓋，帶著自己募來的湘軍，前往僻靜的衡陽。全省官員瞧不起我，我不爭一日之短長。等到我在衡陽練成一支勁旅，打幾個勝仗給你們看看，那時自會分出高下。這才是挽回面子的最好辦法！