李鴻章露了一手老辣的謀略之術後，就又和曾國藩鬧翻，並第二次離營出走。
曾國藩保薦了左宗棠，讓老左終於獲得機會，一飛沖天。這讓李鴻章極為不平衡，他知道自己的才略不在左宗棠之下，可是曾國藩卻始終不肯推薦他，尤其是在巧妙拒絕了咸豐帝北上護駕之後，李鴻章認為自己已經有足夠的資本跟曾國藩叫板了。
想叫板，機會總是不缺的，近視眼李元度事件，就成為這起師徒爭吵的導火索。
曾國藩建湘軍，士兵易募，將才難求。搞到最後，高度近視的李元度硬著頭皮出來帶兵，居然成為湘軍中不可或缺的中流砥柱。但李元度終究不是將才，能把一支軍隊拖著到處走，就是他的本事之極限了，倘戰場上交鋒，這事九成九要吃癟。
前者，李元度的平江勇曾被太平軍攻破，全軍覆沒，唯獨他這個高度近視的傢伙逃了回來。
清廷律令，對敗軍之將懲罰極重，但李元度是個例外，他是個文人，追究他或是不追究他，意義都不大。因此他非但未受追究，反而繼續受到重用。實際上他就是起個稻草人的作用，嚇唬數量少的太平軍，同時起到給大家壯膽的作用。
此番曾國藩移師祁門，祁門的門戶徽州，就需要一員上將來把守。可這年月去哪兒弄什麼上將去？還得近視眼李元度來。
於是李元度奉曾國藩之命，赴湖南募得鄉勇三千，興沖沖地拉到了徽州。臨走之前，曾國藩千叮嚀萬囑咐：「你就是個稻草人，千萬別拿自己當回事。倘叛軍來攻，打死也不要給他們開門，記住了沒有？」
李元度確實記住了，可問題是，以他一個書生的身份，要壓制殺人不眨眼的大頭兵，這難度確實不低。結果，當太平軍的侍王李世賢率大軍氣勢洶洶趕到，李元度頂不住部屬急於立功的壓力，打開了城門。
說起這李世賢，他雖然不是什麼名將，但比李元度可強多了。結果雙方一出真招，李元度這邊就頂不住了。當時李元度就嚇壞了，丟了部隊不顧性命地狂逃，也虧他那雙近視眼，居然成功逃生了。
雖說李元度已經習慣了戰場上的失敗，但這次有點不同。這次他竟然棄軍而走，恐怕曾國藩也不會跟他有完。李元度心裡害怕了，不敢回來，就在浙江和江西的邊境上，摸索著溜躂了一個多月，後來溜回來，偷偷地找到糧台，把自己的薪資全部領出來——可見曾國藩這邊的財務管理不規範，老闆沒簽字，財務人員就可以給員工發薪——然後李元度就逃走了。
李元度失陣私逃，臨逃之前還偷領薪資，這可把曾國藩氣壞了。儘管李元度追隨他最久，歷盡了患難，但曾國藩還是決定懲治李元度，就命人起草奏折——現在他的奏折到咸豐帝面前就能批准通過，雖然能通過，但也必須要有個折子遞上去，表示政令仍然是出自朝廷。
見曾國藩要彈劾李元度，李鴻章終於逮到鬧事的機會了。他知道，幕僚們都對李元度充滿了同情，這可憐蟲高度近視，走路都要扶牆，還替大家上戰場出生入死，僥倖活命回來，還要彈劾人家，這未免太不人道了。在這種同情心驅使下，全體幕僚和李鴻章站在了一起，一道去找曾國藩吵架。
曾國藩本是一根筋，遂勇猛地舌戰幕僚，堅持要彈劾李元度。李鴻章眼見無法讓曾國藩服軟，就威脅說：「如果老師一定要參，抱歉，我們將拒絕起草奏折。」
曾國藩冷笑：「我怕了你們才怪，難道我不會自己寫奏折？」
李鴻章氣壞了：「老頭，如果你一意孤行，那我只好辭職以示抗議。」
曾國藩：「行，你要辭職，馬上去糧台領薪水，沒人攔著你。」
李鴻章真的領了薪水走了，這個大滑頭，他預料到祁門之地遲早會遭到太平軍的攻擊，留在這裡極度危險，正好借這個機會，一走了之。
李元度私逃、李鴻章辭幕，這兩件事對曾國藩的心靈造成了強烈的傷害。他在自己的日記裡寫道：「日內因徽州之敗深惡次青，而又見同人多不明大義，不達事理，抑鬱不平，遂不能作一事。」
要說李鴻章這人就是精明，他前腳剛剛走，後腳太平軍就來了。
來的是忠王李秀成，統率西征南路軍，鋒芒直指祁門。