但是定都許縣也有不利之處，許縣的位置恰在天下的中央，四面都是強敵：北面是袁紹，一個老大哥，表面是盟友實際是勁敵；東面是呂布和劉備，一個是宿敵，一個是不可等閒視之的新秀；東南面是袁術，一個老朋友更是一個老對手；正南面是劉表，一個修煉得差不多了的老滑頭，也是一個真正的實力派；西面是關中，此時已進入了“後董卓時代”，目前被一大群大大小小的割據勢力所控制。
這還只是直接照面的，還有雖然照不上面卻同樣強大的公孫瓚、公孫度、孫策、劉焉、張魯等人，這些人都擁兵自重，不解決他們，許縣的朝廷就只能是個擺設。可是，先解決誰呢？
還沒等曹操對東面和西面做出部署，南面先出了情況。許縣往南就是荊州刺史部的南陽郡，該郡治所在宛縣，即今河南省南陽市，袁術曾經在這裡盤踞過，後來受劉表擠壓轉向揚州刺史部發展。袁術走後這裡的情況比較複雜，劉表派兵北上，也佔領了一部分地區，但是沒能把整個南陽郡控制起來，原因是這一帶黃巾軍的餘部勢力也很強大。
豫州刺史部的穎川郡、汝南郡以及荊州刺史部的南陽郡是黃巾軍一向比較活躍的地區，近年來黃巾軍餘部又紛紛起事，聲勢十分浩大，動不動就能拉起幾千幾萬人，但他們缺少統一領導，各自為戰，使南陽郡的局面呈現出混亂的狀態。
這時一支人馬來到了南陽郡，情況發生了改變。這是張濟的人馬，涼州軍將領張濟是與昔日涼州軍李傕等人齊名的人，在涼州軍裡素有威望，不過他的政治態度經常發生變化，先是支持獻帝東歸，後又改變主意倒向了反對東歸的李傕、郭汜一方。
張濟曾擔任過驃騎將軍，不過獻帝到許縣後這個職務應該被撤銷了，張濟的人馬成為一支流寇，他們先在弘農郡，但那一帶經過一系列內戰和自然災害，經濟已完全崩潰，人口大量外流，張濟面臨著嚴重的生存危機。
不得已，張濟率部離開弘農郡，向南發展。涼州軍素以凶悍而聞名，劉表聽說涼州軍悍將張濟衝著他來了，大吃一驚，趕緊下令在南陽郡、南郡一帶的部隊做好迎擊敵人的準備。
張濟的人馬進入南陽郡後一路燒殺搶掠，可能也真是餓急了，有點不擇手段，激起了南陽郡人民的反抗。涼州軍攻打南陽郡的穰城，張濟的命不好，被冷箭射死。劉表鬆了口氣，手下的官員都來向他道賀。劉表心裡也挺高興，但嘴上卻說：“張濟窮途末路而來，作為主人咱們有失禮之處，雙方交鋒實非本意，我接受你們的弔唁，不接受你們來祝賀。”
劉表比較會裝，不過他也的確沒有乘人之危對這支涼州軍斬盡殺絕，而是派人跟他們聯繫，希望收編這支隊伍。張濟死後這支人馬由他的侄子張繡統領，這也是一員猛將，早年在老家武威郡時就是出名的俠士，他當時在縣裡是一名縣吏，有個叫麴勝的人造反，襲殺縣長，張繡不久就找個機會刺殺了麴勝，從而聲名大振，張繡乾脆聚合一幫年輕人，成為當地的豪傑。
劉表派人找到張繡時，張繡正不知何去何從，出於生存的考慮張繡接受了劉表的建議，但不是投降，也不是被收編，而是結盟。劉表同意了，結盟也不錯，等於在他與曹操之間增加了一個中間地帶，可以有效緩衝來自北方的壓力。雙方達成協議，劉表支持張繡在南陽郡一帶發展，張繡替劉表守住北大門。
得到了劉表的支持，張繡勢力大增，迅速在南陽郡站住了腳，他佔領了宛縣，並把大本營放在了這裡。
張繡是一員猛將，但他覺得自己打仗還行，謀劃大事自己就力不從心了，手下也沒有這樣的人才，在鬥智鬥勇、弱肉強食的世道裡，如果沒有高人經常指點自己，輕了會吃虧上當，重則會被人給收拾了。
論涼州軍裡誰最有頭腦，張繡覺得非賈詡莫屬。張繡一打聽，得知賈詡這時在段煨那裡。涼州軍閥段煨駐守在華山腳下的華陰，獻帝東歸路過他的防區時，段煨曾出面給予保護，引起其他涼州軍閥的不滿。長安大亂，賈詡沒有跟獻帝走，他留在了長安。之所以做出這樣的選擇，或許賈詡考慮到正是他的一個主意攪亂了時局吧。
後來賈詡發現長安也不能再待，於是到了段煨這裡，段煨知道賈詡在涼州軍裡素來名望很高，擔心被他奪了權，特別提防他，但表面上尊禮有加，這讓賈詡覺得不自在。這時張繡悄悄派人來聯絡賈詡，賈詡便到了張繡那裡。賈詡已經50歲了，張繡年齡不詳，大概要小得多。作為自己叔父的同事，張繡把賈詡當作長輩看待。
段煨後來被曹操以朝廷的名義召去，任命為大鴻臚，於赤壁之戰後的第二年故去，在涼州軍將領中，他算是結局最好的一個。
張繡在南陽郡的快速崛起給曹操出了道難題，本來他打算在許縣稍加安頓之後便向東邊的呂布、劉備發起進攻，但現在南面有了一個強大的敵人，好比在臥榻之側來了只猛虎，這讓他怎能安心勞師遠征？
涼州軍向來是不太好對付的敵人，曹操起事以來敗得最慘的一仗就是跟涼州軍打的，至今記憶猶新。張繡得到賈詡的輔佐，更是如虎添翼，背後又有劉表的支持，南陽郡的這隻虎，可不是關在籠子裡供人欣賞的，它是隨時會吃人的。
如果曹操率主力東征，難保張繡、劉表不趁機襲取許縣。在這種情況下，東征呂布之事只能先放下了，當務之急，先得打掉南邊的這隻虎。
建安二年（197）新年剛過，曹操決定南征張繡。
準確地說宛縣在許縣的西南方向，南陽郡最北邊有兩個重要據點，一個是魯陽，一個是葉縣，已被曹軍控制。曹操命曹仁所部留守在魯陽、葉縣一帶，自己繼續率主力向宛縣方向進發，他的兒子曹昂今年剛好20歲，也在南下的隊伍中。
曹軍主力很快抵達淯水附近，淯水即今白河，與唐河匯合後稱唐白河，在襄陽注入漢水，是漢水的一級支流，長江的二級支流，宛縣就在這條河上，從宛縣順河南下就可以到達襄陽，這條河上還有一個著名的地方，就是新野。
曹軍近在咫尺了，張繡當然很緊張，曹操是什麼人物？袁術、陶謙、呂布這些人都不是他的對手，自己根本不值一提。除了硬拚張繡還有兩個選擇，一是向劉表求援，作為同盟，劉表理應幫他一把，這同樣是幫劉表自己；二是乾脆一走了之，打不贏就跑，到別的地方打游擊去。
前一陣張繡派賈詡到襄陽走了一趟，見了見劉表，目的就是探探路，看看劉表那邊的反應。這一趟看來效果不好，賈詡回來後對張繡說：“劉表這個人，倒是有一些才能，和平年代做個三公應該稱職。現在他看不到形勢的變化，多疑少斷，不會有什麼大的作為。”
聽賈詡這麼一說，張繡打消了依靠劉表抵抗曹操的想法。但他也沒有跑，不是因為逃跑很丟人，而是現在已經不像過去，能打游擊的地方實在也沒什麼了。想來想去，張繡決定投降，這是不是賈詡的建議不得而知，但賈詡至少沒有反對。
一場惡戰看起來已經不存在了，曹操很高興，在淯水河畔紮下軍營，設宴招待張繡及其手下。酒席宴前，張繡等人看到有一個大漢站在曹操左右，威武異常，不禁暗暗吃驚，他們不認識，這個武士就是典韋。
在曹操行酒時，典韋手持大斧一直跟著，斧刃有一尺多長，曹操走到誰跟前典韋不僅站在後面，而且使勁拿眼睛直盯著人家看，弄得客人根本沒有心思吃好喝好。
直到酒宴終了，張繡及其部將都不敢仰視。本來這次南征就可以圓滿收場了，但發生了意外。張繡有個親信將領叫胡車兒，勇冠三軍，曹操對像典韋、許褚這樣的猛士歷來見一個喜歡一個，總想弄到自己手下。這個胡車兒大概也是典韋那樣的猛人，曹操看到胡車兒後特別喜歡，想籠絡一下感情，於是親自接見，並贈給他不少錢。
曹操此時應該沒有通過胡車兒解決張繡的意思，因為此行目的已經達到，不需要把張繡徹底消滅，他拉攏胡車兒最大的目的恐怕也只是挖人。但張繡知道了這件事卻不這麼想，他認為曹操此舉用心不良，是要收買胡車兒謀害自己。
此前還發生了一件事，曹操看到張繡的嬸娘、已故驃騎將軍張濟的遺孀長得很漂亮，就納其為妾，張繡覺得受到了侮辱，心裡很不滿。
兩件事結合起來，張繡認為曹操肯定正在設計除掉自己，張繡決定先動手。賈詡也同意張繡這麼幹，他出主意，讓張繡向曹操報告，說部隊想移防到地勢高一點的地方，中間要經過曹營，並特意說：“車輛太少，士兵得都背負著很多物資，請求允許士兵們披甲而過。”曹操沒多想，答應了，結果，張繡趁自己人進到曹營之際突然發起攻擊，打了曹軍一個措手不及。
張繡降而復叛，多少有些不可理解。對張繡來說，此舉實在太冒險，以他的力量對付曹操實在沒有太大把握，僅僅因為覺得受到了屈辱和疑心就冒這麼大的險，也許符合他的性格，卻不像賈詡的作風。所以也有記載認為，曹操納張繡的嬸子為妾後張繡深以為恨，曹操知道了，於是設計想除掉張繡，但計謀洩露，張繡才不得不放手一搏。
張繡趁曹軍不備攻打淯水河畔的曹營，雙方立即展開了混戰。
在此之前曹操至少經歷過三次十分危險的戰鬥，一次在龍亢，一次在汴水，一次在濮陽，這幾次都很驚險，但這一次曹軍的狼狽樣超過了前幾次。混戰中，曹操坐下的馬被亂箭射中面部和腿部，曹操自己的右臂也中了箭。曹操現在騎的這匹馬名叫絕影，是繼白鵠之後的又一匹名馬，此刻光榮就義於淯水河畔。
混戰中失去戰馬，十分危險。危急關頭，有個小伙子從馬上下來，把自己的馬讓給曹操騎。曹操一看，是兒子曹昂。打仗親兄弟，上陣父子兵，關鍵時刻能捨身相救的還是自己家的父子兄弟，當年汴水之戰如果沒有曹洪讓馬，曹操可能早就沒命了，現在曹昂又把馬讓給了曹操。
但曹昂沒有曹洪那樣幸運，他戰死在亂軍之中。
曹昂是曹操的長子，曹丕只是次子，曹昂的母親也不是卞氏，而是劉氏。曹操的正妻是丁氏，沒有生育，曹操後來娶了劉氏，並生下了曹昂，但劉氏死得早，曹昂一直由丁氏撫養，形同親生母子。
這一仗對曹操而言不僅丟了面子，而且損失相當慘重，曹丕後來寫過一篇文章追記了淯水之戰，提到他的大哥子修和從兄安民都死於此戰。子修是曹昂的字，而安民是誰不得而知，史書記載時都把他稱為曹安民，認為是曹操的侄子。
一戰之中，死了兒子和侄子，對曹操而言還沒有過。
這還沒完，曹操的心腹愛將典韋也死於此戰，而且死得極為悲壯。當時曹操率輕騎逃走，典韋為了掩護曹操撤退，留下來在營門口與敵兵激戰。由於典韋勇猛異常，敵人無法前進，但他們分散從其他地方進入曹營。這時典韋周圍只有十多個人，這些人都是曹操精挑細選出來的勇士，平時主要職責就是保護中軍的安全，現在無不以一當十，殊死惡戰。但是，敵兵越來越多，他們漸漸不支，陷入重圍。
典韋手持長戟，左衝右突，一戟刺過去，敵兵10多支長矛都能被折斷。最後典韋的左右全部陣亡，他本人也數十處受傷，但他仍然與敵兵近距離格鬥。典韋一把抓過兩個敵兵，徒手就把他們給殺了，其餘敵兵吃驚不小，都不敢再靠近。
典韋又上前衝殺，殺了幾個敵人，然而傷勢嚴重，失血過多，最後怒目大罵而死。敵兵確信典韋已死，才膽戰心驚地上前把他的頭割下，互相傳看，想觀察一下這個奇人到底為什麼如此生猛。
曹軍從淯水河邊一路慘敗，一口氣退到了宛縣以東百里之外的舞陰。曹軍士氣十分低落，這裡還是敵占區，很不安全。好在留守在魯陽、葉縣一帶的曹仁率部及時趕來，局面稍稍有些穩定。離這裡比較近的其他各路曹軍聽說後，也都紛紛抄小道趕來救駕，結果路上擁擠無序，狼狽不堪。
時任平虜校尉的於禁率數百人負責為曹軍主力斷後，他們且戰且退，遲滯了敵人的進攻，敵人見無法繼續擴大戰果，慢慢退去。
於禁下令整頓人馬，敲著戰鼓回營。
走在半道上，遇到十多個傷兵，一個個赤身裸體，慘不忍睹。於禁問他們怎麼了，這些人說被青州兵趁亂打劫，於禁大怒。這個青州兵就是曹操當年打敗青州黃巾軍後收編的部隊，這支部隊作戰勇猛，很能打，但軍紀一向很差，曹操對他們平時頗為關照，反而讓他們更認為自己不得了，這次趁敗軍之際，公然搶劫到自己人頭上。
於禁對青州兵很熟悉，曹操曾讓於禁多次指揮他們打過仗，在汝南郡征討黃巾軍餘部的戰鬥中還立過功，於禁這個平虜校尉就是在那時被提拔的。雖然是熟人，但違反了軍紀，於禁也不客氣，他下令追討青州兵，把他們收拾了一頓，之後於禁指揮所部安下營壘，防備敵軍再來。
這時手下人勸他先不忙安營紮寨的事，應該先到曹公那裡報告情況，防備青州兵惡人先告狀，於禁不以為然：“現在敵人在後，很快就會追到這裡來，不做好準備，何以對敵？曹公明察秋毫，不必申辯！”青州兵果然搶先跑到曹操那裡告狀，曹操也果然沒聽信他們。
見到於禁，聽了匯報，曹操很高興，對於禁說：“淯水之難，我方危急，將軍能亂而不亂，整治所部，懲治暴行，高築堅壘，實在有不可撼動之節，雖古代的名將，也難以超過你呀！”曹操依據於禁前後立下的功勞，上表天子封於禁為益壽亭侯，此時曹軍的將領被封侯的還只是極少數。
在舞陰，曹操為典韋盛大發喪。曹操命人設法找回了典韋的遺體，送回老家安葬，在儀式上流下了眼淚。曹操後來拜典韋的兒子典滿為郎中，作為自己的近侍。
典韋是陳留郡襄邑縣人，以後曹操每次經過陳留郡一帶，都要專門繞道襄邑縣，親自祭祀典韋。將士們看到曹操沒有為兒子、侄子發喪，反而這麼痛惜典韋之死，無不深受感動。之後，曹操從舞陰退回到許縣，留下曹洪駐防於南陽郡境內，與張繡對峙。
張繡打退曹操之後，迅速擴大戰果，在劉表的支持下，他將曹軍曾經佔領過的舞陰等地重新收回，把曹洪壓縮到南陽郡最北面的葉縣一帶，曹洪在南陽郡處境艱難，只能勉強守住最北面的防線。曹操知道曹洪在南邊很吃力，但此時他卻無法迅速支援。
就在回師許縣不久，又發生了一件大事，曹操不得不親自去處理。