高歡起兵的消息傳到晉陽，爾朱兆才意識到自己被騙了。他調起兩萬步騎兵，從井陘出太行山，奪回了殷州。兗州的爾朱仲遠也陳兵陽平（今河北館陶），準備會戰高歡。
倒霉的爾朱兆仍然避免不了被高歡耍的命運。高歡派人施反間計，一面說「爾朱世隆兄弟要殺爾朱兆」，一面又說「爾朱兆和高歡合謀算計增兵北上的爾朱仲遠」，搞得爾朱兆與爾朱仲遠相互猜忌，不敢輕易進攻。
高歡乘機以輕騎兵突襲廣阿（今河北隆堯東），大敗爾朱兆，俘虜五千人，然後引兵南下，用地道焚柱戰術（所謂地道焚柱，是從城外往城樓下挖掘地道，同時用柱子作為支撐，完成地道後，放火焚燒柱子，使地層下陷，城樓倒塌。袁紹曾用這種方法攻破公孫瓚的幽州，而高歡也很擅長用此計攻城），攻破了鄴城。一年前拒絕借糧給高歡的相州刺史劉誕，做了高歡的階下囚。
鄴城的失守令洛陽的爾朱世隆著了慌。他手下的驃騎大將軍斛斯椿看不慣爾朱氏的作為，認為這是把爾朱氏一網打盡的好時機，就向爾朱世隆自告奮勇，去關中請爾朱天光出關。
爾朱天光在關中大權在握，過得很爽，不想去搗關東的渾水。斛斯椿說：「高歡作亂，關東那些人都是廢物，王爺不出馬可平定不了！」
斛斯椿的話說到了爾朱天光的心坎裡，他也不聽賀拔岳固守關中的勸告，留下弟弟爾朱顯壽鎮守長安，得意洋洋地領軍前往鄴城。
賀拔岳料知爾朱天光必敗，便與宇文泰商量對策。宇文泰建議，說服秦州刺史侯莫陳悅出兵，乘虛襲取長安，並親自到侯莫陳悅軍中做思想工作。侯莫陳悅果然被宇文泰說動，與賀拔岳一同攻下長安，捉了爾朱顯壽。賀拔岳兵不血刃得了關中，對宇文泰倍加器重。他自任關西大行台，任命宇文泰為行台左丞，事無鉅細都交由宇文泰處理。
爾朱兆與各路爾朱氏軍隊齊集鄴城外，號稱大軍二十萬。四年前爾朱榮在這裡滅了葛榮，爾朱兆自然想重溫一下叔叔的戰績。可敵兵雖然還是葛榮的六鎮兵，敵將卻比葛榮高了好幾個檔次，更何況他自己也不是擅長戰術的爾朱榮。
高歡留下封隆之守鄴城，親率步騎兵三萬多，出城迎敵。這支軍隊裡除了以鎮兵為主的鮮卑騎兵外，最顯眼的就數高敖曹的三千漢兵。
這三千漢兵是高敖曹在冀州鄉里精挑細選和長期操練出來的，每個人都練就一套好身手，不亞於鮮卑士兵。高歡原本擔心漢兵的戰鬥力，想把鮮卑兵編入高敖曹軍中，聽了高敖曹的解釋後，大為讚歎，便把高敖曹部安排在大軍的左翼，又命堂弟高岳率部為右翼，在鄴城南面的韓陵山（今河南安陽東北）下，擺開圓形的陣勢，並用牛驢等牲畜自絕退路，以示與將士們一起以死相拼的決心。
爾朱兆遠遠望見高歡，大聲斥責道：「我與你誓為兄弟，你卻要反我？是何道理？」
高歡冷冷答道：「不錯，我本想與你戮力同心，共輔朝政。可如今天子在何處？」
爾朱兆自知理屈：「永安皇帝（即孝莊帝）枉殺天柱將軍，我只是想報仇而已。」
高歡哼了一聲，說道：「當年天柱將軍想做皇帝，我是親眼所見，親耳所聞，你當時就在帳下，難道還不算造反麼？何況皇帝殺大臣，報的哪門子仇？今日我與你恩斷義絕！」（高歡的狡猾之處，在於他既有自己的主見，又知道見什麼人說什麼話。爾朱榮想稱帝的事，本有他一份「功勞」，現在反過來變成批判爾朱兆的罪行了。而在爾朱兆理虧的場合，支持高歡的人是很少會去計較高歡以前的所作所為的）
爾朱兆怒不可遏，揮師殺向高歡。兩軍相持，高歡人少，被迫向後撤退。爾朱兆乘勢猛追，兩翼高岳和高敖曹的騎兵一個從前方，一個從中間，突然發動衝擊。爾朱兆的軍隊人多，首尾難以呼應，被高敖曹的漢兵攔腰截斷，混亂不堪。高歡回軍發動反攻，爾朱兆大敗，逃往晉陽。賀拔勝等人臨陣投降。
觀望多時的斛斯椿見爾朱氏戰敗，便與部下先一步回到洛陽，殺了爾朱世隆、爾朱彥伯兄弟，又抓了狼狽逃到河橋一帶的爾朱天光等人，向高歡獻城。高歡大軍開進洛陽，盡殺城中的爾朱氏及其黨羽。只有跑得最快的爾朱仲遠投奔了梁國，才倖免一死。
高歡手上有了兩個傀儡皇帝，天無二日，按理得廢掉一個。以血緣論，節閔帝是皇族近親，高歡立的元朗是遠親，繼續扶持節閔帝是可以的。但高歡顧忌到節閔帝年紀較長，不容易操縱，便派人從孝文帝的後代中物色皇帝人選。看來看去，廣平王元懷的三子平陽王元修不錯，年齡二十出頭，又少言寡語，適合做個好傀儡。（人不可貌相，高歡失算了）
中興二年（公元532年）四月，高歡立元修為帝，改元太昌，之後又改元永熙，這就是北魏末代皇帝——魏孝武帝。高歡被封為大丞相、天柱大將軍、太師，爾朱榮的頭銜統統拿到，年僅十二歲的長子高澄被封為侍中、驃騎大將軍。之後，高歡便接連毒殺了節閔帝與另外兩個廢帝元曄和元朗。（爾朱氏雖然廢了元曄，卻並沒有殺他，就這點而言還算厚道。高歡則很像劉裕，從最底層好不容易爬到了一人之下的位置上，對於「皇帝」這個東西是最不能信任的，凡戴過皇冠的，全在可殺之列。這三個皇帝中，節閔帝的死因稍有爭議，史載為孝武帝所殺，但我個人認為高歡至少是參與者之一。不管是殺了二帝還是三帝，高歡都拉開了北朝末年殺皇帝比賽的大幕。慘……）
跟隨爾朱榮這幾年，高歡從爾朱榮身上總結了許多利弊得失。他好比是個改進版的爾朱榮，以爾朱榮為模板，又能有所變通。他處死了背叛爾朱氏、主動來降的喬寧、張子期等將領，給自己的部下敲了一聲警鐘。他又把大女兒嫁給孝武帝做皇后，牢牢控制了皇帝的耳目。
高歡安定了朝中事務，引兵與大都督厙狄干分別從滏口和井陘進入并州，擊潰爾朱兆，攻佔晉陽。爾朱兆北逃秀容，高歡命都督竇泰為先鋒，率領精騎兵日夜兼行，很快追上了爾朱兆的殘兵敗將。爾朱兆窮途末路之下，自縊而死。爾朱氏的勢力在北魏前後稱雄五年多，終於覆滅。
慕容紹宗帶著爾朱兆的家室及餘部，到高歡軍中請降。高歡愛惜他的才幹，又欽佩他對爾朱氏的忠誠，赦免了他的罪過。從此，高歡有了一條不成文的慣例：越是卑躬屈膝、背信忘義的叛將，他越是要殺；而那些忠心耿耿，最後一刻才被迫來投的人，他反倒格外優待。
高歡對易守難攻的晉陽情有獨鍾，下令在晉陽建造丞相府，把辦公地點搬到那裡，像爾朱榮一樣遙控朝廷。（他或許沒想到這辦公地點一直到死再沒改變。）
關東到手，高歡卻時時惦記著關中這塊肥肉。賀拔岳名義上向洛陽稱臣，實際上獨據一方，難以駕馭。他徵召賀拔岳做冀州刺史，想把這枚眼中釘按在眼皮子底下。賀拔岳手下的行台右丞薛孝通認為關中才是保全自身的根本，去了關東必將受制於人。賀拔岳依計回絕了高歡的徵召，而高歡究竟是想做霍光還是曹操，他仍然心存疑惑。為難之際，宇文泰提出前往并州，為賀拔岳一探虛實。
於是，宇文泰以賀拔岳使者的名義，到并州去見高歡。將來戰場上的對手第一次在晉陽會面了。不過，這是一次下級與上級的會面，宇文泰認識高歡，高歡卻不認識宇文泰（至多聽過名字而已）。他從未注意到賀拔岳手下還有這麼一位年輕有為、品貌不凡的將軍。高歡問起關中的軍事，宇文泰對答如流。談著談著，高歡起了愛才之心，要把宇文泰留在軍中。宇文泰婉言拒絕了高歡的「好意」，星夜西歸。高歡後悔（該悔到腸子裡去了），派人一直追到潼關，終究沒能追上。
宇文泰回到關中，對賀拔岳分析道：「高歡絕非人臣，目前還忌憚明公兄弟，不敢擅行篡逆。侯莫陳悅是個庸才，只需防備，不難對付。我們不如移軍西進，降伏河西流民，收取氐、羌等部，然後還軍長安，與高歡對抗，必能匡扶社稷，成就蓋世偉業。」
賀拔岳大喜，開始著手經營關中，又派宇文泰與孝武帝秘密接洽。北魏分裂的苗頭隱隱出現了。