爾朱氏重掌大權，嫌臨時擁立的元曄族緣過疏，又從孝文帝的侄子裡挑選廣陵王元恭，逼元曄禪位。元恭即位，是為節閔帝。他是繼元子攸、元曄之後的三號傀儡皇帝。
北魏境內，爾朱家族兄弟叔侄各霸一方：爾朱兆在北，兼有并州、汾州；爾朱仲遠在東南，據守徐、兗二州；爾朱天光在西，專制關中；爾朱世隆則居中，把持朝政。然而，這些人擅長胡作非為，沒一個真正成器的，相互之間誰也不服誰。呂思勉先生據此評價：「貪暴如此，雖與之天下，豈能一朝居？況乎怨讎者之日伺其側邪？」
貪暴的爾朱氏是秋後的螞蚱，蹦不了幾天。所謂的「日伺其側」者，便是高歡。
爾朱榮生前就看出來姓爾朱的沒一個能做高歡的敵手。他問部下：「有朝一日我死了，誰可以統領大軍？」大家都說：「爾朱兆。」
爾朱榮搖搖頭：「爾朱兆也就率領三千騎兵打場小仗，有能力代我統領大軍的，非賀六渾（高歡的鮮卑名）莫屬。」
他告誡爾朱兆說：「你鬥不過高歡的，終究會被他所制。」
爾朱兆並不把叔叔的警示放在心上，只把高歡當作手下的一員得力干將而已。爾朱榮被殺，爾朱兆派人請時任晉州刺史的高歡出兵，高歡以附近零星叛亂過多為由，暫時採取了觀望的姿態。
爾朱兆對高歡很不滿。可是沒過多久，河西流民紇豆陵步藩率部南下襲擊晉陽，打敗了爾朱兆的軍隊。高歡出兵救援，與爾朱兆合力殺了步藩，爾朱兆就忘了之前的過節，感激高歡之餘，與他結拜兄弟，擺酒慶賀。
高歡幫助爾朱兆，只是權宜之計，他明白還沒到翻臉的時候。僅靠手頭上的兵馬，又身處爾朱氏的根據地山西，以卵擊石是傻子的做法。要開創功業，一得人和，二需地利，然後才能期盼運氣（天時）的降臨。而就在宴席之間，爾朱兆主動向高歡咨詢起一件棘手的事情。
葛榮的六鎮部眾被爾朱榮遣散後，十多萬人流亡到了并州一帶「寓食」。他們衣食無著，又要遭受爾朱氏的契胡凌辱，小規模的造反不斷，令人防不勝防，殺不勝殺。爾朱兆很頭疼，又想不出主意，就跟高歡商量，說要不把這批人統統殺掉算了，可是斬草難以除根，怕出亂子。
高歡暗喜，這是天賜良機，但不能表現得太明顯。他一臉關切地說：「這個麻煩萬萬不能惹。於今之計，最好挑一名王爺（爾朱兆這時已進爵為王）心腹之人，讓他負責領導這些人。」
爾朱兆深以為然，轉念一想：「好是好，誰能勝任呢？」（自己往套裡鑽）
宴席間在坐的，有賀拔兄弟的老大賀拔允。賀拔三兄弟中，賀拔勝和賀拔岳都嫉恨高歡，賀拔允卻跟高歡的私交不錯，往來密切。他見爾朱兆問話，便隨口應道：「賀六渾就是合適人選。」
高歡一聽，伸手一拳揮了過去，把賀拔允打翻在地，掉落一顆牙齒。他氣呼呼地說：「天柱大將軍在時，我們這些人就是鷹犬。今日之事全憑王爺安排，阿鞠泥（賀拔允的鮮卑名）怎敢欺下罔上？請王爺將他嚴加處置！」
爾朱兆以為高歡真是實誠人，順口說道：「我意已決，就交給賀六渾來統領，也算了結我的麻煩！」
好個高歡，爾朱兆話音一落，神情立刻變了。他怕爾朱兆說的是醉話，醒了以後反悔，馬上就走出大帳，宣佈道：「我高歡受王爺委任，統領鎮兵，眾人前去汾水以東集合，聽我號令。」六鎮兵士恨透了爾朱氏，又知道高歡出身也是個鎮兵、參加過起義軍，都願意跟隨高歡。
賀拔允有意無意的一句話讓高歡賺足了起家的本錢，不論那一拳挨得冤不冤枉，那顆牙掉得值不值，他都是高歡集團的一大功臣了。有趣的是，宇文泰在關中創業，靠的也是賀拔氏（賀拔岳的大軍）。高歡也因此只能取得北魏半壁江山，可謂「成也賀拔，敗也賀拔」。
高歡一下子得了數萬鎮兵，問題又來了。并州連年鬧霜災、旱災，將士沒吃的，個個面如菜色。高歡派劉貴向爾朱兆請求，帶領將士們去河北地界解決溫飽。
長史慕容紹宗堅決不同意，他對爾朱兆說：「當今四方紛擾，人懷異望，何況高公雄才大略，握有重兵。放他東行，猶如縱虎歸山！」
爾朱兆不信：「我和他磕過頭，拜過把子，怕什麼？」
慕容紹宗道：「親兄弟尚難相信，何況拜把的兄弟！」
爾朱兆左右親信得了高歡的賄賂，都在一旁說慕容紹宗的壞話，爾朱兆以為慕容紹宗挑撥他與高歡的關係，反而把慕容紹宗關起來，催高歡早點出發。
高歡整軍離開晉陽，走到半道，碰上爾朱榮妻子北鄉長公主帶著三百多匹馬從洛陽而來。高歡下令奪了馬，編製成騎兵，繼續東進。
北鄉長公主跑到爾朱兆那裡訴苦，爾朱兆感覺不對勁，又把慕容紹宗放出來問他怎麼辦。
慕容紹宗算了下時間，說：「高歡還在我們的掌握之中。」爾朱兆親自領兵追趕，在襄垣郊外追上了剛剛渡過漳水的高歡軍隊。
高歡見漳水高漲，便隔水向爾朱兆拜謝：「我軍馬匹不足，所以借馬，為的是防備河北的盜賊。王爺親自來追我，我願渡水受死，只恐這些部眾將來又要叛亂了。」
爾朱兆哪有高歡那麼多心眼，趕緊申辯說決無殺他的意思，然後一個人渡過漳水，向高歡表示道歉，還伸出腦袋讓高歡砍，以表誠意。（爾朱兆闖江湖倒可以混個義士當，搞政治的話顯然幼稚得可笑）
高歡當場大哭說：「賀六渾仰仗的就是王爺，願為王爺出身入死。如今旁人離間我們的感情，王爺怎麼可以讓我如此難堪呢！」當下與爾朱兆殺白馬為盟，發誓一輩子做兄弟，兩人又是一醉方休。
尉景勸高歡乘機殺了爾朱兆，高歡則認為爾朱兆草包，不急一時。次日清晨爾朱兆回到對岸，見了慕容紹宗，心裡後悔，又要高歡過來敘談。高歡哪裡肯聽，帶著人馬自顧出太行山而去。爾朱兆隔著漳水罵了一陣，想想高歡畢竟沒有造反，也就撤兵回了晉陽。
高歡的治軍方略強過爾朱氏太多，而且一路上軍紀嚴明。他要求兵士對百姓秋毫無犯，過麥地下馬步行，自己以身作則。他熟悉六鎮兵民的習慣，很注意在各方面尊重鎮兵。到達河北時，高歡手下都是真心擁戴他的人了。
河北的當地勢力多數並不買高歡的賬。殷州刺史爾朱羽生、相州刺史劉誕、定州刺史侯淵等人是爾朱氏的親信。高歡向劉誕求糧，劉誕不給。他打聽到附近有個租糧的軍營，親自帶兵去搶，才獲得了有限的糧食。
據守冀州信都的漢族豪強高乾兄弟、封隆之等人，在高歡陷入困境時，向他伸出了援助之手。
高乾與高歡同宗，也是渤海蓨人。他這支的狀況比高歡要好，父親高翼在冀州是大戶，結交甚廣，遠近聞名。高乾兄弟四人，最為人稱道的，就是三弟高敖曹。高敖曹本名高昂，因為膽力過人，姿貌絕倫，武功極佳，當時人們都用字敬稱他，還把他比作項羽。
高乾聽說高歡到了信都附近，便對幾個弟弟說：「我聽說高晉州雄才蓋世，志向高遠。爾朱氏無道，正是英雄效義之時。我意已決，奉迎高晉州入城，諸君無須擔憂。」
他帶著十幾名隨從出城迎接，把高歡的大軍請到信都。高歡與高乾性情相投，很快就成了好朋友，兩個人同榻而眠，結為至交。糧草充足的信都城，也讓高歡的鎮兵第一次感到了衣食無憂的幸福。
過了幾個月，高歡見時機成熟，便假造爾朱兆的文書，說要徵召一萬人回山西做契胡的部下，去打稽胡。將士們不願再回去受苦，哀號遍野，哭聲震天。
高歡裝作一副勸慰的口氣說：「我與你們情同一家，不想上有軍令。現在去山西是死路，誤了軍期也是死路，如之奈何？」
將士異口同聲道：「只有造反了！」大家一致推舉高歡為首領。
高歡又說：「你們沒有看到葛榮的失敗下場麼？即便擁兵百萬，如若沒有嚴明的刑法保障，到頭來還是灰飛煙滅。若要推舉我為首領，得和以前不一樣：一不得侵犯漢人；二不得違犯軍規，服從我的命令。大家能做到麼？」
將士們連呼：「絕對服從！」集體在高歡面前拜倒。高歡下令宰牛造飯，讓眾人保餐一頓，然後宣佈討伐爾朱兆。
建明二年（公元531年）七月，高乾與另一名豪強李元忠攻滅爾朱羽生，兼併了殷州（今河北隆堯東）。高歡深受鼓舞，他按照孫騰的建議，立勃海太守元朗為帝，自任丞相、大將軍，改元中興，正式在信都起兵。