爾朱榮回到晉陽，便開始張羅討伐葛榮起義軍的行動。葛榮這個時候幾乎控制了今天的河北全境，他攻下了冀州的信都（今河北冀縣），又對北面佔領定州（今河北定縣）、瀛州（今河北河間）、幽州等地的杜洛周的軍隊發動突襲，擊殺了杜洛周，兼併了他的地盤和部眾。
河北最南端的州是相州，治所在鄴城（今河北臨漳附近），也是國都洛陽的最後門戶。若相州再失，葛榮大軍就可以順利渡過黃河，威脅洛陽。北魏的相州刺史李神誓死不降，葛榮惱火，率領主力軍隊，號稱百萬之眾（當然能有十萬就相當不錯了，而且葛榮的所謂大軍「虛胖」很嚴重，戰鬥力也得打上大大的折扣），包圍了鄴城，一些遊兵散勇已經逛到了黃河邊上的汲郡。
爾朱榮鎮壓起義軍的經驗豐富，並不怕外強中乾的葛榮。他讓侄子爾朱天光代他鎮守晉陽，然後從本部精選了七千騎兵，以侯景為前驅，倍道兼行，從滏口（今河北磁縣西北）東出太行山，抄到了鄴城北面，在葛榮大軍的身後擺開陣勢。
葛榮對爾朱榮的突然出現略感吃驚，但他打慣了勝仗，又見爾朱榮的人數不多，喜形於色地對手下說：「這些人容易對付，大家每人帶條長繩，準備給我抓活的！」
他暫時停止了對鄴城的攻擊，列陣數十里，張開兩翼，向爾朱榮的騎兵隊伍包圍上來。
爾朱榮把軍隊引到附近的山谷，將手下督將按三人為單位分為多處，每處率領幾百名騎兵，來回奔躍，揚塵鼓噪，讓葛榮的軍隊無法判斷究竟有多少人馬。然後給每人發一根袖棒，掛在戰馬側部，遇到敵人時，就用袖棒擊打，無須費功夫斬首。
這招很高明，對付葛榮的准民兵，將其擊倒在地，不管是死是活，都等同於消滅其戰鬥力。據說，這種袖棒，就是唐初秦瓊的手中兵器雙鑭的前身（爾朱榮的戰略頭腦近乎白癡，但戰術素養確實很有一套）。
兩軍交鋒，葛榮的軍隊人多勢不眾，完全吃不住爾朱榮裝備精良的騎兵猛衝。爾朱榮親自率領一支人馬繞到背後，把葛榮的陣勢殺得七零八落，就地生擒葛榮。底下的十幾萬士兵也被袖棒打得滿地亂滾，呼天喊地，乞求饒命。
基於六鎮起義的教訓，爾朱榮沒有處置投降的士兵，而是讓他們親屬相隨，自尋出路，不再追究罪責。「首惡」葛榮押赴洛陽斬首，一些部將則被爾朱榮收編，跟著他遷往晉陽。河北起義至此基本煙消雲散。
委身於葛榮手下多時的宇文洛生、宇文泰兄弟，也在爾朱榮的收編之列。爾朱榮對他倆又愛又憚，心理很矛盾，愛的是才華出眾，憚的是名高望重。沒過多久，爾朱榮還是找了個罪名，把宇文洛生抓起來殺了，正要再殺宇文泰，宇文泰以理訴冤，陳詞慷慨，爾朱榮聽了很受感動，不但改變了主意，還任命他為統軍。
爾朱榮行事向來考慮不周，極具遊牧民族的特色，憑此顯然難成大事；而宇文泰能屈能伸，年紀輕輕（當時年僅二十二歲）已露出領袖氣質。他在北方大亂中連失父親和三個哥哥，卻從中習得了旁人少有的隱忍，著實可怕。否極泰來的宇文泰終於從爾朱榮手中得到小股部眾，有了一展身手的機會。
爾朱榮功勳卓著，進位大丞相，封柱國大將軍，兩個兒子爾朱文殊、爾朱文暢一併進爵為王。
葛榮雖被消滅，北魏境內尚有多處叛亂沒有平息，其中以青州的邢杲和關中的萬俟丑奴為最強。不過，爾朱榮最該頭疼的，應該是南朝的正規軍。
北方大亂，自顧不暇，南方的梁武帝也沒閒著，他看到了興復中原的新希望。從普通五年到七年（公元524年—526年），他連續發兵進攻淮水下游的北魏佔領區，首要目標是拿下壽陽。
時隔多年，從前對魏作戰功勳顯赫的韋叡、曹景宗、馬仙玭等人都已去世，老一輩的名將惟有豫州刺史裴邃還在獨撐，梁武帝在調兵遣將上顯得有些捉襟見肘。普通五年，他請裴邃坐鎮，都督征討諸軍事。這次行動比較順利，壽陽東北的不少城池都被輕鬆攻拔。裴邃的主力幾乎已經攻下壽陽，因後援不繼才被迫南撤。
普通六年，裴邃又攻下了壽陽西面的新蔡和鄭城（今河南穎上），形勢一片大好。然而緊要關頭，年事已高的裴邃卻在軍中病逝了。
梁武帝以中護軍夏侯亶接替裴邃，負責攻打壽陽的行動。夏侯亶是南梁開國功臣夏侯詳的兒子，才學雖高，打仗非其所長，壽陽攻防戰一時轉入僵持。
北面的彭城方面則傳來了利好消息，北魏徐州刺史元法僧謀反不成，率部叛投梁國。梁武帝喜出望外，他欣然納降，派兵北上接應，並命次子豫章王蕭綜率眾將進駐彭城。將領名單中最值得注意的，是武威將軍陳慶之。
之所以提請注意，不全是因為他後來驚人的表現。僅僅從早年的記錄來看，陳慶之在梁國、乃至南朝史上是一個異類。
我們知道，南朝評判一個人的標準，首先是出身門第，其次是品行學問，再次是容貌舉止。三者都平常無奇的人，別說做官，即便在社會上，也不會有人瞧得起。陳慶之呢，家族無考，品學未知，貌不驚人，而且武藝很爛，史載他「射不穿札，馬非所便」，連箭都射不來，馬都騎不好（比坐小車的韋叡還慘），沒有一處可以引人注意的。如果說老一輩名將韋叡的低調有其內斂的因素，那麼陳慶之的低姿勢，則完全是「事實如此」。
他出身卑微（或者是父母雙亡，或者是家境貧賤），自幼追隨梁武帝，相當於小僕從。梁武帝好棋，常常與人通宵對弈，別人都吃不消，只有陳慶之可以一夜不睡地陪梁武帝玩。梁武帝對他喜愛有加，登基後，把他放在身邊做主書（主管文書）。
普通北伐前，陳慶之除了這個文職，從未在軍中做過事，更別提帶兵打仗了。梁武帝瞭解他，信任他的穩重，讓他在蕭綜手下做雜號將軍。剛過不惑的陳慶之就這麼上了前線。
「一顆老鼠屎，壞了一鍋粥。」梁武帝企盼以彭城為據點，擴大北進的規模，誰想行動遭遇了意外，氣得他差點沒去撞牆。他心愛的兒子蕭綜不認他這個爹，還視他為仇敵。
梁武帝反齊攻下建康時，將東昏侯蕭寶卷的寵妃吳淑媛納為妃子，七個月後產下了蕭綜。蕭綜長大後從母親那裡聽說此事，便掘開蕭寶卷的墳墓，滴血驗親（這相當於古代版的DNA化驗，化驗過程是，將自己的血液滴到蕭寶卷的骨骼上，如若滲入，則兩人是血親。鬼知道是否有科學道理。其實齊梁兩蕭是只隔了四五代的親戚，即便採用DNA測驗，有所相似也該正常），堅信自己是南齊皇室的後代。他抓住梁魏兩軍在彭城對壘的時機，連夜逃入魏軍大營投降。
梁軍十分搞笑地丟了主帥，立時潰散，彭城得而復失，還傷亡數萬兵力。沮喪之餘，陳慶之卻讓為良將發愁的梁武帝眼前一亮：他的軍隊號令嚴整，全師退到了建康。
於是一年後梁國再次攻壽陽時，陳慶之被授予假節、總知軍事。夏侯亶和元樹分南北兩路合攻壽陽。北魏的主力軍正在河北清剿，無法有效支援壽陽。壽陽城破，梁武帝終於如願以償。陳慶之升為東宮直閣，負責太子東宮的防務，賜爵關中侯。短短一年之內，陳慶之從小主書一躍為大侯爵，雖說梁武帝有意提拔親信，但陳慶之的戰功還是足以讓很多久經沙場的宿將大跌眼鏡。
奪取壽陽只是開端。梁軍乘勝挺進，在淮北連戰連捷，攻到北魏南兗州的治所渦陽（今安徽蒙城）城下。梁軍主力的領軍是曹仲宗，陳慶之持節監軍。北魏援軍逼近渦陽，他親自指揮兩百名騎兵，突然襲擊立足未穩的魏軍前鋒，殺得魏軍措手不及，前軍大敗，後軍震恐。
兩軍在渦陽城對壘，從春到冬連續作戰，師老兵疲。曹仲宗擔心腹背受敵，打算退兵。陳慶之堅決反對，他手持杖節，站在軍營門口喝道：「大軍共至此地，已達一年，所耗糧草甚多。各軍毫無鬥志，還想退縮，哪裡是要立什麼功名，明明是藉機擄掠財物而已。我聽說『置之死地而後生』，現在正是破敵之時！我有陛下密敕，違我令者，一概嚴懲！」（我軍疲憊，難道敵軍不疲麼？為將之人有不畏勁敵的決心，才能取得所向披靡的戰績）
曹仲宗等人被說得面紅耳赤，只好依從。陳慶之也不強攻，他乘著夜色，率軍偷襲渦陽城周圍的魏軍據點，一夜攻下四個。天亮後，陳慶之命魏兵俘虜排開陣勢，衝在前面，梁軍則緊隨在後，攻打北魏餘下的九個據點，直殺得渦陽城外屍首成山，渦水斷流。梁軍攻陷渦陽城，又進據豫州的城父，離北魏的統治中心司州不遠了。
渦陽一戰，陳慶之軍隊的勇猛簡直成了北魏士兵的噩夢。他本人與麾下的士兵個個都身穿白袍，魏國人稱他「白袍將軍」，「白袍」成了「韋虎」之後最令魏國人恐懼的名詞。（個人以為，白色在戰場上是對視覺刺激最強烈的顏色，一旦染了鮮血，能起到相當大的震撼敵人的作用。以白袍作為戰袍，正蘊涵著作戰者莫大的氣概與信念。我甚至猜測，《三國演義》里長阪坡白袍小將趙雲的設計，可能也受了「白袍將軍」的啟發）
梁武帝決定給陳慶之一次單獨表現的機會。河陰慘案後，北魏宗室接連投奔南梁，「革命形勢」一片大好。大通二年（公元528年），梁武帝封北魏北海王元顥為魏王，命陳慶之為飆勇將軍，護送元顥北上稱帝，想以此達到控制北朝的目的。耐人尋味的是，他只給了陳慶之不到一萬的人馬，卻險些鬧出個天翻地覆。