有名無實的統一之後，蔣介石雖高高在上，控制唯一合法的中央政府——南京政府，但事實上不過是佔領東南幾省的一個諸侯。他環顧當時的中國，自南至北，除他之外，還有五個權力中心：廣州的李濟深、武漢的李宗仁、開封的馮玉祥、北平的閻錫山以及瀋陽的張學良。這種國民黨內群雄割據的局面，多少由蔣一手助成。他為了建立個人的軍事勢力，不惜一再打擊黨的威信，甚至否認武漢黨中央而別立南京中央，開了國民黨內軍頭主義的先河。他又為了早日完成北伐，不惜容納軍閥餘孽，並與各派軍頭妥協，允諾地盤以及其他政治與經濟利益，最後造成以國民黨新軍閥取代北洋舊軍閥的後果。
更糟糕的是，北伐完成，若論戰功，蔣介石的第一集團軍無論如何擺法，必然在四個集團軍中「憾」陪末座。號稱第一，實居第四，若論功行賞，欲以第一集團軍通吃其他各軍，必難以服眾。「功」之外，蔣之「德」更不堪聞問，即連始終幫蔣抬轎子的丑角吳稚暉，私底下也說：「蔣先生是個流氓底子出身，今已黃袍加身，一躍而為國府主席，自然目空一切。」(《李宗仁回憶錄》，頁三九四至三九五)「黃袍加身」是宋太祖趙匡胤的故事，明末清初大儒王船山於《宋論》中暢言，宋太祖取天下自知無德、無功，乃重一「懼」字，即懂得謹慎小心的道理，逐步杯酒釋兵權，重文偃武，使天下晏然。蔣介石若有慎懼之心，自應面對現實，認可中央與地方均權分治，在聯省自治的基礎上，更上層樓，以便避免戰禍，和平建設，逐步完成真正的全國統一。然而他既無德無功亦不懼，才會「目空一切」，悍然欲以武力征服所有的異己，以遂其迫不及待的中央集權心願，結果弄得全國騷然，黨爭無已，兵戈不休，最後釀成中原大戰。此役為時之久、殺戮之慘、破壞之厲、百姓之苦，皆為北洋軍閥時代所未曾見，
蔣於動武之前，早已有一連串的動作。他於一九二八年六月九日，眼見北伐即將告成，突然宣佈辭去黨政軍各職，其動機不外有二，其一於此緊要關頭，撒手不幹，必獲各方呼籲挽留，以增身價；其二欲「以身作則」，誘各軍頭傚法，如在辭職電文中所謂「此後軍權統歸政府」云云，以便戰後削藩。但這場戲演下來，只遂其一。果然自中央到地方欲請蔣留職的電文交馳，蔣然後於六月十七日打消辭意，要負責到底。三日之後即部署改直隸為河北，北京為北平，並任命新人事，以削閻錫山之權，逼使閻於六月二十七日辭去京津衛戍司令一職。
李宗仁在其回憶錄中透霹一則自稱「驚人的消息」，謂蔣在北伐剛完成時，已經企圖用武力消滅異己。這則驚人消息，是他於一九二八年七月底在李濟深家裡聽到的!
李濟深當時住在南京鼓樓附近一座小洋房裡，蓋因曾兼黃埔軍校副校長職，故家中常有黃埔學生出入。某次，有一位粵籍黃埔生去找他，並告訴了他一項特別消息。略謂：
蔣校長此次(十七年七月杪)自平返京道上，曾在蚌埠稍事逗留，並召集駐津浦沿線的第一集團軍中黃埔軍校出身上尉以上軍官訓話，訓話時，發給每人一小方白紙，並詢問大家，北伐完成後，軍閥是否已經打倒？認為已經打倒的，在紙上寫「打倒了」三字，若認為尚未打倒，則寫「未打倒」三字。各軍官不知校長的用意，為仰承其意旨起見，概按照事實，做正面的答覆。蔣看後大不以為然，遂再度訓話說，你們認為軍閥已打倒了，其實不然，舊的軍閥固然是打倒了，但是新的軍閥卻又產生了。我們要完成國民革命，非將新軍閥一齊打倒不可。蔣氏最後更強調說，只有連新軍閥一齊打倒，你們才有出路，你們現在當連長的人，將來至少要當團長云云。(頁三九—)
李濟深是國民黨老軍頭，北伐初期第四軍軍長，留守廣州，並兼黃埔軍校副校長。有軍校出身軍官將此事相告，不足為奇，何況寫紙條的軍官必不在少數，人證很多，絕不可能是流言傳說。然則蔣視馮、閻、二李為新軍閥，已呼之欲出。如果國民革命軍的第二、三、四集團軍皆為新軍閥，則第一集團軍豈能例外？蔣無意之間認同了毛澤東所謂「國民黨新軍閥蔣桂馮閻四派」(見《毛澤東選集》合訂本，頁四十七)的說法!
動武需要準備，一口難吸西江之水，故蔣同時採取別種步驟。他於宣告北伐完成之際，立即強調軍政時期已經結束，將進入訓政時期。訓政由黨，他顯然想用黨來收軍權，然後可由他所控制的黨來控制一切。基於此一考量，他處心積慮地要建立與國民黨始祖孫中山的親密關係，造成他才是嫡傳與承繼革命法統的印象，想要挾「死中山」以令諸侯。在這一方面最具戲劇性的表演，莫過於邀集了連他本人在內的四大集團軍總司令，以及麾下芸芸將星，於七月六日到北平碧雲寺舉行祭奠孫中山靈柩的大典。典禮於八時二十分開始，蔣主祭，馮、閻、李等襄祭，蔣讀祭文曰：
維中華民國十七年七月六日，國民革命軍既奠北平，弟子蔣中正謹詣香山碧雲寺，致祭我總理孫先生之靈曰：溯自我總理之溘逝，於今已三年餘矣，中正昔待總理，親承提命之殷殷，寄以非常之任，教誨拳拳，所以期望於中正者，原在造成革命之武力，剷除革命之障礙，以早脫人民於水火……
此時蔣與宋美齡結婚將近一年，與孫中山已有連襟之誼，不稱姻弟，而降格稱弟子，實欲著重革命的師承關係，耳提面命之親密關係，寄以非常之任的特殊關係，而此革命之武力即由其遵孫命而建成。他以主祭者身份，祭告北伐勝利，統一大業完成，更有不辱使命、居功不疑的神態。名為祭告，實在是做給睽睽眾目看的。所以他更於開棺瞻仰遺容之際，竟當眾扶棺號哭，情同孝子。然而從相陪的目擊者如馮玉祥、李宗仁的回憶看，他們並不吃那一套(見馮玉祥《我所認識的蔣介石》，頁十六；《李宗仁回憶錄》，頁五六九)，不過是在看演戲罷了。祭靈哭棺後不到三個月，蔣即議定迎櫬南下，積極準備，大肆鋪張，並定一九二九年三月十二日為奉安日期，飭令平漢鐵路局趕造靈車，向美國訂購奉安汽車，訓練槓夫百餘名。尋因趕工不及，推遲奉安日期至六月一日。蔣介石親自擔任奉安委員會主任委員，經由國民政府下令自五月二十六移靈之日起，全國一律下半旗七天，人民臂纏黑紗七天，並停止一切娛樂、慶典。靈車先自碧雲寺移下至北平東站，掛列車十五輛，直抵浦口，由蔣介石領導迎櫬，中央大員一律藍袍、黑褂、白帽、黑履、黑襪，肅立行禮。禮畢，移靈至威勝軍艦，渡江上岸，自蔣以次，依序執紼，隨靈車到中央黨部禮堂，舉行停靈禮，仍由蔣主祭，獻花上香。然後蔣以下中央委員、特任官六十六人，三人一班，每夕輪流守靈，直至六月一日奉安之期為止。是日靈車啟行徑往紫金山，槓夫人一百零八名，由蔣介石、孔祥熙引導拾級而上，扶櫬入祭堂，舉行奉安典禮，再由蔣主祭，獻花圈，宣讀誄文，行禮如儀。禮成，移櫬入墓門，鳴炮一百零一響，蔣等依次進墓門瞻仰，最後集合眾人行三鞠躬禮，奏哀樂而禮成。(參閱《奉安實錄》)
如此鋪張繁費，還要全國人民戴孝，封建帝王色彩已十分濃厚，較之一九O八年光緒皇帝與慈禧太后的出殯大典，有過之而無不及，真是對一個革命家的大諷刺，另一個革命家章太炎實在看不過去，做了一副極為挖苦的奉安輓聯：
舉國盡蘇聯，赤化不如陳獨秀；
滿朝皆義子，碧雲應繼魏忠賢。
章氏早以孫中山的聯俄容共為赤化，但孫之赤化卻不如中共陳獨秀的正宗；新成立的南京政府，自蔣介石以下，人人奉孫中山為國父，豈非「滿朝皆義子」，真可直追明朝權宦魏忠賢了，而魏之墓在香山東麓的碧雲寺之後，正是孫死後停靈柩之處，可謂巧合。奉安大典無疑是按照蔣介石的意思辦事，死去的革命家讓他做此「封建」安排，無可奈何。他做這樣安排，感恩圖報其次，想回收政治資本的投資，才是真的。
蔣介石於香山扶柩哭靈之後，就動腦筋如何整肅異己，當時他幕下已增添了不少北洋政客策士，不時獻計討好，其中有楊永泰，字暢卿，廣東茂名人，歐戰爆發後與黃興、陳獨秀等組織「歐事研究會」，戰後改名「政學會」，世稱政學系，後回任北京國會議員，事段祺瑞，北伐後投靠蔣，任參議，促效永貞朝士獻策唐順宗，削藩權歸朝廷故事，建議將地方軍頭請到中央做官，達到「離窩毀巢」的效果，推行全軍整編，以消化地方武力。蔣遂於一九二八年八月八日借在南京召開國民黨二屆五中全會之便，拋出「軍事整理案」，以冀同化異己部隊，聲稱應自「軍政時期」邁向「訓政時期」，以黨治國，並據此提議撤銷各地政治分會。但是政治分會之設立，緣由蔣於二屆四中全會上主動提出，並有案保留至三大召開時再做決定。蔣之猴急，自難以自圓其說，於是借二屆五中撤銷政治分會的企圖，只好落空。「軍事整理案」雖然列入議程，前途未卜。蔣之中央與地方角力，頓成僵持之局。此時適胡漢民回國，亦倡言黨權，主張取消政治分會，其動機或與蔣有異，然近程目標一致，令蔣頗有如虎添翼之喜。國民黨中執會常務會議乃於十月三日通過「訓政綱領」以及「中華民國國民政府組織法」，並於十月八日產生新的南京政府。蔣介石出任國府主席，譚延任行政院長，胡漢民任立法院長。馮玉祥以行政院副院長兼軍政部長，李濟深任參謀總長，閻錫山任內務部長，李宗仁任軍事參議院院長。各政治分會主席一網打盡，盡成中央大員，表面上呈現空前團結。蔣遂於十月十日國慶日率領五院院長在南京宣誓就職，敦促未進京人員盡速上任，欲彼離窩爾後毀其巢，然離窩其難也。
蔣出任主席後，第一件要事就是委任軍事訓練總監何應欽，積極籌劃「全國編遣會議」的召開，亦即是「軍事整理案」之實施。統一之後，軍隊需要編遣，無人置疑，亦得人心，但如何編遣卻矛盾叢生。我們覺得蔣要開此會議，原無解決問題的誠意，因無論按馮玉祥存精良的建議，或按閻錫山平均分配的建議，皆非其所願。他真正想要的是一家通吃，只是不便明言而已。是以開會僅僅是檯面上的活動，檯面下則另有動作。
全國編遣會議於一九二九年的頭一天舉行開幕典禮，各集團軍總司令與總指揮等六十餘人，一起與會參議。蔣介石在會上做了「關於國軍編遣委員會之希望」的專題報告，他希望四個集團軍，傚法明治維新時代的長州、薩摩、土佐、肥前四雄藩，於大功告成之後，「深明大義，毅然決然奉還大政，歸命中央」，以及「化除藩兵，改編國軍」，統一與集中之後，才能建設現代化國家云云，其意圖已甚鮮明。他一心一意要別人「明大義」歸還大政，卻忘了自己只不過是雄藩之一，自己不率先功成不居，奉還大政，如何教人倣傚？反而以明治天皇自居，豈不讓其他三雄藩竊笑？然而蔣到底成竹在胸，故討論時讓各藩爭吵，而以仲裁自居，編定《國軍編遣委員會進行程序大綱》，以收軍權於中央，如取消集團軍司令部，聽候點編等等。但閻、馮等並不滿意，主張先休整爾後編遣。結果開了二十六天的會，並無定案，反而激化矛盾，也許正是蔣所預期的。
一如借編遣會議想獨攬軍權，蔣擬操縱國民黨第三次全國大會以獨攬黨權。他在胡漢民的支持下，決心蠻幹。只因國民黨改組派分子反對蠻幹，他竟以流氓手法大打出手，攻擊改組派會場，磚石亂飛，搶奪文件，使許多人受傷，造成「三一四事件」。事後蔣乾脆包辦大會，其他三集團軍總司令均不出席，李濟深則被騙到南京後遭扣留，成為蔣、胡清一色的國民黨三大，決議十分右傾，同時表達了蔣介石集中黨權與軍權的決心，並預示將不擇任何手段，達到目的。國民黨內部的決裂已不可避免，文爭武鬥接踵而至，以至於演成大規模的戰爭。
蔣介石想當明治天皇，必須各個擊破，若其他三個集團軍聯手反擊，則必敗無疑。所以他暫時敷衍北方的閻、馮，首先向桂系第四集團軍開刀，馮玉祥於一月中旬即對此表示憂慮，有謂：「此次北伐成功，乃各集團同心協力之結果，一集團不應企圖消滅第四集團也。」(《馮玉祥日記》第二冊，頁五六四)蔣介石號稱討逆，指控桂系違抗中央，其實是中央有計劃的削藩行動，所謂欲加之罪何患無辭。李宗仁自統一廣西，促成北伐，率八桂子弟兵北進武漢，東下京滬，戰功輝煌，造成聲勢浩大的桂系勢力，及擊敗唐生智，更兼有兩湖，兵力益增，至第二次北伐時，形成龐大的第四集團軍。白崇禧以前敵總指揮，自武漢長驅京津，分享完成北伐之功。功既足以震主，而李、白雖以蔣為上司，並不事事遷就，羽毛既豐之後，更以方面自任，猶若雄藩。但是蔣自始至終視李、白等為異己，即於共患難時，亦處處防備，桂系與嫡系早已親疏有別。蔣於第一次下野時更散佈桂系逼宮之說，載諸報端，以淆視聽，可謂自製矛盾。(參閱黃紹《新桂系的崛起》，《晨報》一九二七年八月二十四日、八月十七日報道；《李宗仁回憶錄》，頁四七七)到北伐完成之時，桂系軍力已自廣西、兩湖，延展至平津，一字擺開，南北呼應，而李、白於編遣一事，亦洞察蔣氏心機，並不積極。就蔣氏而言，北伐功成，若不及時兔死狗烹，必至坐大而成心腹之患。再從各個擊破的觀點看，因近及遠，桂系也必然是首當其衝。
古今中外出師必須有名，激而成變，變則有名。桂系勢力範圍內的湖南省主席魯滌平，為譚延舊部，蔣介石因譚之關係，裡通魯氏，且經由江西私運大批槍械援魯抗桂，引起桂系將領的疑懼，導致一九二九年二月十九日驅魯的「湘案」。李宗仁時在南京，自稱事前並不知情，頗恨第四集團軍在漢將領夏威、陶鈞、胡宗鐸的輕舉妄動，中了蔣之圈套。(見《李宗仁回憶錄》，頁三九六至三九七)蔣介石果然抓住機會不放，於二月二十七日以國民黨中央政治會議名義，免去夏、陶、胡三人武漢政治分會委員之職。然此一處分尚是前奏，又於三月七日電告李宗仁，以維持中央威信為名，調動軍隊，進逼鄂東(參閱《國聞週報》第六卷第十一期)，意在動武。但蔣介石不僅僅要懲罰武漢，醉翁之意在於乘此機會，徹底瓦解桂系勢力。他為了搞垮白崇禧在平津的實力，不惜以大把鈔票支援宿敵唐生智，令其北上活動白屬唐部，迫白倉皇南逃，並於三月二十一日任命唐為第五路軍總指揮。同時蔣誘李濟深離粵，李雖系廣東重鎮，然身為桂人，與李宗仁交好，為蔣所忌。李濟深至上海後，見到自京來滬的李宗仁，對赴京原有顧慮，但經國民黨大老吳稚暉、張靜江、李石曾等一再勸說，並以蔣介石人格擔保為辭，而吳、李又是兒女親家。李濟深終於前往南京，並勸告蔣化干戈為玉帛，蔣佯表同意，李信以為真，電告桂方蔣之態度，並請節制，豈料蔣私下並未停止進兵，李濟深於三月十六日得報後，知蔣無信義，即電李宗仁促「調軍討伐，以伸正義」(見《國聞週報》第六卷第十二期)，但為蔣方截獲，遂於三月二十一日囚李於湯山。蔣介石不僅欺騙敵人，也玩弄吳稚暉等大老於股掌之間，手段雖然陰鷙，然於同一天內逐白囚李，獲致除去桂系南北兩翼之目的。
雙翼既除，蔣介石於三月二十六日正式下達討伐令，並親自督師於九江，以進窺武漢。武漢為第四集團軍總部所在，雖桂方巨頭李宗仁、白崇禧、黃紹竑俱不在軍中，群龍無首，然在夏、陶、胡三將統率之下，擁兵十萬，實力非同小可，然而蔣軍竟能不血刃而取武漢，並非蔣介石「天縱英明」，而是事前已經收買分化，利用桂系將領俞作柏、李明瑞等不滿情緒，以高官厚祿收買，並派特務鄭介民至武漢大肆活動，內部已經分化。正當夏威出師之際，又突患白喉，恰將指揮權交給李明瑞，立即倒戈回師，打亂了陣勢，不旋踵而潰敗。蔣介石仍不罷手，於四月二十五日自武漢轉往長沙，部署直搗廣西老巢的作戰計劃。(見《順天時報》一九二九年四月二十六日報道，另參閱四月十七日報道)李宗仁等自香港經越南，兼程返桂，被迫做孤注一擲，於五月五日組「護黨救國軍」，通電討蔣(參閱《中國現代政治史料彙編》第二輯第七冊)，為扭轉頹勢，自東襲取廣州。桂軍與親蔣粵軍陳濟棠等於五月十九、二十兩日，激戰於蘆苞、赤坭、白坭一帶，由於蔣命何鍵率軍自湘入桂，桂軍因眾寡不敵而敗北。湘粵聯軍遂於六月二日攻佔梧州，二十七日桂系叛將俞作柏、李明瑞進駐南寧，蔣發表俞為廣西省主席。李、白、黃三巨頭建立的桂系實力及其第四集團軍，至此瓦解。桂系雖未就此煙消雲散，但黃金時代已一去不返。蔣介石縱橫捭闔得逞，十分得意，但李宗仁是不服氣的，在《回憶錄》中說：「蔣先生在中國戰場縱橫數十年，他所憑借的武器，不外金錢收買和分化離間的伎倆，若從純軍事觀點立論，則蔣先生實在既不能將將，也不能將兵。」並非酸葡萄的話，征諸歷史，蔣之軍事伎倆的確不出「金錢收買」和「分化離間」的範圍。於伐桂一役，尚是牛刀小試，接著他又施之於閻、馮，作為黷武的利器。