國民軍南口失敗後，馮玉祥從蘇聯回國。1926年9月17日馮玉祥糾集殘部在五原誓師，通電加入南方國民黨組織的北伐軍，討伐張作霖組織的反赤聯軍。
馮玉祥的國民軍本來在南口大戰中一敗塗地，撤入甘肅荒涼地帶的部隊不到五萬人，而且士氣低落，衣食無著，當時已穩操勝券的張作霖忽視了馮玉祥的能力，沒有深入荒涼地帶乘勝追擊。而吳佩孚雖有此心卻被南方戰場牽制住了主要兵力，分身乏術。至於閻錫山，向來滿足於山西一畝三分田，不願單獨出兵深入不毛之地，這就使馮玉祥手下的張之江及鹿鍾麟各部得到了喘息之機。馮玉祥五原誓師後，在蘇聯的大力援助下竟然很快死灰復燃，為了保全自己，馮主動向南方國民革命軍靠齊，率領全軍參加國民黨，所部也改為國民政府領導下的國民革命軍。馮玉祥還制定了固甘援陝聯晉圖豫的發展戰略，事後證明，這個戰略極其正確，是馮玉祥能夠東山再起的最主要原因。
「固甘」靠的是劉郁芬。這個人是個奇才，馮玉祥兵敗南口之時，他以兩師孤軍經營甘肅，僅用了三個月左右時間，就乾脆果斷地掃平了甘肅境內的張兆鉀、韓有祿、黃德勝等地方實力軍閥，將甘肅變成了國民軍敗退後的最大戰略基地，從而為馮玉祥的復出提供了很重要的立足之地。
「援陝」靠的是孫良城。當時楊虎城、李虎臣困守西安已達八個月之久，城內已經出現了人吃人的情況，援陝刻不容緩，此時各路救援部隊因懾於劉震華鎮嵩軍的實力，個個屯邊周邊不敢相救，只有孫良城毫無私心，破釜沉舟全力解圍，終於將圍城八個月之久的鎮嵩軍打敗。隨後馮玉祥將總部移到西安。此時已到了1926年年底，馮玉祥實力逐步恢復的時候，也正是吳佩孚在湖南前線失敗，實力逐步走向消亡的時候。兩人剛好一正一反，決定了今後兩人在民國舞台上不同的份量。
1926年12月，馮玉祥將大本營移到西安後，進一步東出潼關，進入河南，馮玉祥的國民軍(已改稱國民革命軍)此時已經恢復元氣，新敗之餘的劉鎮華不是對手，其所依賴的吳佩孚又已經日薄西山，自顧不暇，為免遭滅頂之災，劉鎮華急忙要求入隊，馮玉祥收編了鎮嵩軍。此時張之江由於從南口撤退時沒有組織好部隊，遭到各方反對，已經基本出局，馮玉祥依賴的主要是劉郁芬、孫良城、方振武、鹿鍾麟、宋哲元這幾位國民聯軍中的骨幹。
「圖豫」借助的是張作霖。河南本來為吳佩孚控制，即使在湖北前線失敗，吳佩孚此時在河南仍然擁兵十幾萬，剛剛恢復的馮玉祥與之作戰勝算不大，因此「圖豫」急切間就只能停留在「圖」上。但此時張作霖「幫」了馮玉祥大忙，張作霖也派兵圖豫了，張作霖圖豫比馮玉祥就要簡單得多，因為吳佩孚手下部將大多人心歸奉，對抗奉軍時消極作戰甚至主動投降，所以沒費什麼力氣就把河南給佔了。但張作霖佔據河南不到兩個月，北伐軍中的武漢國民政府就派兵打過來了，當時唐生智掌握武漢國民政府的軍事大權，他讓張發奎率領鐵軍第四軍以及第十一軍和獨立十五師北伐。此外配合的還有三十五軍、三十六軍等各部。張發奎率部與張學良血拼，其結果是兩敗俱傷。據說第四軍當時傷亡超過一萬五千人，死傷慘重，這讓張發奎非常不高興，後來張發奎借口剿共，非要從武漢回廣東，就是受夠唐生智排擠不願再當炮灰的原因。不管怎麼樣，張發奎幫了馮玉祥的大忙，前面奉軍與張發奎血戰的時候，馮玉祥趁機派兵去抄河南奉軍的後路。1927年5月，馮軍攻克洛陽後繼續沿隴海路東進，27日克孟津，28日過偃師，30日克孝義，同日鄭大章騎兵佔領鄭州。由於擔心後路被切斷，張學良只好放棄河南地盤，6月1日奉軍全軍撤過黃河，於是黃河以南為馮玉祥軍隊控制。6月3日，唐生智的部隊與馮玉祥的部隊會師鄭州。隨後武漢政府任命馮玉祥為河南省主席。
今天來看，張作霖佔據河南很可能是一招臭棋，如果他不出兵，那麼河南還是吳佩孚的地盤，吳佩孚當時是張作霖的盟友，儘管在南方占敗，但是還擁有相當的實力。以吳佩孚的力量來抗衡南方北伐的國民革命軍，無論如何都是可以抵擋一陣的，因為河南是吳佩孚下屬各軍的安身立命之地，不像對奉系戰鬥可以投降盟友，對南方國民革命軍他們一向沒有多少接觸，一旦失敗就將無處安身，因此必將死戰，戰鬥力會很驚人。如果吳佩孚抵擋住了南方，那麼張作霖就可以騰出手來專門解決馮玉祥，這樣馮玉祥的勢力就不會擴展這麼快，以當時張作霖的勢力，重新把馮玉祥打回原形也完全有可能。如此一來，張作霖就可以解決大軍南下時的後路威脅，整個北方局勢大為改觀，可惜的是，張作霖在利益的驅使下還是向盟友吳佩孚開刀了，雖然輕輕鬆鬆地獲得了河南地盤，卻守了兩個月又全送給了死對頭馮玉祥，這是1927年張作霖下的一招臭棋。
同樣下臭棋的還有張發奎，糊里糊塗地跟奉軍惡鬥一場，損兵折將那麼多，結果啥也沒撈著，回過頭來等於是送給了馮玉祥一個大禮。之後回到武漢，唐生智又安排他順江東下去與李宗仁的第七軍惡鬥，鐵軍碰鋼軍，那死傷數量必不計其數，剛好此時南昌起義爆發，張發奎趕緊借口追剿共軍南下去了。
馮玉祥撈足了便宜後，接下來還有更大的便宜等著他撈，真是運氣來了擋都擋不住，現在的好運氣已經從當年的吳佩孚身上轉移到了馮玉祥身上。這位老兄佔據甘肅、陝西、河南之後，在北方又取得了閻錫山的諒解和支持，一時順風順水，勁頭十足。而北伐的國民革命軍此時一分為二，各自為自己的正統地位爭個不休，無論是武漢國民政府還是南京國民政府，都使足力氣拉馮玉祥加入自己的陣營，因為形勢擺在那兒，馮玉祥支持哪一邊，哪一邊就將勝出。那麼馮玉祥會支持哪一邊？他並不急著表態，而是先跟武漢國民政府的汪精衛會談，談的時候最緊張的就是南京的蔣介石了，簡直可以用提心吊膽來形容。那個時候，北伐軍蔣總司令盼望國民聯軍馮總司令簡直得了相思病，馮總司令也不能不賞臉，隨後就到徐州和蔣介石見面了。蔣介石率領一班文武坐車提前一站迎接，此舉讓馮玉祥很受用。蔣介石為了拉住馮玉祥，除了汪精衛答應的條件不變，還大筆一揮，給了馮玉祥六百萬元軍費。要知道西北軍雖然作戰勇敢，可是打從成立起沒哪天不受軍餉的折磨，大冷天部隊沒冬裝又沒冬糧，真是苦極了。這六百萬銀元，買到了後來馮玉祥對蔣介石的支持，為後來蔣介石下野後又能復出埋下了伏筆。