縱使張作霖曾經那麼信任王永江，王永江又以辭職相規勸，卻仍不能動搖其縱兵入關的決定。自1926年2月下旬起，隨著張作霖一聲令下，東北軍大舉入關，隨後便會同張宗昌、李景林的直魯聯軍向國民軍發起猛攻。國民軍抵擋不住，包括京津熱河等地盤一一喪失，甚至一直被夾在奉馮中間的段祺瑞亦受池魚之殃，被迫通電引退。
馮玉祥焦頭爛額，為了減輕壓力，只好通電下野，前往蘇聯考察，所有國民軍均被改為西北軍，由察哈爾都統張之江統一指揮。張之江坐鎮張家口，將其主力部隊向察綏撤退，藉以保存實力，同時以一部分軍隊留守南口，以阻追兵。
張作霖調兵遣將，對南口形成了三面大包圍之勢，但卻遲遲未下達攻擊令。原因是他在入關後，即與吳佩孚商定，由吳主持南口戰事，進攻南口也以直軍為主。另外，直魯聯軍收復天津後，張作霖任命張宗昌的大將褚玉璞當了直隸督辦。李景林對此心懷不滿，想脫離東北軍，另謀出路，被張作霖及時發現並加以追緝，這就又耽擱了不少工夫。
1926年6月，吳佩孚親自指揮和發起南口之戰，他將攻佔南口的任務交給直軍大將田維勤，並告訴田維勤，如果攻下南口，即以察哈爾都統相酬。無奈田部多由投降過來的西北軍所改編，與西北軍稍一接觸便馬上潰散，很快就由六個旅變成了兩個旅。
就在南口久攻不下之際，吳佩孚的後方又起了火——北伐軍攻入湖南，相關告急電文雪片似的一日數至。萬不得已，吳佩孚只得南返救急，北方軍事轉交張作霖負責。
第二次直奉戰爭後的一段時間內，乃是東北陸軍的全盛期，擁有總數達六個軍團的雄兵，然而張郭戰爭改變了這一切。那場突如其來的戰爭除對東北經濟和民生造成極大打擊外，也嚴重削弱了東北陸軍的實力，其損失甚至超過兩次入關作戰損失的總和。東北陸軍由盛轉衰，在這種情況下，張作霖便將所餘的大部分步兵精銳和全部炮兵都編入第三、第四軍團，以便集中使用，也可以說，這兩個軍團是當時東北軍中力量最強、裝備也最為精良的部隊。
第三軍團長為張學良，第四軍團長為韓麟春，按照第二次直奉戰爭時的模式，兩軍團實行合署辦公，稱之為聯合軍團。東北軍曾有「五虎將」的說法，「五虎」分別為姜登選、韓麟春、郭松齡、李景林、張宗昌。如今姜登選、郭松齡已亡，李景林離奉而去，能被稱為東北軍名將的便只剩下了韓麟春、張宗昌。韓麟春不僅在指揮作戰方面有突長，而且軍事素養也要遠高於張宗昌，張作霖讓他輔佐少主，很明顯地有替代過去「張郭配」（張學良與郭松齡）之意。張、韓在軍團內也分工明確，張學良本身缺乏獨立指揮大戰役的能力，因此掌握的是財政和人事方面的權，軍事指揮主要由韓麟春負責。
這次為了在「常勝將軍」吳佩孚面前爭一回臉，張作霖將聯合軍團和直魯軍全部投入戰役，韓麟春、張宗昌這兩員虎將也都被用到了刀刃之上。
1926年8月1日，東北軍對南口發起進攻。南口系山丘地帶，且所處地理位置優越，可就近從京綏路上征發鐵板、枕木、水泥及鐵絲網等物資。利用張作霖遲遲未下達攻擊令的那段時間，西北軍在山上構築了堅固工事，這也是吳佩孚的直軍難以攻克的原因之一，不過等到東北炮兵開上來，情況就大不一樣了。
東北兵工廠可以自己生產大炮，但好馬配好鞍，沒有高素質的炮兵，再多的大炮也只是擺設。說起東北炮兵，就不能不提一下張郭戰爭時的那個炮兵專家鄒作華。鄒作華人稱鄒大虎，先後畢業於保定軍校、日本士官學校，讀的都是炮科。他最早服役於皖系的西北邊防軍，任野炮營營長，在直皖戰爭中，他和他所屬的野炮營被奉軍收編，由此奉軍才開始有了建立炮兵部隊的基礎。
因張學良也是學炮兵出身，對炮兵很重視，所以鄒作華加入奉軍後，即受到張學良的信任和提拔，他的野炮營擴編為炮兵第四團，隸屬於張學良、郭松齡的「二六旅」。作為東北炮兵創始和擴展的關鍵人物，鄒作華對炮兵的技術、射擊兩門教育抓得非常實在，專門主辦了東北炮兵軍官教育班和炮兵研究班。在這兩個班的倡導下，東北炮兵的素質得到極大提高。他們可以單純依靠圖上作業，在無觀測無試射的情況下開始效力射，還掌握了佔領遮蔽陣地的技術，觀測器材則從炮隊鏡發展到精微儀測遠機，這在民初的國內炮兵中都是很先進的。按照張學良的說法，「東北軍最厲害的就是炮兵」。
早在兩次直奉戰爭中，東北炮兵便表現不俗。那個時代國內炮兵包括直軍在內，經過正式訓練的不多，而且多數都是買國外的炮，一門炮頂多帶五百發炮彈，只有東北軍的炮兵不單訓練有素，而且由於後方能大量提供火炮以及炮彈，在戰場上沒有束手束腳的感覺。到了第二次直奉戰爭的山海關戰役，一陣炮擊過去，直軍很多帶掩蓋的野戰工事就都被摧毀掉了，直軍的炮兵陣地亦受到壓制，只是郭松齡在指揮上存在一些問題，以及步兵未能很好地利用炮擊成果進行突破，才使炮兵的價值打了折扣。
鄒作華雖然在張郭戰爭中當了郭松齡的參謀長，但因為他是張學良提拔上來的，而且在巨流河戰役中又發生了神秘的炮彈不安引信事件，所以事後不僅沒有受到處分，還被繼續委以重用，擔任了炮兵軍（隸屬於聯合軍團）的軍長。在此之前，國內各軍事集團都沒有炮兵成軍的先例，東北軍創造了一個紀錄。
作戰時，鄒作華將參戰炮兵部隊編組成左右中央各炮兵群。每一個炮兵群所使用的火炮都不是單純的山野炮，而是依情況分別配屬榴彈炮，同時部隊也不是一個連一個營地使用，而是集結各類炮兵營，組成一個密集的火力集團。這是當時最先進的炮兵群戰術，國內其他部隊縱有炮兵，可能也從來沒有聽說過。
火炮的大規模有效運用，使得南口戰役的激烈程度為有史以來所鮮見。張學良當時擔任的是後方總司令，但仍清晰地記得：「我們有兩個炮團，七十二門野炮，最少也打了五六萬發炮彈。這個炮彈雖與外國的炮彈不一樣，沒有那麼好，可畢竟也是炮彈啊！」西北軍在南口構築的最堅固陣地稱為「紅工事」，最終也在兇猛的炮擊下遭到毀滅性摧毀。
8月12日拂曉，東北軍又投入新組建的坦克車大隊，以坦克大炮作為掩護，向南口發起總攻。經兩個晝夜激戰，西北軍全線潰退，南口至張家口一帶盡為東北軍所奪。