張作霖痛定思痛，下決心「整軍經武」，對奉軍進行認真整頓和訓練。他首先採納楊宇霆的建議，設立了陸軍整理處。陸軍整理處是整軍經武的最高執行機構，辦公處就設立在帥府後面，有後門可以相通，便於隨時來往，足見張作霖對它的重視。不過張作霖對整理處的事務並不干涉，他雖然也常來整理處，但不看公文，只是隨便看看，找人聊聊天而已。平時除了涉及東三省的重大決策須由張作霖直接掌握外，一切日常有關整軍經武的重大事項，包括部隊的整編、人事部署、官員陞遷等也均由整理處獨立負責。
孫烈臣是整理處總監，張學良是參謀長，但他們僅是掛名，負責具體事務的是副總監姜登選和韓麟春。姜、韓二人均為楊宇霆介紹過來的士官同學，二人年富力強、精力充沛，很快便成為新派中的骨幹力量。這也同時表明，新派已經在奉軍中掌握大權，新舊兩派的競爭以新派佔據壓倒性優勢而告終。在新派的推動下，整理處對奉吉黑三省軍隊進行整編，裁汰三分之一，又添招三分之一，同時取消師制，全部改為旅制，整編後的部隊統一以「東北軍」作為番號。在整編過程中，為新派獨佔鰲頭立下汗馬功勞的「三八旅」得到加強，這支部隊原本在直奉戰爭中損失甚重，經過補充，人員槍械整齊一新，不僅官兵都經過精挑細選，而且裝備全部是新式的。
「三八旅」的名稱也進行了改變，張學良第三旅改為第二旅，郭松齡第八旅改為第六旅，時稱「二六旅」。應該指出的是無論整編前的「三八旅」，還是整編後的「二六旅」，兩旅都不分家，張學良也都只充當「甩手掌櫃」的角色，一直由郭松齡負實際責任。
接下來的軍事改革以「二六旅」為試點。早在直奉戰爭前，「二六旅」就已開始任用正規軍事學校的人為軍官，改革後，行伍出身的中下級軍官大部都被軍校學生所代替。
「二六旅」的成功經驗和做法很快又被轉用到其他部隊身上。相應推出的重要措施之一，是規定全軍各旅的參謀長和各團掌握教育的中校團附，必須全部改由軍校學生出身的人充任。遇有團營長出缺，一般也要由各部隊參謀長、團附以及講武堂的教官或隊長調充。
如此大規模的棄舊納新，在直奉戰爭前是根本不可想像的。整理處為此大肆招兵買馬，以原籍東北而散落在關內各方面擔任軍職的人為重點，極力吸納有海外陸軍留學經歷，或國內陸大、保定等軍校出身的軍官。招人的辦法也很簡單，就是順籐摸瓜，憑著各人的同學、同鄉和親友等關係，從四面八方一個個地進行招攬。雖看重東北籍，但也不排斥非東北籍的外地人。廣西人何柱國與「二六旅」炮兵團長鄒作華是士官同期同學，便通過鄒作華的關係進入了東北軍。
如果說東北大學吸引師資靠的是優厚待遇，東北軍能夠引起各方面軍事人才的興趣，則主要緣於他們提供的帶兵機會。民初自北洋一繫起，將領們大多喜歡讓行伍出身的人帶兵，學生出身的人只能當參謀一類的幕僚，獨有東北軍與之不同，按照新的規定，去了就有機會帶兵。
何柱國投身奉軍後，有一年回北京結婚，有人對他說：「你在東北是個中校，如果願意轉到馮玉祥的方面來，可以立即升為上校。」何柱國直截了當地加以回絕，理由就是自己在東北有機會帶兵，而馮玉祥方面無此機會。
除了用人制度外，東北軍還效仿日本軍制，實行軍法、軍械、後勤獨立。各部隊以實彈射擊和相互之間的對抗演習為主要訓練課程，按季校閱評分，後勤方面則進行統一補充，軍需淪為長官私人賬房的現象自此不復存在。
若干年前，蔣介石在廬山開辦軍官訓練班，曾對人說：「東北有兩件事是需要學的，一件是後勤獨立，這在我們的部隊還沒有完全做到，另一件是他們的用人制度。」與直奉戰爭前相比，經過改革的東北軍內部確實開始呈現出一股朝氣蓬勃的氣象。
「一戰」前後，世界軍事領域出現了新的變革，美國教授孟祿往訪張作霖時曾談到，他的兒子在歐洲戰場從軍，所屬一師共有兩萬八千人，與德國人打仗戰死了一萬八千人，可是包括他兒子在內，好多美軍士兵連德軍的影子都沒有看到過一個。由此可見，近代戰爭更加注重發揮武器、火力和戰略戰術的作用，有人稱之為「器械的戰爭」「學術的戰爭」。
孟祿說他還有一個陸軍朋友，新近發明了一種機關炮，每分鐘能射擊驚人數量的子彈。當時張作霖的幾個幕僚聽了直伸舌頭，都說不得了：一桿機關炮所能射擊的子彈，竟然比同一時間段內全中國軍隊放槍所射出的子彈還多。換言之，這桿機關炮可敵全中國的軍隊，武器厲害到這種樣子，真正是太可怕了。
可是張作霖聽了卻不大以為然，他對幕僚們說：「歐洲戰術，近年我們也稍稍研究，不用聽他們吹，兩軍相見，還是拚命，豁得出死去，便可以制勝。」
那還是直奉開戰之前的事，現在張作霖再不會這麼想了，因為直奉戰爭給他上了極其生動的一課。僅以「三八旅」為例，當時直軍據守一處村莊，因其工事堅固，抵抗頑強，「三八旅」付出很大傷亡都攻不進去，後來便集中炮兵團的全部炮火，用燃燒彈進行射擊。炮擊之後，村莊硝煙四起，火焰瀰漫，直軍的所有防備設施被全部摧毀。