1928年4月初，蔣介石協同馮玉祥、閻錫山、李宗仁，組成四個集團軍，向張作霖所部發起全線進攻，這就是歷史上的第二次北伐。
張作霖採取的對策是兵分兩路，以聯合軍團在西路，對馮、閻兩軍取攻勢，以張宗昌、褚玉璞在東路，對蔣軍取守勢。戰事開始後，聯合軍團打得不錯，戰局對他們相當有利，軍團部曾數次在發報機上截獲並破譯出馮玉祥向蔣介石告急求援的密電。
關鍵時候，東路卻支持不住了。先前就曾有人提出，蔣軍實力很強，應從聯合軍團中抽出兩到三個軍增援東路，可是張宗昌以為自己的兵力已經很多，足以保住山東，所以拒絕了援助。等到蔣軍發動總攻，魯軍防線幾乎是一擊即破，張作霖原先對張宗昌的指示是佈置縱深配備，步步防守，同時聯絡孫傳芳殘部協防，但張宗昌被打蒙了，下達總撤退令後，既未部署下一個防線，又未通知同在一城的孫傳芳，就慌慌張張地逃出了濟南。孫傳芳獨木難支，未幾亦在蔣馮兩軍的夾擊下被打得潰不成軍。
張作霖震驚之餘，深為惱怒。許多人背後議論，都說張宗昌是此次東路兵敗的罪魁禍首，他不來見張作霖便罷，如敢來見，非掉腦袋不可。
誰知張宗昌不招自來，來了見到張作霖就跪下磕頭：「大元帥怎麼處罰，我都領！」張作霖說：「算了，勝敗乃兵家常事，打仗不能總勝。敗了嘛，只要把軍隊整頓整頓。」
張作霖一向如此，你犯了錯，哪怕他已經放話說要槍斃了，只要你跪下來頭一磕，承認自己錯了，然後再說一句：「我是赤心為老將的。」他的心也就軟了，說聲「去吧，以後好好幹」，揮揮手便會將你放了。曾幾何時，湯玉麟背叛過他，張景惠辜負過他，事過境遷，張作霖不但予以原諒，還當好朋友如故。人們後來都說，正是因為老張「待人極好」，所以他才能夠統治東北十多年，歷經風雨而不倒，甚至於在他死後，部下們也才會愛屋及烏，擁戴小張繼承父業，並讓小張成為東北人公認的領袖。
除了待部下寬厚外，張作霖寬恕張宗昌還有另一層考慮。當時社會動盪，兵荒馬亂，如果因為一時感情用事把張宗昌殺了，損失一員能征善戰的勇將不說，張宗昌尚存的幾萬軍隊也就潰散掉了，這些軍隊打仗固然已經不行，但擾亂地方還有餘，而張作霖已無多餘精力加以兼顧了。
西路戰事順利之時，張學良的心情還是不錯的。由於主要負責財政和人事，所以即便戰事緊張，他仍能跑出去遊玩，在逛趙國故城邯鄲宮（或稱趙王城）時，還興之所至地寫了一首詠古詩，詩中道「當年天下歸心日，都在邯鄲古趙宮」，似乎又找到了打仗的意義所在。
東路落敗，令西路大受震動。張學良急忙趕回北京與張作霖見面，除了簡單匯報前線戰況外，就是要求撤兵。張作霖一聽大發雷霆：「我當了快一年的陸海軍大元帥，中國還沒有統一，你就想撤兵不打了，你小子是要拆我的台！」
接著父子便辯論開了。原先張學良認為「天下是馬上打下來的，主義有什麼用」，但北伐軍的迅速強大，讓他感受到了「主義」的威力。他對張作霖說：「北伐軍有孫中山的三民主義，能統一中國，咱們東北軍什麼主義都沒有，統一不了中國。」
張作霖可沒有這麼與時俱進，他大吼道：「我就不信你小子的話！你是膽小鬼，叫三民主義、孫大炮把你小子的膽嚇破了。什麼三民主義，我是四民主義，我還有大炮呢，他有嗎？」
不知不覺中，張作霖彷彿又回到了第二次直奉戰爭後的那段美好時光，「東北軍人強馬壯，兵多、飛機多、大炮多、大豆多，年出超三億多美元（主要指大豆、小麥等農產品的出口），佔了八九個省的地盤，有十幾個騎兵師」，那個時候他老張怕過誰？就算是張郭戰爭以後，還不是曾把馮玉祥趕到陝西，並且大敗過閻錫山嗎？