河南為直系地盤，吳佩孚一向堅持聯奉討馮，又要倚仗東北軍對抗北伐軍，因此對張作霖借道河南的要求滿口答應，但這時的吳佩孚實際已失去了對直系的掌控力，他的部下靳雲鶚堅決反對東北軍從河南過境，且主張聯馮討奉。吳佩孚下令免去靳雲鶚本兼各職，由田維勤繼任，結果這一措施引起靳部將領的強烈反彈。靳雲鶚在公開通電反吳的同時，還乾脆效仿馮玉祥投入了北伐軍的陣營。
1927年2月，張作霖命令聯合軍團向河南推進，這就是所謂的「東北軍下河南」。對於兵下河南，聯合軍團內部有過分歧。張學良認為應把主力擺在黃河北岸進行防守，特別是炮兵不應渡過黃河。韓麟春感到匪夷所思，因為東北軍要說強，也就是強在炮兵上，他很生氣地說：「沒有重武器怎麼打？打仗可不是兒戲。」見韓麟春發了火，張學良這才勉強同意他的意見。於是聯合軍團便渡過黃河，向南岸的靳軍發起進攻。
這場戰役東北軍打得極不順利，先是武器最精良的一個軍兵潰開封，接著軍團主力在攻擊鄭州時又屢屢受阻。不惟如此，靳軍大將高汝桐還率部趕到鄭州市郊進行增援，從三面對聯合軍團的主力部隊實施了反包圍。
自張郭戰爭結束後，張氏父子雖然採用輕罰重賞的辦法，使得團長以下軍官沒有出現大的調整，甚至張作霖還曾論功行賞，軍校出身但在張郭戰爭中有突出表現的高級軍官，獲得「勇」字獎章的大有人在。可是從張作霖在善後會議上的講話就可以看出，在他們這一派老人心中，已經認為「學生出身的」也就是新派靠不住了。實際上，後來東北軍中師長一級軍官的位置基本都被老派所佔據，有人分析認為，郭松齡反奉造成了東北軍老派的復辟。
一旦「業務出色」被「政治可靠」所完全替代，高級指揮官們的素質如何可想而知。面對不利的戰局，張學良垂頭喪氣，認定是韓麟春決策錯誤，可是要讓他下決心將部隊重新撤退到黃河北岸又不可能，一則兩軍黏著，不是說脫身就能馬上脫身；二則聯合軍團有許多重炮，渡河也很困難。
在進退不得的情況下，張學良把氣都撒在了韓麟春身上，而且「氣得簡直沒法說」。當時東北軍將領普遍都抽鴉片煙，韓麟春也不例外，但他和張作霖一樣，沒有多大的癮頭，也不因此耽誤公務，倒是張學良自己早已吸食成癮。一怒之下，他便跑到韓麟春處，拿著韓麟春的鴉片猛抽起來。
就在張學良「拚命地抽，都抽糊塗了」的時候，戰局卻突然發生了戲劇性的轉變。事情緣於東北軍的鐵甲車，這種鐵甲車是張宗昌的傑作，張宗昌早年在中東鐵路當過築路工，懂得如何利用鐵路上的材料，他的鐵甲車外面是夾水泥的鐵板和道木，裡面安上大炮機關鎗，總之是好壞不管，能用就行。
鐵甲車本來是沿著平漢鐵路，隨步兵往前推進的，結果步兵退了，把鐵甲車扔在了野外。鐵甲車上的帶隊連長見狀只好安慰士兵們說：「你們不用怕，過一會兒，他們準會回來拉走我們。」
天亮了，鐵甲車真的開始移動，但連長卻發現移動的方向不對。仔細一看，原來竟是靳軍的鐵甲車把他們的鐵甲車給鉤上了。眼看即將連車帶人成為對方的俘虜，一個管炮的班長嚷起來：「媽的，給它（指靳軍鐵甲車）一炮算了，這個時候不打，什麼時候打？打不好，炮筒嘩啦炸了，要死大家一塊兒死，我也管不了那麼多了。」
說幹就幹，「光」地一炮打過去，炮彈直接洞穿靳軍鐵甲車。車裡的人全都被打死了，這些人並不都是被炸死的，多數其實是被震死和悶死的，有的人死時甚至連眼珠子都出來了。巧合的是，這輛鐵甲車就是高汝桐的臨時司令部，高汝桐當場斃命。
高汝桐一死，城內城外的靳軍均方寸大亂。在聯合軍團的猛打猛衝下，靳軍全線潰敗，東北軍很快就得以連克鄭州、開封。這仗打贏，張學良事後歸結為運氣使然，「戰爭的勝敗，只能說是上帝的眷顧」。
東北軍在河南的取勝，讓張作霖暫時鬆了口氣。在此前後，他開始對國共在北京的活動予以重視，並下令通緝中共北方負責人李大釗。1927年4月，李大釗被迫避居東交民巷原俄國兵營，此處距蘇聯使館僅三百多米，當時被認為是比較安全的。
李大釗與陳獨秀同為中共創始人，當時有「南陳北李」之稱。知名學者梁漱溟是李大釗的好友，有一天到兵營來看他，結果看到訪客滿屋，而且大多是青年求見者。李大釗忙於接待，梁漱溟見狀不便打擾，隨即便退了出去。
自然也有人為李大釗的人身安全感到擔心。李大釗早年在日本早稻田大學讀書時，即與章士釗夫婦相識，兩家關係密切，章士釗的夫人吳弱男請李大釗為她的三個孩子講授社會學，李大釗則叫自己的女兒認吳為乾媽。李大釗住進俄國兵營後，章士釗夫婦曾假借為兒子辦護照，到東交民巷來找他。吳弱男力勸李大釗火速設法出國赴蘇聯，並建議在出國之前，先化裝離開東交民巷，到她家裡暫住。章士釗得知外面風聲很緊，也主張李大釗應盡快行動。李大釗感謝朋友的好意，但他表現得非常鎮定，遲遲未離開東交民巷。