1929年1月10日晚，時任遼寧警務處長的高紀毅與張學良的副官長譚海帶著六名衛士進入老虎廳，對等在那兒向張學良匯報工作的楊宇霆、常蔭槐兩人宣佈說：「奉長官命令，你們兩人阻撓國家統一，著將二位處死，即刻執行。」楊、常二人驚得目瞪口呆，不知所措，六名衛士出手，分別由兩人挾持一人，另兩名衛士開槍，把楊、常二人打死在老虎廳內。此時距張作霖被炸身亡僅僅7個月。
據說張作霖身死之前曾扶有一乩，上云：「雜亂無章，揚長而去。」張作霖以為乩語的意思是要他從北京「揚長而去」，不要戀棧；而組織奉軍撤退時有可能因混亂而「雜亂無章」，因此特別重視奉軍的撤軍安排，以免發生意外損失。結果奉軍撤退沒有問題，恰恰是自己和吳俊升出了問題。張、吳死後不到一年，楊、常又同時羈難，後來民間解讀說是「雜亂無章，揚長而去」的意思實際上是「炸爛吳(俊升)張(作霖)，楊(宇霆)常(蔭槐)而去。」乩語已經提前進行了提醒，只可惜當事人當時並不明白。
楊宇霆作為張作霖時代最為寵信的股肱大臣，在張作霖死後不到一年即遭到清洗，不能不說是一件十分遺憾的事情。楊宇霆雖然心胸狹窄，又是害死張學良所最信任的郭松齡的元兇，加上個性張揚，位高震主，所以張學良有一百個理由需要殺他。但是對於當時的東北軍來說，殺掉楊宇霆實在是一個較大的損失。那時東北軍已經人才凋敝，張作霖時代的孫烈臣、郭松齡、姜登選、韓麟春、吳俊升等均已先後死去，李景林、張宗昌等人也已作鳥獸散，猶如三國時期劉備時代關羽、張飛、趙雲等人群星閃爍，而到了劉阿斗時僅剩下諸葛亮苦撐危局一樣，到了張學良執掌東北之時，除了比較穩重可以守成的張作相以外，有謀略敢於擔當能主持大事的實際上就只剩下一位楊宇霆了。張學良殺了楊宇霆，等於是自毀長城，其結果也顯現出來了，以至於三年後日軍發動「九一八」事變，張學良不抵抗而撤出東北之時，諾大的東北隊伍之中竟然沒有一個將官對此決議表示堅決反對，如果楊宇霆還在，一定會表現出他的血性而全力阻止，至少不會讓日軍如此輕輕鬆鬆地佔據東三省，那麼東北的形勢就很有可能不一樣了，東北軍的下場也不會那麼悲慘。
當然，個性決定命運，楊宇霆這種寧折不彎的個性也正是這次他被殺的原因之一。他被殺有一個罪名就是「阻撓國家統一」，實際上指的就是張學良的改旗易幟。對於當時的張學良來說，改旗易幟是很自然的事情，一方面他對當年南方孫中山的革命心而嚮往之，其靈魂人物郭松齡當年甚至還加入過孫中山的革命組織，對張學良影響很大；另一方面張學良身負國恨家仇，對日本人恨之入骨，那時日本人為了謀取他們在東北的特殊利益，反對張學良改旗易職，積極策劃東北獨立，以形成中國的割據分裂。張學良反其道而行之，實際上也是快意恩仇的一種體現。
而對於奉軍而言，張作霖給出的出路是既不分裂，也不投降日本，保持東三省的相對獨立狀態，以靜觀時變，等待契機。應該說，這是最契合東北利益的一種思路。張作霖既已不在，作為張作霖在這個世上唯一的代言人，楊宇霆深感責任重大，尤其是在攸關東北命運出路的改旗易幟這件大事上，他覺得自己有責任按大帥的意思為奉軍謀一個好的前途。而臣服於蔣介石，既不利於奉軍的獨立發展，還有可能激化東北與日軍的矛盾，遠不是守衛東北的方針，因此堅決反對。楊宇霆與張學良在這件事情上的矛盾實際上是無可調和的，這是楊宇霆引來殺身之禍的最主要原因。
有意思的是，盛極一時的楊宇霆被殺，各方竟然對此保持沉默，似乎什麼事情都沒有發生一樣，耐人尋味。就日本來說，日本朝野認為張作霖的政策大半出於楊宇霆之手，因此楊宇霆和張作霖一樣，都是忘恩負義之人，除掉楊宇霆，有利於今後圖謀日本在東北的利益。可以說張學良之所以殺楊宇霆，有一多半倒是中了日本人的借刀殺人之計，日本人當然不會吱聲。就蘇聯而言，楊、常二人處處與其作對，不但積極在黑龍江流域部署軍力，還急欲策劃成立東北鐵路督辦局，慫恿少帥奪回中東路權，兩人被自己長官處訣，實在是為蘇聯人出了一口惡氣。就蔣介石國民政府而言，楊宇霆反對東北易幟，實是阻礙東北統一於蔣介石旗下的關鍵人物。當時楊宇霆公開反對蔣介石最凶，認為蔣是反覆無常之人，東北數十萬軍隊托庇於此人實在不堪設想，蔣介石當然也不會保他。
1928年12月29日，張學良以國民政府的青天白日旗替換北洋時代的共和五色旗，對外通電宣稱「遵守三民主義，服從國民政府」，這樣，從袁世凱1912年竊取中華民國大總統以來，維持了16年的北洋時代正式結束，由國民黨組織的國民政府形式上完成了國家的統一。