何成浚北上後，果然不費什麼力氣就說服了閻錫山。1927年6月上旬，閻錫山聲明服從「三民主義」，在山西全境懸掛國民黨的青天白日旗，隨後他就任國民革命軍北方總司令，所部也全部改稱國民革命軍。何成浚接著又造訪張學良，並通過張學良等人向張作霖提出「南北議和」的條件：張作霖要和閻錫山一樣，宣佈信奉「三民主義」，同時將安國軍改為國民革命軍，由此便可委任他為「東北國民革命軍總司令」，繼續維持東北。
閻錫山受蔣介石之托，也派代表到北京，以奉方易幟，改掛青天白日旗為條件，斡旋成立「奉、寧、晉三角同盟」。
在當時東北軍連吃敗仗的情況下，張作霖認為「南北議和」可以，但雙方地位應該對等，而蔣、閻這些條件卻是要迫使自己屈從於南方，是他絕不甘心也無法接受的。
6月11日，張作霖在順承王府召開奉系將領會議，討論與南方的和戰問題。所有高級將領裡面，唯張學良早有向南方完全妥協的想法，但他和韓麟春尚遠在新鄉，而且在新鄉計劃的部分內容洩露後，張作霖非常警覺，對他的相關意見也採取了堅決拒絕的態度。其他人都視蔣介石的條件為投降，誰都不願意就此向南方稱臣，只是他們又分成兩派。一派以張作相、吳俊升為代表，對打下去無信心，主張退守關外。另一派以孫傳芳、張宗昌為代表，這兩人都是比較能打的戰將，聲言就算打到最後一人也不輕退。
兩派各執己見，吵到不可開交。楊宇霆見狀，怕引起奉系內部新的分裂，趕緊說「北方必須團結起來才能抵禦南方」，他建議將各省軍隊的名稱統一起來，全部改用安國軍旗幟，一致服從安國軍總司令也就是張作霖的命令。孫傳芳一聽立刻補充道：「不僅軍事上要服從，政治上也要服從。」
經楊宇霆、孫傳芳的提議，會議話題被引到了如何在政治上對北方進行統一。原先一直被擱置的張作霖「稱帝」被順理成章地放到了桌面之上，楊宇霆也不再對此表示反對。討論時，有人主張擁戴張作霖為臨時總統，有人主張沿用段祺瑞臨時執政的名義，最後決定仿照孫中山的先例稱「大元帥」。
意識到終於可以「登基」了，本來已經被戰事弄得有些沮喪的張作霖雄心頓起，他望了孫傳芳一眼，問道：「馨帥（孫傳芳字馨遠）還有多少兵？」孫傳芳回答：「還有十三萬人。只要雨帥接濟軍餉子彈，繼續作戰毫無問題。」
張作霖當即答應撥給孫傳芳軍餉五十萬，子彈可就近向山東領取。接著他又回頭問張宗昌、褚玉璞：「你們兩位守得住山東、直隸否？」張、褚齊聲答道：「進取不足，退守有餘。」
聽到這裡，張作霖十分高興地說：「好極了，你們要怎麼辦，我都依從你們便是。」
當天，按照楊宇霆的建議，北方鎮威軍（即東北軍主力的名號）、直魯軍、東南五省聯軍一律統稱「安國軍」，安國軍共分七個軍團，囊括了以上全部軍隊。
1927年6月18日，在眾將的擁戴下，張作霖正式就任海陸軍大元帥，登上了他夢寐以求的「皇帝」寶座。就職典禮在懷仁堂舉行，張作相、吳俊升、楊宇霆、孫傳芳等人一直都在張作霖身邊隨侍，然而張作霖堅持要等到張學良、韓麟春從前線趕到方肯就職——舐犢之情，人皆有之，何況是非常看重父子倫理關係的東方社會。張作霖時年已經五十二歲，即便他對兒子再不滿意，也只能把未來希望寄托於這位「太子」的身上。
由於是在強敵環伺的情況下「登基」，各國對張作霖政權都表現得很冷淡，沒有一國肯以國家的名義表示祝賀，這是歷屆北京政府都沒有遇到過的。時隔一周，張作霖來到天壇，祭告中華列祖列宗。正當他捧爵而祭，喃喃祈禱時，一不小心竟將金爵摔落在地，在場眾人看到後都認為此乃凶兆。
儘管場面冷清還被說成有凶兆，但仍蓋不住張作霖親政的熱情。在懷仁堂，他召集大家訓話，態度非常率真老實：「一個人活在世上，總不過是為名為利。我現在錢同產業很多了，可以說我的子孫也用不完。這一次來北京就大元帥職，是為求名而來。能為老百姓做一點好事，就是有名了，我總盡我的力量去幹。」