在民國史上，張作霖無疑是個風雲人物。1927年6月18日，張作霖在北京就任北洋軍政府陸海軍大元帥，代表中華民國行使統治權，成為國家最高統治者，並組成北洋軍閥統治時期第32屆、也是最後一屆內閣，成為北洋軍政權最後一個統治者。
1928年4月，在蔣、馮、閻、桂四大集團軍的攻擊下，奉軍全線崩潰。6月，張作霖退出北京，回到了東北的白山黑水之間。
張作霖雄居東北時，對日本人的各種要求均拒不合作。他對付日本人的辦法也別具一格，一次，張作霖出席日本人的酒會，酒過三巡，一位來自日本的名流力請大帥賞字，他知道張作霖出身綠林，識字有限，想當眾出他的醜。但張作霖抓過筆就寫了個虎字，然後題款，在叫好聲中，擲筆回席。那個東洋名流瞅著「張作霖手黑」幾個字笑出聲來。隨從連忙湊近大帥耳邊提醒，「大帥寫的『手墨』的『墨』字，下面少了個『土』成了『黑』了。」哪知張作霖一瞪眼睛罵道：「媽那個巴子的！我還不知道『墨』字怎樣寫？對付日本人，手不黑行嗎？這叫『寸土不讓！』」
這番話如同給日本人當頭一棒。在場的中國人恍然大悟會心而笑，無不揚眉吐氣，日本人則目瞪口呆。
這個「寸土不讓」的故事也流傳到現在，人們都打心眼裡佩服這位黑土地上的民族英雄。
當時美國人在滬出版的英文報紙《密勒氏評論報》的主編鮑威爾曾採訪過張作霖。這位美國人回國之後，在其所寫的回憶錄中，也表達了對這位出身卑賤的元帥的敬意。他認為儘管東北長期處在日本軍閥的鐵蹄下，但張作霖無愧一個愛國的中國人。
張作霖不僅有民族氣節，而且治家嚴謹，給家裡人定下規矩不少，家風甚好。他的小舅子在他身邊當警衛，仗著大帥的名，在外面胡作非為，晚上閒來無事，居然拿路燈當靶子，把路燈全部打碎，市政建設的人知道這事很氣憤，但是敢怒不敢言。張作霖聽說這件事憤恨地說：「把他給我斃了。」手下顧及到張作霖的顏面說盡好話，要求從輕發落。當晚張作霖親自執法。家人很不理解，幾個燈泡碎了就換新的，怎麼把人給槍斃了。張作霖說：「你們在家犯錯，丟的是我張作霖的臉，但是在外面搞破壞，壞的是奉天城的風氣。」以後大帥府裡的人更加慎言慎行，沒有人乖張鬧事。奉天城的百姓知道了這件事，對張作霖更加尊敬。都說張大帥辦事有自己的規矩，誰都不能違背。
當時張作霖的兒子張學良是第三旅的旅長，第三旅是獨立旅，是張作霖的王牌軍。張作霖身著便服在城裡轉悠，突然聽見幾個百姓，歎氣說第三旅的人橫行霸道，巧取豪奪。張作霖聽到這裡已經火冒三丈，回家見到張學良更是怒不可遏，破口就罵，罵了足有半個小時，張學良低著頭不敢說話，大廳裡掉根針的聲音都能聽見。最後，張作霖讓張學良關禁閉三天，不許有人探望，按照規定辦事，誰也不許說情，否則一起處罰。事情一傳出去，整個軍隊都震撼了，一想到連少帥觸法都躲不過嚴懲，誰都不敢再為非作歹了。
由於張作霖不肯滿足日本帝國主義的無理要求(包括開礦、設廠、移民和在葫蘆島築港等)，1928年6月4日晨5時許，當張作霖所乘由北京返回奉天專列駛到皇姑屯附近的京奉、南滿兩鐵路交匯處橋洞時，被日本關東軍預先埋好的炸彈炸毀，這位亂世梟雄身受重傷，當日去世，享年53歲。
張作霖統治東北時，曾發展工業擴充軍備，建立了中國當時唯一「海」、「陸」、「空」具全的武力。大量引入山東漢人進入滿洲，這一移民戰略大大充實東北邊疆，改變了東三省的人口、民族、文化格局，成為日後日本侵略此地時一大障礙，由於兵工廠的建立，東北軍成為當時中國唯一一支擁有自主生產火炮和炮彈的軍隊，由於火炮生產的自主，使得東北軍的火炮數量多，火力猛，炮彈充足，成為東北軍相較於其他軍閥部隊的優勢兵種。
九一八事變東北淪陷日本之手後，東北淪陷。時人皆稱：「大帥在(張作霖)，必不至此！」