面對列強紛爭的複雜形勢，張作霖一方面電請北京政府採取措施；另一方面調兵駐防，加強對中東路的保護（稱為護路軍）。1919年1月25日，北京政府交通部密電稱：「日美等國協議共管中東鐵路之事，並未徵得我國同意，這是置我國主權於不顧，我國絕不能承認。」
所謂「國際共管」，按照列強們的說法，是將外國人在中國東北建的鐵路置於國際管理之下，以免一國專權壟斷。張作霖在受訪時說，如果列強真的有這麼好的心腸，他倒是非常贊成，可問題是不能只「共管」中東鐵路，南滿鐵路怎麼辦？也得「共管」起來啊！
「如能把南滿鐵路收歸國際管理，中東鐵路我也寧願犧牲，交歸國際管理。倘若不然，只把一個中東路收歸國際管理，我姓張的是極端反對，無論它是什麼國家，怎樣決定的，我張作霖是絕不聽那套的。」
張作霖鄭重聲明：「我就知道中東路是中國人的鐵路，應當歸中國人管理。（對中東路）我自有辦法，總之，我是絕不放鬆的！」
1919年11月，霍爾瓦特重返哈爾濱，並且稱中東路附屬地內的俄國人仍擁有國家統治權。吉林督軍鮑貴卿而後致電霍爾瓦特，請他收回自己所說的話，因為「中東鐵路系中國領土，中國自有完全主權」。
一招不成，霍爾瓦特又來一招，說至少中東路附屬地內的軍事和行政權應歸他統轄。中方回應：霍爾瓦特僅為鐵路總辦，無擔負國家統治的職能。
欲收回中東路權，必先驅逐霍氏，成為東北各界的共識。1920年3月12日，哈爾濱三十多個工人組織聯合向霍爾瓦特發出最後通牒，要求他在二十四小時內辭職，而且「霍氏一日不去，路工一日不開」。
其實從蘇俄新政權的角度來說，霍爾瓦特早就失業了。發現這老毛子仍然死皮賴臉地不肯走，3月16日，鮑貴卿下令全面接管哈爾濱及中東路沿線的俄國軍警武裝，霍爾瓦特被迫下台。當天張作霖親自趕到哈爾濱，在他的授意下，鮑貴卿限霍爾瓦特三天內必須離開哈爾濱，不准再回中東路。
至當年年底，中國政府先後收回了中東路的警權、司法權、行政權，中東路附屬地被改為東省特別區，由中國派駐行政長官進行管理。尚未收回的只剩下了中東鐵路本身，北京政府準備借款贖回，但遭到張作霖的強烈反對。
張作霖在對蘇俄交涉上，向來「無所屈撓」。他曾發佈宣言說：「中國對新黨守局外之中立，新黨對於中國主權內之事項也應格外尊重才是。」言下對「新黨」幾次三番宣稱要把中東路還給中國，可始終口惠而實不至很是不滿。
不過話又說回來，「新黨」起碼有了這樣的表示，那就是可以談了，為什麼還要再向別的國家借錢來贖呢？張作霖因此認為：「當務之急是以保護東北的邊界為主，至於借款贖路關係到中國主權，我決不承認。」
自「滿蒙獨立運動」失敗後，日本為維護其在東北的既得權益，不得不轉而支持張作霖，奉系與日本的關係較為密切，這是毋庸置疑的。同時，鑒於張作霖草莽出身，沒有多少現代知識，甚至哪一省在哪裡都不知道，日本人最初也以為對付起來困難不大，沒有料到張作霖的算盤其實精得很。
在與日本打交道的過程中，張作霖的一貫處事原則是：小權小利可以讓的好商量，有關國家命脈或地方安全的，想都別想！
日本向北京政府大量借款，其中有很多涉及東北權益，比如「吉會鐵路籌備借款」「吉黑兩省農礦借款」「滿蒙四路籌備借款」等。日本要求東北方面履行條款，張作霖來了個概不承認，讓日方直接向北京政府進行交涉。這些借款的條件都非常低，抵押品不過是森林、電線之類，張作霖既不履行，北京政府也順勢拖延，日本兩邊都無著落，只得啞巴吃黃連，自認倒霉。
自近代以來，對日交涉向來是東北執政者最感棘手的問題。張作霖之所以能夠做到長袖善舞，與他善於用人有很大關聯，在對日外交上，他又特別重用了兩個人，其中一個是楊宇霆，另一個是與楊宇霆關係非常密切的常蔭槐。
楊宇霆的政治外交手腕非常高明，「在東北當時的要人中是一個不可多得的人才」。他對日本的內情知道得很清楚，有許多日方情報供給來源，也因此能夠對症下藥地與日本政府進行周旋。平時張楊配合得相當出色，每當日本向張作霖提出某種苛刻要求時，張作霖就會以「好，好！我叫楊某來辦」的話作答，如果對方想索取書面保證，他便裝文盲，以自己不通文墨為由加以拒絕。後來蘇聯學者經過研究認為，張作霖在統治東三省期間，之所以始終未與日本簽訂任何正式協定，就是「因為遭到楊宇霆的強烈反對」。
只要張作霖不立字據，楊宇霆總有辦法使日方打消、變質或將相關損害減至最低限度。這一方面是因為楊宇霆瞭解對方底細，掌握著他們的價碼和能夠容忍的最低限度；另一方面也是他和張作霖對日本政客進行多方聯絡乃至於「收買」的結果。九一八事變後，日軍從奉天省府檔案中發現，日本要人以至於政黨竟然多數都曾從張作霖手裡拿過錢！
什麼叫手腕，就是他明明很強硬，但還不讓你覺得他討厭。和楊宇霆打過交道的一些日本人對楊宇霆的評價都不低，本莊繁常說：「日本沒有像楊宇霆這樣富於正義感和能辦事的人。」町野也說：「的確，楊宇霆很敢說敢為。」