1905年初，日俄展開奉天會戰，這是雙方在陸地上進行的最後一次大會戰，俄軍在會戰中傷亡慘重，被迫撤出奉天。戰後，獲勝的日軍控制了新民地區。有些親日派「鬍子」頭目早就看張作霖不順眼，這時便趁機指控他：「雨亭偽裝中立，暗中與俄軍通謀。」
派駐新民的日本憲兵聽到傳聞後進行調查，確認張作霖有充當俄軍間諜的嫌疑，因而將其秘密逮捕，並呈請「新民屯軍政署」署長井戶川辰三少佐，欲將張作霖處以死刑。
所謂「軍政署」是日俄戰爭期間，日軍在實際佔領的東北南部所設立的一種殖民機構。日本人後來自己也承認：「名為軍政署，實則為純粹的民政廳，特別是施政方針等，如同視滿洲為新佔領地。」井戶川辰三考慮到張作霖雖然只是一個小小的營官，但手下有很多精銳的騎兵，這些騎兵都可以為日方所用，殺了未免可惜，對日軍有效地控制新民一帶不利，於是便一再向滿洲軍總參謀長兒玉源太郎請示，要求豁免張作霖。同時，他還請滿洲軍司令部參謀福島安正、田中義一從中斡旋，張作霖這才得以免於一死。
免死金牌不是白拿的，在把張作霖放出來之前，井戶川辰三交給他一份寫著「願為日本軍效命」內容的誓約。張作霖其時羽翼未豐，說被抓就被抓了，說要被殺頭馬上就會人頭落地，所以他十分乖覺，誓約一遞上來，連想都沒想，二話不說，就在上面按了手印。
在日俄之間「踩鋼絲」固然驚險萬分，然而對張作霖而言，收穫也是滿滿的。通過兩邊獲利，至1905年，他的游擊馬隊已從一個營擴編至三個營，若拋去個人風險因素不算，真可謂是駱駝骨頭賣了象牙的價。
日俄戰爭的結果是日勝俄敗，沙俄用於吞併東北的「黃俄羅斯」計劃宣告破產。根據戰後雙方簽訂的《樸次茅斯和約》，日俄將在十八個月內，即1907年4月之前，從東北陸續撤走他們的軍隊。為此，朝廷特派張錫鑾為奉天巡防營務處總辦，到東北整理軍務。
張錫鑾奉命之後，即乘坐京奉鐵路兼程趕往奉天，但京奉鐵路只修到新民府，奉天和新民之間不通車，這樣他就不得不在路過新民府時在當地暫住。就巡防營這個系統來說，張錫鑾乃是張作霖的頂頭上司，現在對方自己送上門來，這樣的天賜良機無論如何不能輕易錯過。
自設法被招安之日起，張作霖就無師自通地掌握了一套官場關係學，其中最重要的是三個要點，即巴結、應酬、饋贈。只要把這三點做到位，不怕不能給上司以好印象，從而確保今後仕途坦蕩。
張錫鑾為人清廉自守，官聲頗佳。你要單純送他財物，人家未必肯收，這就需要投其所好，另找突破口了。張作霖打聽到，張錫鑾早年就隨軍習武，騎術和槍法都很精湛，尤其擅長馬術，綽號「快馬張」。
張錫鑾愛馬，乘馬生了病，他便捨馬不坐，徒步在新民府下榻。張作霖得知這一情況後，立即從自己的戰馬中挑選了一匹最好的戰馬相送。
第二天早晨，張錫鑾從下榻處走出，一眼就看到了門外所備之馬。他一邊上前撫摸，一邊忙問隨從這是哪裡來的好馬。隨從答道：「張作霖管帶說特為將軍壯行敬送此馬，如蒙乘用，不勝榮幸之至……」
張錫鑾聽了一愣：「張作霖？迄今未聽過此名啊！」
雖然此前對張作霖完全不瞭解，但就憑這匹比自己的病馬還要高出幾等的好馬，愛馬至深的張錫鑾在心情大悅的同時，對張作霖已經產生了很深很好的印象。以此為由頭，兩人也有了更多的接觸機會，彼此交談中，張作霖從大家都愛馬這一興趣點出發，與新上司大談起馬經，他有醫馬、相馬的經驗，也稱得上是一位醫馬御馬的好手，張錫鑾和他談得很是投機。
「饋贈」說到底還是為了「巴結」，趁張錫鑾高興，張作霖引用「同姓五百年前是一家」的俗套，提出要拜張錫鑾為義父。在張錫鑾眼中，張作霖早已不是一個土裡土氣的地方管帶，而是一個才智雙全的奇才了，於是當即就答應下來。
張作霖的套路還沒有結束，他把手下召集到一起，從中選出二百五十名高大俊朗的騎兵，十人一排，組成二十五排，由自己親自帶隊，前呼後擁地護送張錫鑾去奉天城。人都是有虛榮心的，何況是新官上任，更需要下屬給捧著，張作霖由此成了張錫鑾到東北後培植的第一個親信。
這時除盛京將軍增祺已因故被免職外，原新民府知府增韞已升至奉天府府尹。朝中有人好做官，有張錫鑾、增韞等人的多方提攜關照，張作霖想不發達都難。張錫鑾抵奉後不到三天，張作霖的部隊即擴編為馬步五營，他被任命為五營統帶。如此高速度大幅度的提拔，頗具中國特色，旁人除了詫異和眼紅，也莫可如何，而張作霖則眉開眼笑，滿心歡喜。
東三省向被滿人視為龍興之地、陪都所在，在內憂外患不斷，尤其關內隨時可能爆發革命的情況下，慈禧太后對經營東北表現出了極大的熱情。1907年4月，清廷下詔在東三省實行官制改革，吉林、黑龍江各設巡撫分治其事，原先奉天的盛京將軍改為東三省總督。
第一任東三省總督是身兼欽差大臣的徐世昌，他帶著軍隊上任，並且上任伊始即對地方治安進行強化。處於這種高壓之下，各路中小綠林武裝紛紛或亡或降或隱，原先盜匪蜂起的情況得到很大改觀。剩下來的大鱷中，洪輔臣幫內發生內訌，他本人被刺死，餘部被張作霖所招撫。馮麟閣和金壽山等因在首山之役中助日有功，經日本建議已由朝廷收編為省防營，不能算是江湖人物了。這樣一來，實力上本就與馮麟閣處於伯仲之間的杜立三水漲船高，成了遼西獨一無二的綠林老大。