張作霖再怎麼表現得英勇無敵，終究還是不敢碰杜立三，而增祺也無法再對他下這樣的命令了，因為這位將軍早已自身難保——俄軍又一次佔領奉天，對東三省進行強制軍事管制，增祺被囚禁了起來。
沙俄有一個「黃俄羅斯」計劃，其主旨是通過實施殖民政策，將東三省變成它的「黃俄羅斯」。至1903年年底，俄國在東北的武裝移民已超過三萬人，「黃俄羅斯」計劃距離大功告成也只剩下最後一步，即迫使中國將東北名義上的主權交給它。
在自身無力直接對抗的情況下，中國和朝鮮都不約而同地採取了大國制衡的策略，中國是「以日制俄」，朝鮮是「以俄制日」。日俄雖然有時也想各取所需，達成妥協，但雙方在貪心慾念的驅使下，就好像老米飯一般，怎麼捏都捏不成團，最後終於翻臉打了起來。
日俄之間開打，陸戰戰場卻在中國東北境內，中國究竟應該採取何種態度，讓朝廷上下頗費思量。以北洋大臣袁世凱為首的一派意見認為，中國不能參戰，也不能幫著日俄任何一方：如果幫助日本，俄國就會以此為由派陸軍在中國西北採取行動，同時一旦俄軍戰勝後，作為戰敗國的中國就只能將東北的名義主權乖乖割讓給俄國；如果幫助俄國，日本海軍會對中國東南沿海構成威脅，一旦日軍戰勝，東北又將淪為日本的口中之食。
經過反覆斟酌，中國政府決定保持中立。1904年2月12日，慈禧太后以光緒皇帝的名義發佈聖旨：「日俄兩國失和用兵，朝廷軫念彼此均系友邦，應按局外中立之例辦理。」
日俄戰爭爆發後，日俄雙方一邊拚命廝殺，一邊延續以往政策，對「鬍子」竭力進行拉攏和訓練，以使之作為本國正規軍的輔助力量。被它們拉過去的「鬍子」也依照原名，親俄的稱之為「花膀子隊」，親日的稱之為「東亞義勇軍」或「滿洲義軍」。
同樣是招人，俄國不管是手段、戰術還是投資，都遠遠落後於日本。一般俄國官兵將東北人一律蔑稱為「滿子」，即便是對待「花膀子隊」亦不例外，對方稍有不順從或不滿情緒流露出來，他們就會當眾拳打腳踢，施加侮辱，致使這些「花膀子隊」也在不知不覺中對俄國人產生出強烈的不信任感。日方間諜人員正好利用這個矛盾，乘虛而入地將一些「花膀子隊」拉過去，又將他們變成了「東亞義勇軍」。
日本人也沒忘記昔日的綠林魁首馮麟閣。戰前馮麟閣已被從庫頁島解往西伯利亞的一個苦力營關押，每天要下礦挖煤，幹著牛馬一樣的活。不久，「王小辮子」收買中國通事（即翻譯），把他從苦力營裡營救了出來。馮麟閣回到奉天後重操舊業，而且從此鐵了心要跟「老毛子」幹到底。
日軍在遼陽南首山遭到俄軍抗擊，屢攻不下，部隊傷亡慘重。馮麟閣和金壽山遂將所部的幾千騎兵組成「義勇軍」，從遼河以西挺進，抄襲首山俄軍陣地的右側背。俄軍措手不及，只得放棄首山，向北敗退，日俄戰爭的勝敗之局也由此奠定。
對日方來說，馮、金是為他們立下了很大的戰功。日本軍事當局特地奏明天皇，獎給兩人各一枚寶星勳章，過後又電請中國政府對這兩大幫派予以收編重用。
除了「鬍子」外，東北地區凡握有兵權的中國軍官同樣受到日俄的關注和拉攏，張作霖自然名列其中。只是張作霖曾經在這裡面吃過虧、上過當，早就已經學得精明無比。他既不像有的地方官那樣謹小慎微，除了恪守中立，不敢越雷池一步，又不肯像馮麟閣和金壽山那樣，明目張膽地為日俄某一方出力，而是把算盤珠子打到啪啪響：你們都有求於我，這事沒錯吧？好，廢話少說，先把好馬好槍和糧餉送來！幹什麼？吃好睡好裝備好，才能為你們幹活啊！
戰爭初期，俄軍的實力看上去更為強大，按照張作霖的估計，「小日本不能打敗俄國大鼻子」。基於這一判斷，他雖然也天天把政府的中立政策掛在嘴邊念叨，但實際卻陽奉陰違，跟俄國人套起了近乎——一邊接受俄軍賄賂的錢財和軍械，一邊暗中幫助俄軍搜集糧草，或者供應一些情報，有時甚至還會讓手下人冒充「花膀子隊」，對小股日軍進行偷襲，趁火打劫地從日軍手裡搶奪一些槍彈馬匹或者糧秣柴草。
當時受日本參謀本部之命，日本駐滿洲軍司令部參謀福島安正專門負責東北的情報工作。他很重視拉攏張作霖，為此派遣了司令部翻譯黑澤兼次郎率「特別任務班」到新民府進行活動。可是黑澤兼次郎可以明顯感覺到張作霖對他們不抱好感，有時根本就不把他們當一回事。
隨著戰爭的逐次展開，日軍開始佔得主動。張作霖馬上順風轉舵，對黑澤兼次郎的態度又似乎變得熱情起來，還安排對方住到自己家裡。那段時間，黑澤兼次郎送給張作霖不少槍支彈藥和金錢，而張作霖則投桃報李，把在俄軍身上做過的事，重新複製一遍給日軍。
張作霖後來回顧道：「日俄打仗，洋鬼子打算利用我們。我們為了得武器，有時也被他們利用。那時我是得搶就搶，得騙就騙，都是為了武裝自己。」
張作霖非常清楚日俄的用心以及自己的定位，不管日本人給多少好處，他都沒有選擇向日方一邊倒。有一天晚上，在和幾個得力部下討論時局時，他還特地談道：「我們要把握好風向，小日本雖然取得暫時的勝利，但俄國大鼻子在東北待了這麼多年，而且兇猛好戰，最後可能還是大鼻子要贏。」
萬沒想到，隔窗有耳，黑澤兼次郎是個高級間諜，這段談話居然被他偷聽到了。對於從前在張作霖那裡受到的冷遇，他本來就很是不滿，現在一聽，才知道張作霖實際一直在腳踏兩隻船。
吃客、用客，你還要耍客，當我們全是二傻子！黑澤兼次郎越想越惱火，決定找機會殺掉張作霖。回到滿洲軍司令部後，他向福島安正透露了這一想法。福島安正老謀深算，聽後趕緊說：「現在張作霖正為我軍效犬馬之勞，要留著他加以利用，不可對他輕舉妄動。」
按照福島安正的指示，黑澤兼次郎不但暫時打消了原先殺掉張作霖的念頭，而且又在對張作霖進行拜訪時，送去銀幣一千元，以堅定張作霖為日軍效勞之心。當然他們也沒有忘記防患於未然，此後黑澤兼次郎便留在了新民，專門負責監視張作霖的一舉一動。