在綏寧鎮守使的任上，張宗昌最大的收穫就是「白俄兵團」的組建。資料記載，1922年冬，被蘇聯紅軍打得抱頭鼠竄的白俄軍隊紛紛逃到我國境內，僅綏芬河一帶就有萬餘人，而這正是張宗昌改變命運的契機。說起張宗昌與白俄軍的淵源，還頗有傳奇色彩。一天，張宗昌發現山溝裡躺著一個俄國軍官，飢寒交迫，好像快要死了。好在張宗昌懂俄語，一打聽，才知道那人竟是白俄軍隊的一個炮兵司令，名叫葛斯特勞夫。張宗昌對俄國人的印象一直不錯，便命人施以救治，十多天後，葛斯特勞夫恢復了健康。為了報答張宗昌的救命之恩，葛斯特勞夫透露俄境不遠的山溝中，有一鐵路支線，白俄軍隊遺有一列軍火，還有大炮若干，但沒有火車頭了。如果張宗昌想要，他可以帶路。
張宗昌趕忙要來一個火車頭，將那列軍火收入囊中。更令張宗昌欣喜若狂的是，跟隨這列軍火而來的，還有300多名白俄官兵，其中有原白俄步兵團長聶洽耶夫，高級軍官有米樂夫、米海夫，還有原哥薩克騎兵旅長金鐘仁(俄籍朝鮮人)等人。張宗昌敏銳地感到，這些人是寶貝，他們雖然是蘇聯紅軍的手下敗將，但如果放在中國打那些土匪底子的軍閥，其戰鬥力還是相當驚人的。此後，又有成百上千的白俄軍人前來投靠。
我們知道，張宗昌並不是張作霖的嫡系。就此而言，張作霖對張宗昌的迅猛發展，是一則以喜，一則以憂。喜的是「匪亂」剿平，憂的是張宗昌勢必坐大，難以駕馭。但張作霖本質仍然是個軍閥，奉行的是馬基雅維裡主義。也就是說，只要你能幫我打勝仗，那你就應當幫我打更大的勝仗，至於這勝仗是怎麼打的，你又發了多少財，幹了多少昧良心的事兒，都可以算做「技術細節」，容當後議。應當說，張作霖對於張宗昌還是頗為賞識的。張宗昌喜歡賭博，張作霖便任他狂賭，其關愛之情可見一斑。但有一次，張宗昌到瀋陽拜見張作霖，大大咧咧地往裡走，邊走邊喊：「老爺子，我來……」話音未落，張作霖拍案而起：「出去，重進，媽拉個巴子的，你當在家裡呢。」從這件小事上可見，張作霖雖然以粗人自居，但在與張宗昌的交往中，仍然要強調尊卑界限，有著非常明確的利益訴求。
事實上，張作霖並非沒有意識到張宗昌可能帶來的消極因素，但他急欲擴張之時，也就放任自流了。有資料稱，張作霖確曾有過將張宗昌的部隊解除武裝的想法，只是後來張宗昌迅速做大，未能如願，這就是古已有之的「投鼠忌器」。關於此節，有一則傳聞可資佐證。說是有一次張學良和張宗昌打「沙蟹」(民國時流行的一種撲克賭博)，堪稱民國時最大的賭局。張學良提出，如果你張宗昌輸了，就交出兵權;張宗昌則提出，如果你張學良輸了，就按花名冊給我補半年的餉。結果，張宗昌僥倖勝出。張作霖聞知此事，深感遺憾，說：「小六子毛還嫩啊，假如一把牌釋了張效坤的兵權，該讓我省去多少煩心事。」此說可能不實，但也從一個側面說明，張作霖對張宗昌一直心存忌憚。
張作霖但話說回來，張宗昌又的確是在張作霖的眼皮底下「起家」的，這可能就是當時軍閥總要面臨的「囚徒困境」吧——你必須「養虎」，因為你需要佔領「山頭」，而「養虎」又必然「遺患」。張作霖自然也需要養張宗昌這隻虎，他也認為白俄兵團「可用」。直到1924年9月，蘇聯代表與張作霖簽署《奉蘇協議》後，仍繼續譴責張作霖收編白俄匪軍的行為。但張作霖則採取陽奉陰違的策略，為了「安撫」怒氣沖沖的蘇聯人，耍起了外交手腕，即把白俄官兵「入籍」為中國人——那中國人在中國當兵，你們蘇聯就管不著了吧？為了廣招白俄殘軍，張宗昌還在哈爾濱、天津兩個口岸設立了「入籍軍」招兵處。
據稱，張宗昌以白俄「入籍軍」成立了第65獨立師，共約2000人。下轄鐵甲隊、獨立工兵團、騎兵團、騎兵衛隊及飛機隊等組織。現有資料無不記載，白俄官兵軍紀極差，姦淫擄掠，無惡不作。張作霖和張宗昌也只看重白俄兵的「作戰勇猛」，而對其違紀違法之事很少追究，就是白俄兵真犯了重罪，也不過是送回原招募地而已，甚至還規定對白俄官兵概不判決死刑。張宗昌對白俄軍最大的「優待」還在於，他從來不拖欠白俄官兵的軍餉，而且最低發放相當於准尉的薪金待遇。
從另一方面來說，白俄軍也確實沒有讓張宗昌失望，尤其是裝甲車隊，對張宗昌來說更是「戰功卓著」。鐵甲車隊所用的戰車是軍用運輸貨車，能三面開火，速度特快，是張宗昌的「開路先鋒」。整個白俄裝甲車隊在第二次直奉戰爭中，由天津沿津浦路一直打到長江北岸，為張宗昌在軍閥混戰中立下汗馬功勞。
而按照參謀長王翰鳴的說法，張宗昌「本來和張作霖素昧平生，毫無瓜葛，被迫投到奉系，由一營憲兵，二百支舊式槍，到收留白俄軍隊而得到新式武器，張作霖這才不得不勉強把他當成自己人。因而張宗昌在奉系裡，才算有了立腳點。」王翰鳴也不是張作霖的嫡系，而且與張作霖的關係更為疏遠。他所稱的「二百支舊式槍」，有「誇張」成分，據徐徹所著《張作霖傳》記載，張作霖在派張宗昌剿平高士賓叛亂時，曾撥給張宗昌200餘支別烈彈(一種打鉛丸的槍)，這可能就是王翰鳴所說「二百支舊式槍」的由來。但實際上，張宗昌原來所帶的一營憲兵，絕不可能沒有武器補充。張作霖在派遣張宗昌之前，就曾說過「他花了我幾十萬」的話。但王翰鳴故意往更壞裡說，也是可以理解的，因為王翰鳴既然跟了張宗昌，自然會感到受了冷落和壓制。
1923年奉軍秋季大演習時，張作霖仍有解散張宗昌所屬部隊的想法。因為張宗昌的軍隊成立較晚，匪性未除，甚至讓張作霖這樣的老土匪也看不慣。還有一點，按著王翰鳴的說法，張作霖尤其痛恨種大煙(此說縱然成立，也不能說明張作霖曾經加以整肅，因為張作霖需要軍隊，而那個年月，大煙是解決軍費的最好途徑)，因而總有一種如鯁在喉的感覺。再加上楊宇霆也反對張宗昌這一綹子人馬，欲除之而後快。據王翰鳴回憶，張作霖曾對軍事演習校閱委員張學良、李景林、郭松齡等人說：「每年花一百多萬，養著這幫隊伍種鴉片煙，那太不成話了。這次演習，要是看著他們不行，就把他們解決，遣散好了。」
正是這次演習，發生了流行頗廣的郭松齡「操娘」事件。不難想見，心高氣傲的郭松齡不會看得起張宗昌，又有張作霖的「通氣」，因而對張宗昌的部隊要求特別嚴格。當時，大雪深達數尺，演習時，士兵有的被凍傷，有的被高粱茬子扎傷，令張宗昌心裡老大不痛快。休息時，張宗昌和王翰鳴在莊稼地旁的一處窩棚裡避風。張宗昌蹲在炕上，掏出隨身攜帶的燒酒，邊喝邊發牢騷：「他娘的，這是哪個龜孫的計劃，弄得我們這樣。」恰好郭松齡推門進來，厲聲責問張宗昌：「你罵誰？」張宗昌解釋說：「這是我的口頭語。」郭松齡得理不讓人，指著張宗昌的鼻子罵道：「我×你媽！這也是我的口頭語！」
一時間，窩棚裡的空氣似乎凝固了，身旁的副官們心生寒氣，以為會有一場「火並」，但接下來的情節更富戲劇性，只見張宗昌跳到地下，對郭松齡說：「郭二大爺，你×俺媽，你就是俺的親爸爸，那還有啥說的？」郭松齡沒吭聲，扭頭便走。
在這裡，我們說張宗昌耍熊也好，說張宗昌能屈能伸也好，總該承認，張宗昌還是有容人之量的。但同時我們也看到，張宗昌其實也知道，他在奉軍裡的地位極其微妙，他惹不起郭松齡，因為郭松齡的後台是張學良，而張學良是大帥的親兒子。鮮為人知的是，張宗昌還曾因此與郭松齡拜了把子。那是李景林(時任奉軍第三梯隊司令，後任直隸軍務督辦)撮合的結果。為此，李景林還特意找來張學良，張學良也加以勸解，據王翰鳴回憶，郭松齡還向張宗昌賠了禮。李景林又提議，咱們四人「義結金蘭」，為後人留下一段「將將和」的佳話吧。但這種結拜，一言以蔽之：稱兄道弟，心隔千里，你抽我筋，我剝你皮。
應當說，這次演習，張宗昌經受住了考驗，張學良向張作霖報告時，將張宗昌的第三旅「學科戰術成績優良，士兵如何能夠吃苦耐勞，誇大其詞，形容了一番」(王翰鳴回憶)。與軍紀和大煙相比，張作霖顯然更為看重的是「打勝仗」。既然張宗昌已經練成了一支「很好的軍隊」，那就用來打更大的勝仗嘛。隨即，張宗昌的部隊由吉林第三旅，改編為奉天陸軍第三旅，算是升了一格。第二次直奉戰前，又編了一個炸彈團。
第二次直奉戰爭，張宗昌成了實力派
第二次直奉戰爭時，張宗昌取得了不俗的戰績。開戰之前，張作霖命李景林第一師和張宗昌第三旅合編為第二軍，李景林為軍長，而張宗昌為副。但兩人仍然各帶各的隊伍，各打各的仗。1924年10月，張宗昌率部直抵玉麟山，與「討奉第一軍副司令兼第三路司令」董政國對陣，兩軍相交，鏖戰七晝夜，戰至激烈處，連馬弁和衛兵都上了前線，最後終於攻克玉麟山，又攻克「討奉第一路軍總司令」彭壽莘把守的冷口，逼近直軍大本營灤州，成為第一支攻入關內的奉軍。隨後，張宗昌又直撲天津，打算活捉「常勝將軍」吳佩孚，但未能如願。此後，張宗昌急轉兵鋒，過盧台、越昌黎，一路追擊由山海關潰退下來的直軍散兵。他利用先破敵入關的優勢，收編了六七萬直系潰軍，在馬廠改編成四個步兵旅、三個特種兵團、兩個先遣梯隊、一個輜重大隊。從此，張宗昌就成了令人刮目相看的北方實力派。
時人稱張作霖有五虎上將，分別是姜登選、韓麟春、李景林、張宗昌、郭松齡，這五個人各有特點。時人評價說，韓麟春有智謀，而不拘小節;李景林多才藝，而好說大話;郭松齡機敏狡詐，城府頗深;姜登選豪爽輕財，和藹可親，能與士卒共甘苦，重義輕利;而張宗昌粗魯放縱，無規矩準則。筆者以為，張宗昌能列名五虎上將，大概是從這個時候開始的。
張宗昌進駐灤州後，張學良也從山海關趕到灤州，見張宗昌收編了這麼多隊伍，大為驚駭，但也不得不說：「長腿(張宗昌身高腿長，故有此稱)，你真行啊。」不過，張宗昌在奉軍中，原本就處於邊緣地位，他的急速擴張自然引得奉系將領的極大「關注」與「不安」。張學良的心裡也不舒服，據王翰鳴回憶，張學良曾因此「在懊喪中與郭松齡大起爭吵」。而春風得意的張宗昌也的確體驗到了鹹魚翻身的快活，王翰鳴曾頗有感觸地對張宗昌說：「我們寄人籬下，這回總算出頭了。」
而張作霖面臨的則是更深層的問題，那就是張宗昌既然有了幾萬「弟兄」，必須得給人家一個「地盤」了。打仗的時候，軍隊自然是越多越好。若是打了敗仗，也自然可以躲進租界，撒手不管。可是，若打了勝仗，你就得「犒勞」自己的弟兄，「安頓」你手下敗將的弟兄，最起碼，也得給點路費和遣散費什麼的。要不然，鬧點兵變來，可不是鬧著玩的。
張作霖想出的法子是讓張宗昌「南下」，你有能耐，就接著去搶地盤，總不能領著幾萬大軍再回綏芬河吧。於是，張宗昌升任第二軍軍長，率領所部人馬繼續進攻。不過，張宗昌此時的軍隊雖然號稱十萬，但準確數字卻無從知曉，因為張宗昌素來不守規矩，按說收編敵方的潰散士兵，也應講究一下「程序」的，最起碼也得登記造冊吧。但張宗昌奉行的卻是「口頭主義」和「來者不拒」的原則，連他自己也承認，不知道自己有多少兵。
在張宗昌從天津出發「南下」之前，王翰鳴還回憶了一個細節，說原來的江西督軍陳光遠正在天津經商，當年，就是這個陳光遠把張宗昌繳了械，才弄得張宗昌像個喪家之犬的。於是，就有人跟張宗昌說，應該「收拾收拾」陳光遠，讓他把咱的槍都還咱，再要點利錢。張宗昌說，算了，我們又不是「綁票」的。還有就是李藻麟，曾任張宗昌的參謀長，後來投靠直系，冷口戰役時，李藻麟是彭壽莘的參謀長，張宗昌也未念舊惡，將活捉來的李藻麟委為隨軍參謀長。王翰鳴由此稱張宗昌「恢宏大量」，但筆者不以為然，因為，若說張宗昌小肚雞腸，我們也完全可以找到證據——槍殺林白水就是明證。學雷鋒時，我們知道了這樣一句話：一個人，做一件兩件好事並不難，難的是一輩子做好事。反過來說，一個人，若是想一輩專做壞事，恐怕也不容易。問題在於，你根本沒有辦法把所有的事情都做得更糟。我們發現，做好事時，可能會遇到阻礙;而做壞事時，你會遇到更大的阻礙，這種阻礙一方面來自於人性和道德，當然還有法律和公論。
張宗昌也是如此，他做過好事，我們從來也沒有否認。但他讓我們感到不安的恰恰是這種「反覆無常」。德國人對蘇軍士兵有一個很經典的評價：「人們一定見過一個蘇軍士兵與德國孩子分享他最後一塊麵包，或者一個蘇軍卡車司機在公路上主動搭載一位老太太和她的散了架的手推車，並把她送回家的情景，但是，人們也一定見過，蘇軍士兵在公墓裡暗中守候，準備襲擊、搶劫、強姦從這裡路過的悲傷的單身婦女或姑娘的情景」。而評價一個人的好壞，我們不能通過一兩件事就下結論，比如說慈禧太后哭了，我們不能認為她悲天憫人;袁世凱因為「假《順天時報》事件」而鞭打袁克定，也不能得出結論說袁世凱不想做皇帝。列寧曾經說過：「在社會現象方面，沒有哪種方法比胡亂抽出一些個別事實和玩弄實例更普遍、更站不住腳的了。挑選任何例子是毫不費勁的，但這沒有任何意義，或者有純粹消極的意義……如果事實是零碎的和隨意挑出來的，那麼，它們就只能是一種兒戲，或者連兒戲都不如。」筆者在這裡想說的是，當有些人想為張宗昌之流「翻案」之時，至少應當考慮考慮列寧的話，這沒有壞處。要知道，歷史人物的定論是很長的時間內，由眾多個人觀點綜合而成的「公論」，不是輕易能翻得了的。
張作霖在思考，張宗昌在等
張宗昌奉命南下之時，直隸督辦已為李景林攫取，而山東仍在鄭士琦手裡。鄭士琦是安徽人，原為段祺瑞手下大將，後歸順直系，1923年，曹錕任命鄭士琦為山東督辦。第二次直奉戰爭後，直系敗北，鄭士琦的日子自然不好過，「下野」可能是他最體面的出路了。但張作霖卻並沒有直接去動鄭士琦，他命張宗昌向江蘇進軍，準備拿下蘇、浙、皖，待得勝班師之時，再取山東不遲。三十六計中有一個「假途滅虢」的計策，也可以用在這裡。
要說張宗昌，也確實是員福將。當時徐州鎮守使是陳調元，這就給了張宗昌又一個不勞而獲的機會。當年張宗昌跟馮國璋「混世界」的時候，陳調元是憲兵司令，二人交情至厚。什麼是哥們？一起同過窗，一起扛過槍，一起嫖過娼，一起分過贓。張、陳二人除了沒有同窗之誼外，另外三樣都佔了。而且，我們也知道，張宗昌是好交好為好花錢的人，曾經出錢為陳調元買了一個上海名妓作姨太太。就像剿平高士儐一樣，張宗昌從前所結的「善緣」又一次發揮作用。陳調元借口奉軍難以抵擋，將自己的部隊調往碭山和豐沛一帶，演了一出民國版「三讓徐州」的好戲。徐州易主，南京門戶洞開，江蘇督軍齊燮元便沒咒念了，趕緊溜之大吉。這樣，張宗昌「輕取」江蘇。
張宗昌的部隊到達常州時，將所部人馬分成兩路，一路由自己帶領，進駐上海;一路由參謀長王翰鳴和褚玉璞帶領，開赴宜興，準備進攻浙江。而如果拿下浙江，安徽也將難以獨存。這時，是奉系最為興盛的時候，但也正合了物極必反的定律，張作霖對張宗昌的擔憂終於開始應驗，張宗昌開始打自己的小算盤了。他命褚玉璞和王翰鳴在宜興佈置陣地，做出直撲杭州的架式，但卻遲遲不下命令，進攻杭州的行動就這樣擱置下來。
其實這不難理解，張宗昌是在等張作霖的一句話。蘇、浙、皖三省拿下後，給我張宗昌分哪塊？而這等「分配」，張作霖不會輕易說，張宗昌又不便輕易問，只得「苦等」。如果張作霖「大度」一點，把江蘇交給張宗昌，又會如何？結論是不可想像，因為歷史不能假設。但有一點，張作霖完全清楚，把張宗昌放在鞭長莫及的江蘇，也就等於奉系的「分裂」，所以張作霖才遲遲不下決定。
而更加微妙的局勢還在於，張宗昌在上海與五省聯帥孫傳芳觥籌交錯，還換了蘭譜，拜了弟兄。當時，王翰鳴曾三度請示戎機，張宗昌均未回復，甚至還把電報給孫傳芳看，說：我的參謀長要打你。孫傳芳說：那你告訴他一聲，咱們化干戈為玉帛了。張宗昌說：不必了，讓他「悶悶」吧。意思是說，一個參謀長，竟然想不明白事，打呀殺呀的，為誰辛苦為誰忙？
1925年3-4月間，張宗昌終於等來了他要等的消息：楊宇霆督蘇，姜登選督皖，沒他的事兒。於是，張宗昌將「自己的部隊」撤回長江以北，集中在徐州、蚌埠一帶。這個時候，羽翼已豐的張宗昌當然不會為楊宇霆「保駕護航」。後來，楊宇霆和姜登選「江南督軍旅行」之所以草草收場，與此大有關係。
但是，張作霖雖然不放心張宗昌留在江南，但總得給張宗昌找塊地方「容身」啊。這時，直隸已經給了李景林，那就把山東交給張宗昌吧。在張作霖的要求下，段祺瑞執政府發表張宗昌出任山東軍務督辦的指令。就像前面所說的那樣，鄭士琦體面下野。