1894年(光緒二十年)，時年19歲的張作霖離開了高坎鎮，不過這個時候他已經成年，而且還有一門可以養家餬口的手藝——相馬治馬，這個手藝給他帶來了好運，此時正值中日甲午戰爭打響，河北一支清軍奉調駐防遼西，他因為給軍馬治病而與部隊熟悉，從而投身軍隊當了一名騎兵，由於積極追求進步，不久便升任哨長。如果按照這個進程下去，張作霖在腐敗的清廷部隊裡按部就班地幹下去，估計到死也不會有多大出息。幸好歷史沒有給他這樣的機會，甲午戰敗，出關的清軍重回河北，張作霖不願離開家鄉，找借口逃回了遼西。
回到老家後，張作霖開了一家獸醫店，因為自己的手藝兼且當過兵，為人豪俠大方，一無所有的他居然被趙家廟地主趙占元看中，認為他儀表堂堂，將來定有出息。1895年，張作霖與趙占元的二女兒趙春桂結了婚，這年他21歲，好不容易擁有了一個自己的家。沒想到安穩日子沒過幾天，就又走了霉運。當年跟他有仇的王家聽到他回老家，害怕張繼續報復，立即向官府匯報，官府派人捉拿張作霖並將其投入了大牢。危難關頭，是張作霖的妻子趙春桂央請父親出錢把張作霖贖回，贖回後的張作霖再也不敢回自己的村莊了，他就住在岳父家。當時正值日俄戰爭時期，東北已經成為戰場，到處都是散兵游勇和乞丐難民。老百姓為了生存被迫組成民團以自衛，大部分村莊還修建了寨牆。趙家廟也成立了一個20多人的民團，但是沒有人懂得軍事。也是時來運轉，張作霖剛好當過一年的兵，而且干的還是一名哨長，有帶兵經驗，雙方一拍即合，經趙占元推薦，張作霖當上了趙家廟民團的頭目。張作霖天生就是塊帶兵的料，在他的調教下，這個20人左右的小小民團很快成為當地戰鬥力最強的鄉勇。他們幾次打敗了前來騷擾的小股匪幫，名聲大振。周邊二十多個村子見趙家廟的鄉勇如此厲害，也紛紛要求張作霖來管理他們的隊伍。這樣一來，張作霖的部下達到了一百多人。
在趙家廟的西北，有個大團，團主叫金壽山，手下有100多人。大團的總部設在中安堡，其周圍地區是他的保險區。本來，大團的職責是保境安民，可是金壽山的大團卻在保險區內橫行霸道，無惡不作，比胡匪還凶，老百姓恨極了他們卻又沒有辦法。此時張作霖「仁義」之名已傳遍了四鄉八里，中安堡的百姓就請張作霖幫忙。張作霖當仁不讓，率眾趕走了金壽山，還殺了他們幾個人，這下張作霖惹禍了。因為金壽山是當地一個著名匪首的部下，這股土匪立即出動幾百悍匪偷襲了張作霖的民團。張作霖的民團並非職業軍人，平時都在家中種田，只有必要的時候才召集起來。此時遭遇土匪突襲，根本無力抵抗。慌亂之下，張作霖攜帶妻女率眾突圍，先是逃到了附近的大村子薑家屯，繼而又逃往八角台。在逃亡途中，身懷六甲的夫人趙氏在馬車上生下了一個男孩，這就是張學良，當時是1901年6月3日。
據說突圍途中，張作霖的把兄弟湯玉麟捨命背著懷有身孕的趙氏一路狂奔(一說是背著張作霖的長女張首芳)，於槍林彈雨中把她救了出來，其情形頗有點三國時期趙雲於百萬軍中單騎救主的味道，所以張作霖取得東北霸主地位以後，對當年跟著他的這幫老兄弟沒齒難忘，均委以重任，就是因為他覺得這幫老兄弟雖然才識不高，但忠勇過人，值得信任。後來作為新派代表的郭松齡叛亂，似乎也證明了他對老兄弟異乎尋常信任的正確性，此是後話，在此不提。
突圍後去哪裡？走投無路的張作霖想到了一個人，這個人就是他當年醫馬時打過交道的馮德麟(即馮麟閣)，此人現在是遼南巨匪。去馮德麟那裡必須經過一個叫八角台的地方。此時的八角台是台安縣的一個大集鎮，光商號就有50多家，土圍子修得比城牆還要高大厚實。鎮上也有一個大團，其首領是張景惠。本來張作霖是想從這裡借道經過，但是這一借道藉著藉著就住了下來，倒不是他們不想走，而是人家留著他們不讓走了，原因是張作霖名聲好，不擾民，而且還帶著40多人的隊伍，這對於加強八角台的守備力量很有作用。當地商會會長張紫雲一再挽留，後來張景惠還主動讓賢，甘居副職，把隊伍交給張作霖帶，張作霖在八角台駐紮了2年，手下隊伍發展到200多人，成為他起家的資本。張景惠也因關鍵時候的主動讓賢而頗得張作霖的信任，日後他還擔任了張作霖安國軍政府的陸軍總長等職務。
張作霖的隊伍得以發展到200多人，跟他好勇鬥狠的土匪個性大有關聯。張作霖剛剛在八角台站住腳的時候，手下只有一百人不到，十幾條槍，這時來了一個叫做海沙子的土匪，此人勢力強大，是遼西巨匪杜立三的手下，有好幾百人，幾十條槍，雙方實力懸殊，開戰的話張作霖沒有一點勝算。但是張作霖又沒有退路，畢竟剛剛代替張景惠接手八角台防務，所有人的眼睛都看著他，張作霖退無可退，只有賭命了。他當著所有土匪的面跟海沙子說：我們雙方如果一開打這個村莊就給打亂了，誰也沾不了光，不如這樣，就我們兩個來對打行不行？你的人在那邊，我的人在這邊，咱倆同時開槍對打，你把我打死，我這個地方就歸你，我把你打死，那你的部下就歸我。如果你不敢就算了！
東北土匪斗的就是一個狠字，如果被別人看作膽小，今後就很難在黑道上混了，海沙子被將得沒有辦法，再說張作霖說得也很在理，只好咬牙和張決鬥，兩人同時開槍，結果張作霖手臂中彈，而海沙子則被打中頭部，當場就死了。這樣海沙子的部下都歸張作霖了，張作霖的匪幫人數由此擴充到數百人，好幾十桿槍了。
殺了海沙子以後，張作霖的名聲更響了，既講仁義，又能鬥狠，這在當時的東北就是一張安全的名片。當時遼西有四大土匪，其中一股就是張作霖匪幫，他還有個旗號叫做北霸天。東北土匪都知道有張作霖這樣一號人物。