當作為新郎官的張作霖回到軍營時，甲午戰爭已接近尾聲，日軍突破鴨綠江防線，侵入東北。依克唐阿部首先兵敗，宋慶又臨危受命，率毅軍接茬阻擊。
當時中國軍隊雖然在裝備訓練上落伍，但日本陸軍也剛剛訓練成功，還沒有什麼作戰經驗，在和毅軍對壘時並不佔有絕對優勢。比如有一次在平地作戰時，毅軍把一座院牆推倒，埋伏在牆裡面，以院牆作為掩護，向日軍射擊。日軍一撥撥被打倒，最後想出一個辦法，由左右兩邊分別實施突襲，才迫使毅軍撤出陣地。
還有一次，毅軍佔領了一座大沙嶺子。由於指揮得當，火力兇猛，日軍好幾天都攻不上來。眼看戰局可能扭轉，半夜裡忽然起了一陣大風，沙嶺子上面頓時飛沙走石，吹得人眼睛都睜不開來。等拂曉日軍再次發起攻勢時，毅軍士兵無法開槍，只得從沙嶺子上退下來。當地老人提起這件往事時，都帶著無限的遺憾，說要不是颳大風，日本小鬼再狠，也沒法往上攻，沙嶺子絕對丟不了。
在一本日本人所寫的史話中，記載張作霖也曾親身參與這些戰鬥。某夜，他一個人前去破壞日軍的通信線路，不幸被捕。審訊時，他緊咬牙關，緘默不語，負責審訊的日軍隊長見狀很感動，遂下令予以釋放。
本來，這種英勇頑強、堅貞不屈的精神是應該得到鼓勵乃至賞賜的，無奈，在東方國家只要你當了俘虜，再大的英雄也會被看成狗熊。張作霖歸營後不但沒得到一句好話，反遭到了上司的白眼和冷遇，這使得他想通過參軍求得前途和發展的願望徹底落空，很感灰心喪氣。不久，隨著中日簽定《馬關條約》，甲午戰爭結束了。毅軍奉命移防關內，張作霖不願隨軍入關，就開個小差，逃回了家鄉。
回到家的張作霖仍然離不開賭場，經常和二哥張作孚一起混跡其中。兄弟二人因為耍賴還跟人打起架來，對方吃了虧，便到縣衙門告狀，說二人通匪。實際上，他們連偷偷摸摸蒙面打劫的事都沒再做過，只是張作霖自己為了炫耀，時時吹噓與鬍子們關係不錯，不幸就成了他們「通匪」的證據。
這回出手相救的是張作霖的老岳父。趙占元拿出一筆錢，托人作保，將張氏兄弟從大牢裡放了出來。
對於已經「三進宮」的張作霖來說，現在唯一能夠開顏一笑的也許就是在賭場上能夠得意了。然而俗話說「久賭神仙輸」，沒多久他又輸了，而且輸得清潔溜溜，一文不剩。
就在他垂頭喪氣地往家走的時候，相鄰的沙嶺村有兩頭豬溜了出來，張作霖眼前一亮，就想把這兩頭豬偷去換錢。想不到的是，兩位「天蓬元帥」是沙嶺民團頭目家的。這家人發現丟了豬後，派人四下尋找，張作霖被逮了個正著。隨後他便被押回沙嶺村，遭到一頓暴打。
好事不出門，壞事傳千里，很快四鄉八鄰都知道了「張老疙瘩」偷豬且挨揍的事。張作霖顏面掃地，整日悶坐在家裡，連最愛的賭場都不去了。
兵當不成，錢贏不了，在極度苦悶的日子裡，那個一直對張作霖充滿吸引力的隱秘江湖重又浮現在眼前。這正應了那句話，「狗逼急了咬人，人逼急了為匪」，不錯，當「鬍子」有被抓捕乃至殺頭的危險，可是人過得瀟灑啊，至少不用擔心挨餓或被人羞辱。
發現張作霖竟有了入草為寇的念頭，岳父趙占元第一個站出來反對，但哪裡攔得住，張作霖終於還是選擇了劍走偏鋒，鋌而走險。
要做「鬍子」，當時有兩個渠道：一是佔山為王，黑話叫「起局」，一是入伙，黑話叫「掛柱」。「起局」得有「局底」，也就是槍支彈藥這些家當。在那兵荒馬亂的歲月裡，為防匪患，有錢人不是請官兵護院，就是自己出錢養兵，組織「村團」「聯防」之類雜七雜八的隊伍，張作霖便在這個上面動起了腦筋。他聽說大地主「武善人」家雇夥計，於是就跑去應徵。
應徵時，張作霖對「武善人」的管家說：「我只有一個要求，就是明天把我掙來的糧先送來，一年八石高粱，沒糧折錢也行！」管家一聽，這條件不高，就滿口答應下來，雙方還簽了合同。從「武善人」家裡走出來後，張作霖又到周圍幾個村莊的有錢人家轉了轉，並且以同樣的方式和條件把自己雇了出去。
一共是八家人，收到他們送來的錢或糧後，張作霖先跑到黑市上買了一把十發手槍，接著便通知東家們來他家慶賀「上工之喜」。八個東家都派來了人，張作霖給來人每人倒上一碗白開水，自己也端起一碗，說起了開場白：「諸位一定納悶，張作霖這小子窮死巴活的，今天咋這麼肯出血，擺上八碟八碗兩大件來款待各位呢？其實這是你們自己的錢！」
眾人聽了這話，大眼瞪小眼，都沒明白過來。
張作霖說：「你們也不用瞪眼。我今兒個就是請你們來慶賀我入胡了的！是你們每人出了八石紅高粱，不然我用什麼去買這把槍呢！」說完，他拿出嶄新的手槍，「吧嗒」一聲放在了桌上。
在座的人大驚失色，誰也不敢吱聲。張作霖把話題一轉：「不過諸位，你們也不必膽戰心驚。俗話說，好狗護三鄰，好人護三屯，我入鬍子是為了養活老母，一旦成了局，決不騷擾你們鄉親。」
張作霖說的倒都是實話，「鬍子」有個規矩，即兔子不吃窩邊草，或者叫好狗不吃門前食，平時不管如何作惡，總之不會打攪難為父老鄉親，這就是所謂的「人身為匪，鄉情還在」。自然也免不了有壞了規矩，在家門口打家劫舍的主，「鬍子」裡面稱他們為「邪鬍子」。對「邪鬍子」，一般立住腳的「鬍子」視之為敵，只要抽出機會就會進行收拾。