失了財又丟了臉，「賭棍」們自然很不爽，他們憋了一口氣，時時尋機報復。
高坎有個「耍清錢的」六大娘。有一次，大家在六大娘家聚賭。張作霖先贏後輸，「賭棍」們就故意激他說：「你上次輸錢割肉，這回該割狗頭吧！」張作霖沒想到對方會設套，果然被激怒了，當場就動起手來。「賭棍」們趁勢一擁而上，仗著人多，將他按倒在地。其中有一個人拎起一把大砍刀，便朝張作霖的屁股上剁去——看這情形，縱然不死，也得落個殘廢。
六大娘是個寡婦，為了護場子，專門找了一個諢號「王三五」的彪形大漢。千鈞一髮之際，「王三五」搶上前去，一把掐住持刀者的手腕，同時大喝一聲：「住手！」六大娘也趕緊過來，制止了賭徒們的血腥報復。
這次遭遇並沒有讓張作霖從此夾起尾巴。有一年夏天，他在一家雜貨店買東西，見到了大菊二菊姐妹，二人都是高坎街上的美女，不過已經被街上的地痞於二爺給「包」了起來。於二爺揚言：「誰敢惹她們，拿命見我。」
誰都不敢惹，只有張作霖例外。自在六大娘家遭到賭徒們的圍毆後，他特地拜一位老道為師，學了點「劍術」。覺得自己沒什麼可怕的，又有「劍術」防身，張作霖就大著膽子溜躂到了二菊家，想會會二菊。不巧的是，於二爺也去了，張作霖終究沒敢正面跟他相撞，悄悄地就離開了二菊家。
問題是於二爺可不會這麼容易放過他，從二菊嘴裡得知此事後，這廝第二天就拎著口殺豬刀找了過來。張作霖正在六大娘那兒賭博，聽到大門外於二爺罵罵咧咧地闖進來，他哪裡還敢使什麼「劍術」或者拳腳，嚇得跳出後窗戶，撒腿就跑。
不料凶神惡煞般的於二爺仍在後面緊追不捨，張作霖只好跑進了曾救他一命的常掌櫃的店裡。大車店地方不大，很難藏得住人，常掌櫃急中生智，乾脆打開炕上的幾個行李卷，把張作霖捲到了裡面。
因為於二爺的追殺，張作霖躲了好幾天。最後由常掌櫃出面，找了幾個街上有頭有臉的人，採取請客認錯的辦法，才算保住了性命。
燕雀與禿鷹鬥，弄它不倒反被它笑，張作霖精神上受到很大打擊，他一頭病倒在了居民於天朗家的門洞裡。於天朗的母親看見了，趕緊把他救回屋，並且一連撫養了他三個多月。這也是繼孫老太太后，張作霖生命中再次遇到「漂母」，他於是又認於母做了乾媽。
病癒後，張作霖在高坎街上已經抬不起頭來了。有個叫黃木匠的，張作霖欠了他的賭資，當聽到張作霖無力償還時，他竟然當眾抽了張作霖兩耳光。
明白自己在高坎已無立足之地，張作霖便打算在年關前後一走了之，順便還可以躲掉賭債。常掌櫃聽後，便為他湊了一些路費，當時張作霖腿生火癤，行走困難，常掌櫃就把自己的毛驢也送給了他。
得知張作霖離開高坎，還騎走了常掌櫃的驢，那些平時與張作霖有恩怨的賭徒們都憤憤不平。他們跑到大車店，一邊數落常掌櫃，一邊鼓動其把毛驢要回。
禁不住眾人的蠱惑，常掌櫃也動搖了，當即披著舊皮褂追趕張作霖。見常掌櫃頂著風雪趕來，張作霖料定他必有什麼大事，忙問：「乾爹，這麼大的雪，有什麼事嗎？」常掌櫃本來想硬著心腸要回毛驢，沒承想這一聲乾爹，倒又把他叫得心軟了，於是便支吾著說是來送皮褂子的。
張作霖蜷著身子，在刺骨的寒風中正凍得難耐，常掌櫃送的那件舊皮褂無異於救了他半條命。當下，他穿上皮褂，重又騎上毛驢，與老爺子灑淚而別。
結束在外鄉的流浪，張作霖重返趙家溝。和父親當年一樣，他對從事正當職業已經毫無耐心和興趣，只是一味地「見賭三分喜」，而且通常都是大賭特賭，輸光為止。
等到囊中空空怎麼辦？不耍清錢了，耍混錢！張作霖和二哥張作孚乾脆蒙上臉去，跑到「通京御道」附近幹起了劫道的勾當。