「天天唱打回老家去，往南跑幹什麼?」
「寧願北走一千，不願南下一竿!」
「願當亡國奴的讓他們自己走，我們要北上!」
「對呀，讓他們自己跟著國民黨的屁股跑吧!」許多人同聲喊著這句話。
人們叫喊著，揮動著手臂，圍著反對北上的軍官質問，激昂慷慨。可以鮮明地感覺到，回師北上抗日的氣勢，就像一股洪流，是不可阻擋的。主張南下的人坐在一角，低著頭，吸著煙，臉上一紅一白。眼看著大局已定，我便趁熱打鐵，站起來宣佈：「根據大家的意見，全團立即回師北上!」我的話音剛落，會場上掌聲齊鳴，群情沸騰。我揮揮手，讓大家靜一靜，說：「從今天起，我們脫離東北軍，成為抗日的革命隊伍了!」又是一陣掌聲、歡呼聲。
接著，討論改變部隊名稱，大家一致建議要堅決甩掉五十三軍的番號。當時多數人希望改稱紅軍，但因還未和地方黨、老紅軍接上關係，就主張另起一個名稱。經過民主討論，一共提出各種名稱二三十個，大家主張不受地域限制，自然也包含著「打回老家去」的意願。最後，決定改稱人民自衛軍。又討論戴什麼臂章，大家認為應區別於國民黨舊軍隊，要有鮮明的革命標誌。討論的結果是採用長方形臂章，白底，藍邊，上面為人民自衛軍五個藍字，中間是一顆紅星。並約法三章，嚴明紀律，不准擾民，發動群眾抗戰，官兵平等。代表回去傳達到全體官兵，即刻掀起一股回師北上的熱潮。
決定北上的消息傳開後，全體官兵莫不歡欣鼓舞。因為臂章一時還不能製作出來，士兵們就找來一些紅布、紅線，縫在挎包或碗套上，隊伍裡出現了大小不同的紅星，以區別於國民黨軍隊。群眾見了，開始是不解，後來是爭相簇擁，伸起大拇指讚揚地說：「幹得對!」小樵鎮呈現出一片歡騰景象。
當時部隊有兩個營，即第一營和第三營。第二營在井陘看守五十三軍彈藥庫，一直沒有歸隊。還有四個直屬連，一個通信隊。改編成三個總隊，一總隊趙承金，二總隊於權伸，三總隊沙克。選拔優秀黨員和進步分子擔任各級領導職務，準備北上後再補充兵員。從此公開在中國共產黨的領導下，走上獨立自主，開展抗日游擊戰爭的道路。
關於小樵改編，為什麼不叫起義?當時，在我們部隊裡，三營有黨的組織，而且著重發展幹部入黨，這個營是很有把握的。其他單位也有黨員，他們原是黃顯聲的部隊，著重在士兵中發展黨，也有少數黨員軍官。我們能勝利地完成改編，正是由於一個營有黨員幹部可以完全掌握，另外一個營也有黨員和「東抗」隊員帶頭響應黨的號召，像團部有些非黨員，都要求抗日，又有點舊軍官的服從性，聽上級的話。改編時，雖然也有個別人有疑慮，但還是隨大流走過來了。廣大群眾，則是堅決擁護跟共產黨北上抗日的主張。
我們完成改編後，立刻與五十三軍斷絕了電台聯繫，毀掉了密碼。這時，萬福麟通過十八集團軍，又經過晉察冀軍區聶榮臻司令員給我打電報，讓我把部隊帶回到洛陽。來電說，已和一二九師劉伯承師長說好，保護我團過鐵路到洛陽。我通過十八集團軍總部回電說，沿途日軍很多，回不去，誰保護也不行。實際上我也不知道途中有沒有日軍。以後，萬福麟和程潛又下令，委任我為一戰區游擊第一支隊司令。當時，我們沒理他這個茬。但以後反摩擦打張蔭梧時，這個「支隊司令」的頭銜用來對付國民黨頑固派還有點用處，那時冀中部隊已改編成八路軍第三縱隊了。
改編為人民自衛軍後，胡乃超曾作《人民自衛軍軍歌》，套用《萊茵河軍隊戰歌》即《馬賽曲》，未及斟酌，沒有定稿就傳唱開來。歌詞雖沒有文字記錄，至今有人還能記起，可見是及時唱出了人們的心聲，才給人留下這樣深刻的印象。歌詞是：
神聖的自衛戰爭，
是民族最後生路。
大家向前!
倭奴逞強權奪我東北，
更無厭蹈進長城關，