張蔭梧早年就讀於保定軍官學校，畢業後去山西閻錫山那裡。軍閥混戰時，奉軍沿平漢鐵路潰退，閻錫山出娘子關截擊，張蔭梧打先鋒，乘勝直克北平，被閻錫山委任為北平市長。張蔭梧是個野心家，歷來高傲自負，他和晉軍將領多有不和，不久即被撤掉北平市長職務。閻錫山、馮玉祥與蔣介石在中原混戰失敗，閻錫山退回山西。張蔭梧回不去了，留在河北，成了失意軍閥，回到了他的家鄉博野縣，打著十七、十八世紀顏習齋、李恕谷學派的旗號，在顏習齋的故里北楊村，辦起了四存中學，是以顏、李學說中存志、存仁、存性、存學這四存而命名。他以此為據點，發展私人勢力，企圖東山再起，並以博野、蠡縣、安國、安平等六個縣為地盤，實行「自治」，稱王稱霸，委任縣長，安置爪牙，搜刮民脂民膏。他還接任了天津河北省立民眾教育實驗學校校長，不久將該校遷至博野北楊村與四存中學合併在一起。後來，他又將博野、安國、唐縣、定縣、新樂、安平、深澤等縣的簡易師範合併為聯立師範，也遷入北楊村。「七七」事變後，張蔭梧假借第一戰區委員長保定行營民訓處的名義，以他所辦的四存中學等幾個學校的學生為中、下層骨幹，開始組建河北民軍，企圖騙取民族英雄的稱號。這個名稱的來歷是，明末高陽縣有個民族英雄孫承宗，在河北省成立民軍，堅決抵抗清軍，最後全家被屠殺。高陽縣南關原來有孫承宗的廟宇，東街有他的牌坊。
平津淪陷後，張蔭梧為了保存生命財產和他培植的勢力，帶著一批四存中學的學生和一部分保衛團武裝，攜家小細軟黃金銀元席捲南逃。順平漢路到磁縣向西進入彭城鎮，南渡漳河，經林縣再沿太行山到達山西陵川縣。他在潰退的路上，假借民訓處奉第一戰區司令長官命令，收編散兵游勇，並從西安、鄭州、武漢等地招來幾百名流亡學生，編為幹部教導隊，進行訓練，以便擴大河北民軍，張蔭梧任總指揮。他打著抗日的旗號，根本就不抗日，是以抗日為名，擴大他的勢力。
張蔭梧和鹿鍾麟之間有矛盾，他認為河北省主席輪不到鹿鍾麟的頭上，曾經一氣之下跑到武漢要求見蔣介石。先後三次求見，蔣介石三次拒見。張蔭梧也非常迷信，他在蔣介石那裡碰一次釘子，就算一次卦，批一次八字，抽一次簽，並且把每一次算卦抽籤的內容都記在他的日記上。張蔭梧連著三次求見蔣介石均遭拒絕，非常惱怒，又無可奈何。正要離開武漢，他忽然受到陳誠召見。張蔭梧和陳誠在保定軍官學校是同學。接著又受蔣介石賜見十分鐘。隨後張蔭梧被委任為河北省三青團總幹事長兼任民政廳長。之後，因爭地盤委任縣長和鹿鍾麟的矛盾非常尖銳。
一九三八年九月底，冀中軍區駐在蠡縣附近。這時，邱立亭以冀察戰區司令長官鹿鍾麟代表的名義，經冀南行署主任楊秀峰(兼統戰部長)介紹，到冀中區黨委黃敬處來見我。邱立亭曾是我在東北講武堂的同學，他對我講，鹿鍾麟派他來與我商談有關冀察戰區統一作戰指揮的問題。我當時對他說，我是晉察冀軍區的冀中軍區司令員，又是八路軍第三縱隊司令員，歸晉察冀軍區聶榮臻司令員指揮，聶司令員說了算，我無權決定。冀察戰區的作戰指揮，必須首先經過晉察冀軍區，否則就不能接受。就這樣，把他頂回去了。晚上，邱立亭又到我的住處看我。他先問了我留在冀中的經過，又對我講，蔣介石可以委任我一個軍長，要錢有錢，要人有人，要餉有餉。我對他說，蔣介石是什麼人?張學良大仁大義送蔣介石回去，倒被蔣介石扣起來。直到現在抗戰了，還不放出來。你也是張學良的學生，怎麼能說出這樣的話呢?我讓他不要再說下去了。後來，他竟當著我的面罵起共產黨來了，說共產黨「過河拆橋，卸磨殺驢」等。當時，我一聽就火了，站起來拍著桌子罵道：「混蛋!敢當著我的面罵共產黨，你知道我是什麼人?」說著，將他攆出屋去。
第二天，我向黃敬、孫志遠同志匯報了邱立亭與我談話的經過。黃敬批評了我，說我不應該罵邱立亭，還要搞統一戰線嘛!他說他的，你不同意就婉言拒絕，送走他了事，何必罵他。