張歸霸，字正臣，清河人。祖父張進言任陽谷縣令。父親張實，也做過官。歸霸小時瀟灑不拘，愛好兵術。唐朝乾符年間，盜寇蜂起，張歸霸領著兄弟三人棄家投奔黃巢，很因勇敢機智聞名。黃巢攻陷長安，即授他以左番功臣名號。中和年間，黃巢領著黨徒奔到宛丘，當時太祖在汴州，奉詔南征，黃巢勢力日益窘迫，張歸霸兄弟與葛從周、李讜等人一起來投降朝廷，不久補任宣武軍要職。
光啟二年(886)，張歸霸與蔡州賊寇張存在盧氏交戰。三年夏天，又與蔡賊將領盧瑭在雙丘作戰，又與秦宗賢在萬勝作戰，都打敗並殲滅了他們。後來，秦宗權派將領張日至前來寇犯，在赤崗紮營。一天，各自派出騎兵將領以決勝負，張歸霸被飛矢射中，他立即拔出箭矢，回馬彎弓一射，賊人被射穿頸子墜下馬來，張歸霸於是繳獲賊人戰馬而回，太祖當時在高丘上朝下觀戰，看見全部情況，當面加以獎賞鼓勵，用金錢布帛以及他俘獲的戰馬賜給他。張歸霸又曾經受命帶領弓箭手五百人埋伏在戰壕裡，太祖帶著數百騎兵慢慢逼近敵軍營寨，蔡州賊寇果然派出精銳士兵開門出城前來追擊，張歸霸發起伏兵，掩殺千餘人，奪得戰馬幾十匹，不久上奏朝廷授與檢校左散騎常侍。後來跟隨太祖攻伐鄆州，輔助李唐賓渡過淮河，都立有大功。
文德初年，大軍逼近蔡州，賊將蕭顥前來攻營，張歸霸與徐懷玉各領部下士兵從東南兩門分別出擊，合併勢力殺賊，蔡州賊人大敗。到太祖整頓部隊出營時，戰爭已經結束，太祖召來張歸霸，讚賞他說「：以前耿..不等光武帝下令就出擊張步，說不能將賊寇留給君王，立下耿..這樣的功勞，你是第二個。」大順年間，郭紹賓佔領曹州後，張歸霸領兵數千守衛曹州。接著朱瑾帶領大軍來到，張歸霸與丁會在金鄉迎戰朱瑾，朱瑾大敗，擒獲賊將宗江等七十多人，曹州得以安寧。第二年，攻下濮州，活捉刺史邵儒。又輔助葛從周與晉軍在洹水作戰，活捉了李克用的愛子落落。又與燕人在內黃交戰，殺死劉仁恭士兵三萬多人。戰績超群，居於眾將之上，接連陞官至檢校左僕射。
光化二年(899)，代理主持邢州事務。第二年春天，李嗣昭率領蕃族、漢族五萬士兵來寇犯，張歸霸堅守城牆做好準備，晉軍不敢冒犯邢州城，於是調轉軍隊進攻名州，名州陷落。當時太祖在滑州，很擔心邢州失守。到葛從周收復名州時，李嗣昭向北逃走，張歸霸出兵追擊他，殺死二萬多人。捷報傳來，賞賜非凡，立即因功上奏加封為檢校司空。天..初年，遷任萊州刺史，任滿後授與左衛上將軍，又任曹州刺史。那年秋天，加封檢校司徒，輔助劉知俊抵禦..州、鳳翔的敵寇，打敗了他們。太祖受禪讓後，拜為右龍虎統軍，改任左驍衛上將軍，兼任河陽各軍都指揮使。第二年夏天六月，任河陽節度使、檢校太保，接著加封為同平章事。同年秋天七月，死在任上。詔令追贈為太傅。