張齊字子響，馮翊郡人。因世代居住在橫桑，故有時也說是橫桑人。張齊小時很有膽量。最初張齊侍奉荊府司馬垣歷生。垣歷生嗜酒成性，對待部下嚴厲殘忍，不很尊重張齊。垣歷生卸任歸家，吳郡張稷擔任荊府司馬，張齊又跟隨張稷，張稷很器重他，把他視做心腹，即使是家中的小事都交給他辦理。張齊盡心盡力侍奉張稷，沒有什麼推辭畏懼的事。後來張齊隨張稷回到京師。張稷擔任南兗州太守，又提拔張齊為府中兵參軍，開始委任張齊軍職。
齊永元中(500)，義師舉事，東昏侯徵召張稷回京師，都督宮城諸軍事，位居尚書省。義兵到來時，城外情況愈趨緊急，張齊每天造訪王珍國，私下裡與王珍國商定計謀。計謀已定，深夜領著王珍國到張稷處促膝交談，張齊親自舉著蠟燭以促成計謀。第二天早晨，張齊與張稷、王珍國在內殿靠近東昏侯，張齊親手殺了東昏侯。第二年，高祖即位，封張齊為安昌縣侯，食邑五百戶。多次擔任寧朔將軍、歷陽太守。張齊不會寫字，不認識字，但他為政清廉，所轄之郡治理得很好。
天監二年(503)，張齊回京擔任虎賁中郎將。尚未接任此職，改任天門太守，寧朔將軍仍如從前。天監四年(505)，魏朝將領王足侵犯巴、蜀，高祖任命張齊為輔國將軍解救蜀地。張齊還未到蜀，王足退走，張齊進軍戍守南安。天監七年(508)秋天，高祖派張齊設立大劍、寒塚二個戍守之地，領軍回到益州。這年，張齊遷任武旅將軍、巴西太守，不久加封振遠將軍。天監十年(511)，郡人姚景和聚眾蠻蜒，抄斷長江水路，攻破金井。張齊在平昌攻打姚景和，打敗姚景和。
最初，南鄭陷落於魏朝，於是在益州西部設置南梁州。南梁州剛剛創立，完全靠益州提供給養。張齊上夷獠義租，得米二十萬斛。張齊又建立台傳，興辦冶鑄業，以滿足南梁州的需要。
天監十一年(512)，張齊晉封假節稱號，都督益州、外水各軍。天監十二年(513)，魏國將領傅豎眼率軍侵犯南安，張齊率兵抗擊，傅豎眼退走。天監十四年(515)，張齊遷任信武將軍、巴西、梓潼二郡太守。這年，葭萌人任令宗因眾人對魏朝感到擔憂，殺掉魏朝晉壽太守，以城降梁。益州刺史鄱陽王派張齊率大軍三萬，督促南梁州長史席宗范各軍迎納令宗。天監十五年(516)，魏朝東益州刺史元法僧派兒子元景隆來抗擊張齊的軍隊，南安太守皇甫諶及席宗范從反面攻打元景隆，在葭萌大敗魏軍，在十多個城市大肆殺戮，魏國將領丘突、王穆等都來降梁。而魏國再增加了傅豎眼的軍隊，再來抗戰，張齊兵少不利作戰，領兵而回，於是葭萌再一次陷落於魏朝。
張齊在益州多年，討伐蠻獠，他自己沒有一年是安寧的。張齊在軍中，能夠身歷辛苦屈辱，與士卒同勤作共苦樂。自畫軍營城壘，都從各方面得到方便，調配服裝糧食資助軍用，每個人沒有什麼缺乏的，既然為人心所附，蠻獠也不敢侵犯，因此張齊的威望、名聲在庸、蜀廣為流傳。巴西郡占益州的一半，又是東行的要衝之地，刺史經過，軍府長途跋涉，許多物資都很缺乏。張齊沿路集中糧食，種植蔬菜，經過的人都能取得供給。張齊能幫助辦理的，多是這一類的事。
天監十七年(518)，張齊改封持節稱號，都督南梁州諸軍事、智武將軍、南梁州刺史。普通四年(523)，遷任信武將軍、征西鄱陽王司馬、新興、永寧二郡太守。未上任便去世，終年六十七歲。追贈散騎常侍、右衛將軍。高祖送給辦喪事的禮錢十萬，布百匹，謚號壯。