張沖字思約，吳郡吳人。父親張柬，曾任通直郎。張衝過繼給伯父侍中張景胤，景胤小名查，父親張邵，小名梨。宋文帝開玩笑地對景胤說：「查怎及得上梨。」景胤回答：「梨是百果之王，查怎能及。」
張沖從小就有至情至性，被征為州主簿，跟隨堂叔張永為將，出任綏遠將軍，盱眙太守。張永征討彭城，遇大雪降溫天氣，兵士腳脛凍斷的有十之七八，張沖腳趾都凍掉了。出任尚書駕部郎、桂陽王征南中兵、振威將軍。被任命為驃騎太尉南中郎參軍，不受。調任征西從事中郎、通直郎、武陵王北中郎直兵參軍、長水校尉，授寧朔將軍，本官仍舊。又調任左軍將軍，加授寧朔將軍、輔國將軍。張沖少年起投身軍旅，朝廷視他為得力干將，因此歷任軍校之官，出外任馬頭太守，又調任盱眙太守，輔國將軍不變。永明六年(488)，調任西陽王冠軍司馬。永明八年(490)，為假節、監青冀二州剌史事，將軍職務不變。張沖父親亡故，遺命說：「祭我一定要用家鄉土產，不要用牲物。」張沖在鎮所，四季回吳園中取丙菜，痛哭流涕地進獻到父親靈前。又調任刺史。
鬱林王即位，張衝進號冠軍將軍。明帝即位，用晉壽太守王洪範取代了張沖。授黃門郎，加授征虜將軍。建武二年(495)，敵虜進攻淮泗，任命張沖為假節，都督青、冀二州征北諸事，本官仍舊。敵人合兵攻打司州，朝廷下詔命青、徐二州出兵以牽制敵人力量。張沖派軍隊主帥桑系祖由渣口攻下敵人的建陵、驛馬、厚丘三城，殺敵無數，獲得許多戰俘。又與洪範派大將崔季延襲擊敵人的紀城，攻佔了城池。張沖又派大將杜僧護攻克敵人虎坑、馮時、即丘三城，趕著牲口輜重凱旋，至溘溝時，敵人救兵到了，佔據要道發起進攻，杜僧護率軍力敵，擊潰了敵人。
這年，張沖調任廬陵王北中郎司馬、加授冠軍將軍，不受。豐城公蕭遙昌為政豫州，皇上考慮到外敵未安，調派張沖為征虜長史、南梁郡太守。永泰元年(498)，任江夏王前軍長史。東昏侯即位，出外任建安王征虜長史、輔國將軍、江夏內史，掌管郢州府州事務。永元元年(499)，調任持節、都督豫州軍事、豫州刺史，取代裴叔業。最後沒有成行。第二年，調任都督南兗、兗、徐、青、冀五州、輔國將軍、南兗州刺史，持節如故。正逢司州刺史申希祖亡故，任命張沖為督司州軍事、冠軍將軍、司州刺史。裴叔業因他在壽春打勝仗，又任命他都督南兗、兗、徐、青、冀五州、南兗州刺史，持節、將軍如故。都未受職。崔慧景事件平定後，詔征建安王蕭寶夤還都，任命張沖為督郢、司二州、郢州刺史，持節、將軍如故。一年之中，頻授四州官職，這一次才受任。這一年冬天，進授征虜將軍。加封定襄侯，食邑一千戶。
梁王義師起事，東昏侯派驍騎將軍薛元嗣、制局監暨榮伯領兵及糧草一百四十多船送與張沖，使之與西來義師抗衡。元嗣等受劉山陽戰敗的打擊，疑心張沖不敢進攻，駐紮在夏口浦。聞聽義師將至，元嗣、榮伯競相逃入郢城。當時竟陵太守房僧寄被人取代職位回到郢，東昏侯命僧寄留守魯山，任命他為驍騎將軍。僧寄對張沖說：「我雖未受朝廷深恩，但得到過先帝的厚待。在樹下乘過涼的不折這樹的枝杈，我很想效微薄之力。」張沖很贊成這話，兩人共結盟誓。於是分兵拒守。派大將孫樂祖率數千人幫助僧寄建堡壘據守魯山。
第二年二月，梁王出兵沔口，圍困魯山城。派大將曹景宗等過江攻打郢城，未等全部過江，張沖派中兵參軍陳光靜等開城門出擊，為義師擊潰，光靜戰死，張沖在城中固守不出。曹景宗於是佔據石橋浦，把軍隊綿延布成散兵線，下至加湖。東昏侯派大將巴西、梓潼二郡太守吳子陽、光子今、李文釗、陳虎牙等十三軍救援郢郡，援軍至加湖不能再前進，於是築堡壘燃烽火，郢州城內也舉火回應。但內外僅能自保不能相救。
張沖病死。元嗣、榮伯與張沖之子張孜及長史江夏內史程茂固守城池。東昏侯下詔追贈張衝散騎常侍、護軍將軍。假元嗣、子陽節杖。
江水暴漲，加湖城被淹，義師乘大船發起進攻，子陽等人大敗而散，魯山城糧草缺乏，軍人在江邊小石山捉小魚吃，秘密地做了小船，準備逃奔夏口。梁王命偏軍斷其去路，以防他們逃掉。房僧寄病死，孫樂祖無計可施，舉城投降。
郢城被圍二百多天，士兵、百姓病死的有七八百家。魯山戰敗後，程茂及元嗣等商議要投降，派張孜給梁王寫信。張沖老部下青州治中房長瑜對張孜說：「前使君你父忠貫昊天，節操勝於松竹。郎君你應當堅持一致，以待時變。若天不佑我，我們這些人就聽從你的安排，去追隨使君。今若跟著這些人行事，不僅郢州百姓失掉對你家的景仰，恐怕敵人也看不起你啊。」魯山被攻打兩天後，元嗣等獻城投降。
東昏侯任命程茂為督郢、司二州、輔國將軍、郢州刺史，元嗣為督雍、梁、南、北秦四州、郢州的竟陵、司州的隨郡、冠軍將軍、雍州刺史，二人並持節。當時郢、魯二城已降，死者相積，竟沒有叛逃的。時人以張沖及房僧寄來比況臧洪的被圍。追贈僧寄益州刺史。
本史作者認為：當初石石昔棄子，發揚了大義滅親的精神；鮑永後來投降了，明白了事奉新朝的節操。王奐忠誠無二，卻身遭殺戮；張沖不知天意，在義軍興起時還糊塗守節。二人遭禍的情況雖不同，但都一樣導致滅亡。
贊語：王奐為官北方，子孫未能立家。終於犯了大法，導致覆滅。張沖窮守堡壘，死人如麻。醒悟為時已晚，很值得評說。