張緬字元長，幾歲的時候，外祖父中山劉仲德就認為他很不一般，說：「這孩子不是平凡人，不只是張家的寶貝，還會名揚海內。」齊朝永元末年梁武帝起兵，其父張弘策跟隨武帝進兵建康，把張緬留在襄陽，當時才十歲，每聽到軍隊有勝負消息，憂喜都流露在臉上。弘策遇害時，張緬服喪超越禮節，武帝便派人來告誡他。喪服期滿後，襲封洮陽縣侯。初次作官任秘書郎，出京為淮南太守。當時只有十八歲，武帝怕他年輕，不熟悉官吏的事務，派主書把他辦的案卷封好取回京城查看，見他處理得都很恰當，很是稱讚。又陞遷他為雲麾外兵參軍。
張緬從小勤於學習，讀書能自我督促，手不釋卷。有人提問，隨問隨答，全無錯失。殿中缺郎官，武帝對徐勉說：「這個部門以前都用文學之官，而且是朝班的領頭人，應當仔細挑選。」徐勉推舉張緬充任人選。不久，任武陵太守，回京後又拜太子洗馬、中舍人。張緬母親劉氏因張緬父親去世家境貧窮而葬禮不周全，於是終身不居正室，不跟隨兒子一起進官府。張緬在郡裡所得的俸祿不敢享用，以至於老婆孩子沒有什麼可換的衣服，等回到京都，一起上交給母親來賑濟親屬。雖然是多年的積蓄，一下子就完了，張緬自己家裡常常空寂冷落好像貧寒之士。
逐漸陞遷為豫章內史，張緬為政推行恩惠，不用詐謀，官吏百姓受他的德政感化，也都不敢有欺詐行為。老者們都說：「幾十年來沒有過啊。」
後來作御史中丞，因為抓捕犯人和外國使節發生爭鬥，降職為黃門郎，兼任以前的職務，不久又官復原職。張緬在御史任上，推行法紀無所顧忌，號稱剛直。武帝派人給他畫像掛在御史衙門，來勉勵為官的人，陞遷為侍中，未正式任命時去世。詔命即時舉哀。昭明太子也親臨哭吊。
張緬抄錄《後漢書》、《晉書》各家不同之處著成《後漢紀》四十卷，《晉抄》三十卷，又抄錄《江左集》沒來得及寫成，有文集五卷。