張緒字思曼，是張岱哥哥的兒子。父親張演，是宋朝的太子中舍人。張緒少年知名，清簡寡慾，他的堂伯張敷和叔父張鏡、堂叔張暢都認為他很高貴奇異。張鏡把他比作樂廣，張敷稱「與我們是同一類人」。張暢向孝武帝推薦，任用他做尚書倉部郎。都令史讓他詳細介紹一下郡縣儲米的情況，張緒肅然直視，對這些很不在意。宋明帝每次見到張緒，就讚歎他的清淡。
調轉為太子中庶子、本州大中正，升為司徒左長史。吏部尚書袁粲告訴皇帝說：「臣看張緒有正始遺風，應該擔任宮中職務。」又轉為中庶子。後來做了侍中，調任吏部郎，參與掌管大選。元徽初年，東宮官員罷免，選曹打算讓舍人王儉為格外記室。張緒認為王儉人才地位都很美，應該轉為秘書丞。依從了他。張緒又調任侍中，曾經私下對客人說：「我一生不懂得惟諾應承。」有人把這話告訴給了袁粲、褚彥回，由此把他調出京城去做吳郡太守，而張緒起初並不知道。
升明二年(478)從祠部尚書轉為齊高帝太傅長史。建元元年(479)擔任中書令。張緒善於談玄，很被人敬重並覺得驚異。僕射王儉曾說：「張緒在過江南渡的人物中沒有能比的，在北方的士人中可以尋求。不知道漢代的陳仲弓、黃叔度是否能超過他？」
皇帝駕臨莊嚴寺聽僧達道人講《維摩》經，因為坐得太遠聽不到張緒說話，皇上不便讓張緒移動，便讓僧達道人遷移地點，以便接近他。當時皇帝想任用張緒為右僕射，問王儉的意見。王儉說：「張緒少年時候就有美好的聲望，確是很好的人選。南方士人向來很少擔任這一職務。」褚彥回說：「王儉的少年時代可能記不起來了，江東任用的陸玩、顧和，都是南方人。」王儉說：「晉朝政治衰落，不可作為楷模。」先前張緒的幾個兒子都是輕俠，中間的兒子張充少年時又不拘小節，王儉又一次進言，便放下了。
後來成立了國學，讓張緒擔任太常卿，兼國子祭酒；讓王延之代替張緒為中書令。何點讚歎說：「晉朝以子敬、季延擔任此職，現在以王延之、張緒擔當，可以說是清雅官職。以後接替的人，實在是不容易。」張緒長於《周易》，語言精闢，道理深奧，一時間被奉為宗法。他常常說：「何平叔不懂《易》中的七個問題。」
武帝即位，轉任吏部尚書，祭酒職務依舊。永明二年(484)，兼任南郡王師，加官給事中。三年，轉為太子詹事，王師、給事中職務依舊。張緒每次朝見，武帝目送著他，對王儉說：「張緒因為地位尊崇我，我因為道德珍視張緒。」調任散騎常侍、金紫光祿大夫，王師職依舊，配給親信二十人。又兼任中正。長沙王蕭晃囑托選用吳郡人聞人邕為州議曹，張緒因為他資格不當，堅持不答應。蕭晃寫信給張緒堅持請求，張緒嚴肅地對蕭晃的送信人說：「這是我身家所在的州鄉，殿下怎能強逼？」才算罷了。
張緒談吐風流，聽的人都忘記了飢餓和疲勞，見到的人態度肅然如同置身於宗廟。即使終日和他住在一起，也無法測度他。劉悛任職於益州，給武帝獻了幾棵蜀地的柳樹，枝條很長，形狀像是絲縷。當時舊宮芳林苑剛剛建成，武帝把它們種在太昌靈和殿前，常常玩賞嗟歎，說：「這些楊柳風流可愛，很像張緒當年的樣子。」他就是如此地受到賞愛。王儉擔任尚書令、丹陽尹，當時各位令史前來拜訪，有一個令史善於俯仰，舉止美觀。王儉對他十分欣賞和驚異，問他說：「曾經和誰共過事？」回答說：「十多歲時在張令門下。」王儉一直目送著他。當時尹丞殷存至在座，說：「這是康成的弟子。」
永明七年(489)，竟陵王蕭子良兼任國子祭酒，武帝給王晏下詔說：「我想讓司徒辭去祭酒把它授給張緒，眾人的議論以為怎樣？」蕭子良終於沒有上任，以張緒兼任國子祭酒。
張緒口不言利，有財物就分散掉。端坐清談，有時一整天也不吃飯。僕人們見張緒餓了，就為他備飯，然而他自己卻沒有要求過。
死了以後，沒有房宅殯殮，他遺囑「喪事不設柳謔做棺飾，只用蘆葭。喪車拉著靈柩，靈柩上放上一杯水和香火，不設祭品」。堂弟張融很尊敬張緒，侍奉他像親兄長一樣。抱著酒在張緒的靈前酌飲痛哭說：「阿兄風流忽然終止。」追贈為散騎常侍、特進、光祿大夫，謚號簡子。