張緒字思曼，是吳郡吳縣人。其祖張茂度，曾任會稽太守。其父張寅，官為太子中舍人。
張緒少年時就很知名了。他心性清簡寡慾，他的叔父張鏡對人說：「這孩子，便是當今的樂廣哩。」
州里聘請張緒為議曹從事，後推舉他為秀才。他便被任命為建平王護軍主簿，右軍法曹行參軍，司空主簿，撫軍、南中郎二府功曹，尚書倉部郎等職務。都令史來詢問郡縣米事，張緒蕭然直視，不曾放在心上。後被授予巴陵王文學，太子洗馬，北中郎參軍，太子中舍人，本郡中正，車騎從事中郎，中書郎，州治中，黃門郎等職務。
宋明帝每次看到張緒，都要稱歎他的性情清淡。轉任張緒為太子中庶子，本州大中正，遷任司徒左長史。吏部尚書袁粲對皇上說：「我看張緒為人有正始之風，適合擔任宮廷職務。」於是又讓張緒任中庶子，領翊軍校尉，轉任散騎常侍，領長水校尉，不久兼職侍中，遷任吏部郎，參予領導朝廷選拔官員的工作。元徽初年，取消東宮官員編制，有關用人部門擬讓舍人王儉任格外記室，張緒考慮到王儉人品和家庭環境都很出色，建議應當讓他做秘書丞，皇上同意了。張緒遷官侍中，郎官仍舊。
張緒對榮名利祿從不放在心上，朝野人士一致推重他的風度。他曾和客人閒聊，說到一生不懂得應承人。當時正是袁粲、褚淵把持朝政，有人把張緒的話報告給了他們，於是張緒很快就被派出去做吳郡太守，當時張緒還不知道是這個原因。後來張緒遷任祠部尚書，又領中正，遷任太常，加散騎常侍，不久又領始安王師。升明二年，遷任太祖(蕭道成)的太傅長史，加征虜將軍。
齊王府設立建置時，張緒轉任散騎常侍、世子詹事。建元元年，轉任中書令，常侍仍舊。張緒善於談吐，素望甚重。太祖對他特別予以敬禮。僕射王儉對人說：「在北方士人中尋覓張緒這樣的人，過了江是找不著的。不知陳仲弓、黃叔度能否和他相比美？」皇上到莊嚴寺聽僧達道人講經，由於張緒的座位較遠，皇上聽不到張緒說話，又不便移動張緒，便給僧達換地方使自己接近張緒。
不久，加張緒驍騎將軍。皇上打算讓張緒任右僕射，徵求王儉的意見，王儉說：「南方士人很少有任此職的。」當時褚淵在座，便啟稟皇上說：「王儉還年輕，有些先例恐怕一下子還想不起來。東晉時的陸玩、顧和，都是南方士人。」王儉說：「東晉是衰敗政治，不能用作準則。」皇上便作罷。建元四年，國子學校剛剛建立，便任命張緒為太常卿，領國子祭酒，常侍、中正等職仍舊。張緒遷官之後，皇上便讓王延之來代替張緒做中書令，當時人都認為這個人選很合適，像晉朝任用王子敬、王季琰一樣。
張緒對《周易》很有研究，因此他總是言精理深，被當時人所崇仰。他經常說何平叔所不明白的《易》中的七個問題，其中之一就是各卦中所包含的時義。
世祖(蕭賾)做皇帝後，張緒轉任吏部尚書，祭酒之職仍舊。永明元年(483)，遷官金紫光祿大夫，領太常。次年，領任南郡王師、加官南齊書給事中，太常之職仍舊。永明三年，轉任太子詹事，師、給事等職仍舊。張緒每次朝見，世祖都要目送他老遠。對王儉說：「張緒是根據地位而尊敬我的，我是根據德行而顯貴他的呢。」後來又遷任張緒為散騎常侍，金紫光祿大夫、師等職仍舊。又配給他親信二十人。又讓他領任中正。長沙王蕭晃示意他選用吳興聞人邕為州議曹，張緒認為他資歷不合適，堅持不同意。蕭晃派書佐到張緒那裡堅持要用聞人邕，張緒便表情嚴正地說：「這裡是我的家鄉州郡，殿下怎麼可以這樣逼迫我！」永明七年，竟陵王蕭子良領任國子祭酒，世祖下敕給王晏說：「我打算讓司徒辭去祭酒給張緒來擔任，外面有什麼議論？」蕭子良到底沒有接受此職。張緒便任國子祭酒，光祿、師、中正等職務仍舊。
張緒從來不談利祿問題，一有錢財就散給他人。往往是清言端坐，有時一天都不吃飯，門生們看張緒餓了，就給他準備膳食，但他從來不要求。去世時六十八歲。遺囑只要求用蘆葭作喪車，靈上放一杯水一柱香火，不設祭奠。從弟張融敬重張緒，拿他當親兄一樣看待，這時拿了酒來到張緒靈前酌飲，慟哭道：「阿兄風流頓盡！」朝廷追贈張緒為散騎常侍、特進、金紫光祿大夫。謚號為「簡子」。
本史作者認為：王僧虔有大音希聲的氣量，又兼長藝術。能夠警戒驕盈保守滿足，委屈自己以求安全，和諸公相比照，的確是和平時期的良相。張緒衿懷充實氣質清潔，風範自然，是官員們的模範，在朝廷和民眾中受到普遍的敬重和欽仰。像張緒這般風流人物，難道不應該稱為名臣麼！
贊語：簡穆有長者之德，他的節義廣大寬闊。他對聲律草隸無不精通，還能把中央工作治理得井井有條。思曼性情廉潔閑靜，彷彿和世俗無關。對《周易》潛心鑽研，他的才情真是清澹。