褚淵字彥回，是河南陽翟人。他的祖父叫褚秀之，在劉宋時代做過太常之官。他的父親是褚湛之，曾任驃騎將軍，和宋武帝女兒始安哀公主結婚。
褚淵少年時就很受世人稱譽，後來又娶了文帝女兒南郡獻公主為妻，姑侄二世相繼。褚淵官拜駙馬都尉，被任命為著作郎，太子舍人，太宰參軍，太子洗馬，秘書丞。褚湛之死後，褚淵把家財都讓給弟弟了，自己只留下數千卷書。襲爵被封為都鄉侯。歷官中書郎，司徒右長史，吏部郎。宋明帝即位後，加褚淵官太子屯騎校尉，褚淵沒接受。遷任侍中，知東宮事。轉任吏部尚書，不久領太子右衛率，堅決辭讓。司徒建安王劉休仁南討義嘉之賊時，兵駐鵲尾，朝廷派褚淵至軍中，選拔將帥以下軍官可以自行決定他們的勳階。事件平定後，褚淵被升為驍騎將軍。
薛安都投敵叛變並獻出了徐州城，敵虜頻頻寇掠淮、泗，朝廷派褚淵慰勞北討的眾軍。褚淵回來啟稟皇上說：「盱眙以西一帶，軍備單薄，應進一步充實。汝陰、荊亭都已被圍逼，安豐又已不保，壽春的兵力，只能自保，如果敵人派騎兵游擊，那麼江外形勢就很危迫了，故而歷陽、瓜步、鍾離、義陽都必須以實力重點防衛，選擇有才能幹練的軍官負責那裡。」皇帝在藩國為王時，就對褚淵的風標雅素很欣賞，關係很友善，後來即位做了皇帝，對褚淵格外寄以重望，他所建議的事皇上都採納。改封他為雩都縣伯，食邑五百戶。轉任侍中，領右衛將軍，不久又遷散騎常侍，丹陽尹。出任吳興太守，常侍仍舊，增加俸祿至一千石，褚淵堅決辭讓增加的俸祿。
宋明帝病重的時候，派使者疾馳召褚淵前來，委託後事。明帝打算誅殺建安王劉休仁，褚淵堅決諫止，明帝不聽。任命褚淵為吏部尚書，領常侍、衛尉仍舊，褚淵不受，於是任他為右僕射，衛尉仍舊。褚淵借口母親年紀大了而且有病，需要早晚奉養，堅決辭讓衛尉，皇帝不答應。
明帝駕崩，遺詔任褚淵為中書令、護軍將軍，加散騎常侍，和尚書令袁粲一起接受顧命，輔佐幼主。褚淵同心共理政務，當時正處在奢侈之後，褚淵特別強調儉約，老百姓都很仰賴他。對待賓客，從來不流露驕傲和厭倦。王道隆、阮細夫把持朝政時，公然進行奸贓賄賂等活動，褚淵也不能禁止他們。
庶母郭氏去世，褚淵喪事期間特動感情，數日之中毀頓得沒個人樣兒。將近一年不梳頭不洗臉，只有眼淚流過的地方才能顯露本來的面貌。皇上下詔要他斷哭，禁止前往憑弔。安葬完畢，起用為中軍將軍，本來的官職仍舊。
元徽二年(474)，桂陽王劉休范造反，褚淵與衛將軍袁粲進來保衛皇宮及中央機關，並穩定集中眾人的心理。褚淵當初在丹陽尹任上時，曾和從弟褚火召一起外出，路上碰到太祖(蕭道成)，褚淵舉手指著太祖對褚火召說：「此人可不是尋常之輩啊！」後出任吳興太守，太祖送東西來作告別，褚淵又對褚火召南齊書說：「此人才貌非常，將來不可估量啊！」明帝臨終召大臣顧命的時候，褚淵便把太祖也拉來參與了。
太祖平定桂陽王以後，被升任中領軍，領南兗州刺史，增食邑戶數。太祖堅決辭讓，並給褚淵和衛軍袁粲上書說：「下官只是個很平常的人，也沒什麼遠大抱負。跟著時運隨波逐流，現在的官職已很不應該，才輕任重，日夜不安。近來正值國家危急，大家都在努力奮戰，何況下官我，理應捨生忘死。衝鋒陷陣，對於報效國家說來那是極平常的事，而給的這麼大的榮譽、這麼高的職務和地位，實在讓我神魂震墜。下官我對待主上一片誠心，坦率自然，以前給我的榮譽和利益，我都沒推辭。至於現在的提拔，我的確特別不安。實在說我是在報答先帝的恩典執行他的指示，這關係到死去的帝王和在位的皇上，而且是為了防患於未然。況且這是宗親構禍，我這做臣下的也有責任，現在不僅不受到批評反而乘災求幸、借亂取斌，這實在是國家的恥辱，非人臣所能容忍的！而且榮譽不能濫用，寵幸不能白張，我請求免除我的封賞和提拔，以讓我再鼓勇力。效力於淮河前線。如果讓我去討伐匈奴，等我凱旋歸來的時候，再封我這樣的爵賞，我就不會推辭了。」褚淵、袁粲答覆說：「你的上書聰穎明亮，很讓人敬佩。你的謙讓是發自內心的，並沒什麼虛飾，這一番心意，長期以來已有顯著表現，更何況現在又一字一句地寫下來了呢。不過現在應該商量的，乃是什麼是輕什麼是重。目前世道艱難，正逢凋敝，天下擔憂，邊民不安，國家到處都要用錢，但國庫還很空虛。北方的敵人在侵擾邊境，真是憂危交加。天下之人，都在為國家擔心，更何況我們共負重要責任的人呢，你能否稍微不謙讓一點呢？從你的懷抱說來，這樣要求你是不合適的，已經知道不合適，按說就不應該固執下去。可是強寇窮凶，勢過燎原，內地的叛逆，發展迅速，這都是前所未聞的情勢嚴峻。因而時常恐懼應該考慮先定之計，你在新亭結構堡壘，枕戈待敵，這個決策，是有道理的。初戰告捷，就砍了敵主的首級，此舉出奇制勝。具有決定性意義。就是封你一萬戶，最高爵位，也不足報酬你的功勞，滿足群眾的呼聲。現在只給你晉陞中侯，你接受下來本是極平常的。當初收復濟、河，你的待遇並未提高，實際如果檢查一下你的級別，就知道這樣的待遇並不優厚，如果再打折扣，那就要影響朝廷的制度了。奉職數年來，我們一直同舟共濟親密無間，劉領軍峻節霜明，臨危不顧，音容形象如在昨日，轉眼之間已成古人，在這樣迷亂的時代失去這樣的同伴，真是連哭都來不及。現在軍情嚴重，常務倍急，你如果只顧成全自己的節操而推辭榮譽，那麼如此重任又交給誰呢？而且我們覺得由於對你有更重要的軍事交待，所以才應該為你增加封地，而我們也應為朝廷效力，即使是普通人的平時說話，也希望它確定可靠，更何況君王的命令，我們必須執行，容不得你猶豫徘徊。所有位居首要而功在眾先的人，他是該進還是該退，應該和大家一樣。如果你只想著犧牲榮利而求獨善，那麼我們又怎樣對待別人呢？只要你自問大公無私表裡如一就行了。非常希望你能理解目前的非常狀況，同意並接受我們的意見。」太祖於是接受了。
這一年，皇上給褚淵加官尚書令、侍中，配給班劍儀仗二十人，褚淵堅決辭讓了尚書令。元徽三年，晉爵為侯，增加食邑至千戶。服喪結束後，改授中書監，侍中、護軍等職仍舊，又配給鼓吹一部。次年，褚淵後嫡母吳郡公主去世，他又像上次那樣哀傷毀瘠。安葬後，皇上下詔要他著手職務，他堅決辭讓，又以年祭在即為由，請求解職，皇上都沒允許。
蒼梧王(劉昱)酷暴稍甚，太祖與褚淵和袁粲談論天下大事，袁粲說：「主上正處少年，有些小錯誤改起來也容易，伊尹霍光那樣(廢立君主)的事情，不是我們這個時代所適於做的，即使幹成了，我們最終也不會有好下場。」褚淵不說話，但心裡傾向太祖做皇帝。後來要廢蒼梧王，群公集議，袁粲、劉秉不接受安排，褚淵說：「除了蕭公(道成)沒有人能收拾局面。」手取詔書授予太祖，太祖說：「送給他他不要，我就不好推辭了！」事情於是定下來。順帝(劉准)立位後，褚淵改號衛將軍、開府儀同三司，侍中之職仍舊。配給甲仗五十人上殿。
沈攸之事件暴發，袁粲有二心，太祖召褚淵來商量，褚淵說：「西夏那邊鬧事，必然不成氣候，公(太祖蕭道成)應該先防備內部出事。」太祖便秘密作了防備。事件平定後，褚淵進位中書監、司空，本官仍舊。
齊王府建制開始時，褚淵援引何曾自魏司徒為晉丞相的先例，請求太祖讓他到齊王府任職，太祖謙虛而不答應。建元元年(479)，褚淵進位司徒，侍中、中書監等職務仍舊。被封為南康郡公，食邑三千戶。褚淵堅決辭讓司徒。他給僕射王儉寫信，想依照蔡謨的事例。王儉認為不宜說，勸褚淵接受下來，褚淵終究不就職。
褚淵儀表優美，舉止和善，一舉一動都很有風度。每到朝會的時候，文武百官和外國使者無不伸長了脖子觀看褚淵的舉動。宋明南齊書帝曾經感歎說：「褚淵能遲行緩步，就憑這就該做宰相了。」不久加褚淵官尚書令，其他本官仍舊。建元二年，重申上次任命，褚淵任司徒，他又堅決辭讓了。
這一年敵虜又有所活動，皇上想發動所有王公以下沒有官職的人員到軍隊去，褚淵諫止說這無益於實用，而且徒然造成擾動，皇上便作罷了。朝廷裡的機密大事，皇上常常要聽取褚淵的意見，而且經常採納他的建議，對他的禮遇甚為厚重，有一回皇上大宴群臣，酒後對群臣說：「你們大家都是宋時的公卿，也沒有人認為我應該做皇帝吧？」王儉等人還來不及回答，褚淵手持笏板說：「陛下不能說我們沒有早識龍顏。」皇上大笑道：「我有愧於文叔，早就知道你是朱祜了。」
褚淵淵博健談，又善彈琵琶。世祖做太子時，曾賜給他金鏤柄銀柱琵琶。他的性情和雅而有氣度，不妄舉妄動，家宅曾有一次失火，煙火都逼近了，周圍的人一片驚慌騷動，褚淵卻神色怡然，叫人把輿找來徐徐離去。輕薄之輩很是譏誚他的名節，由於褚淵眼珠白的部分多些，他們便說他是「白虹貫日」，意思是說這便是宋朝亡國的徵兆。
太祖駕崩，在遺詔中任命褚淵錄尚書事。東晉以來，尚書沒有單獨拜錄的先例，有關部門懷疑考慮要立優策。尚書王儉討論時說；「現居本官，另外拜錄，按理應該有策書才是，但這樣的情況又不見記載。中朝以來，三公王侯的封任，都是優文與策書並設的，官品第二，則只策不優。優文只是褒美，而策書還兼有表彰委任寄托的意思。尚書之職居於大官，是政治教化的根本，所以尚書令雖然只是三品，但拜官必有策書。錄尚書雖不明確品位待遇的級別，但總理之任尤其重大，前代大多是與本官同拜，所以不另立策書。根據即事緣情適時變革的原則，此事有能和一般官僚的任命同樣對待，應該有策書，以表明寄托和隆重。既然和王侯不同，也就不必要優文了。」
不久褚淵生病了，皇上觀察星象認為將連續發生變故，褚淵很擔憂，便上表要求退下來。又通過王儉和侍中王晏口頭請求世祖，世祖不批准。褚淵又上啟道：「臣下我資質凡薄，福過災生，沒能保持正情以獲安寧，很是慚愧。而我是忠心耿耿的，就更覺得不能拖延時間了。我受職不久，頭一年就患了重病，近來更是多次出現危險，更加憂慮震驚。陛下總是格外地挽留愛護我，有人說是有關人員議論未定，這都是因為您對我過分的慈愛並想讓我更加榮耀。我已經四十八歲了，蒙受如此待遇，因為生病而要求退休，這有什麼可驚奇的呢？況且總錄尚書這個職位，東晉以來就很少任命，是國家重要的高層中樞。如今我接受的時候不曾推辭，而退休下來也是自願，這對於我的名譽地位也沒什麼影響，這也是人所共知的事情，陛下何足為這點事情勞神費心呢？我如果是為了故意謙虛掩飾而賺取廉潔退讓的名聲，那麼就應該受到監察部門的揭露和法律部門的制裁。我的一片赤誠之心不能落實，這也是神鬼不來寬宥我的原因吧。區區寸心，現在都照實稟告了。我知道光陰寶貴，更希望天下大治遠過於堯舜時代。當年王弘堅決請求，才從司徒降為衛將軍，劉宋王朝行之為疑，當時也沒什麼好的反映，拿我與他比較，就更不持齒了。我只盼望陛下宏圖大展，王業發達，這樣雖死在九泉，也如同活在人間了。」於是改任褚淵為司空，領驃騎將軍，侍中、錄尚書仍舊。
皇上派侍中王晏、黃門郎王秀之來問候褚淵的病情。褚淵死後，家中沒有多餘的錢財，負債至數十萬。皇上下詔說：「司徒(褚淵)一旦去世，令我悲痛不已，近來雖然瘦弱多病，但我仍然堅持出來臨哭。賜給他東園秘器，朝服一具，衣一襲，錢二十萬，布二百匹，蠟二百斤。」
當時司空的下屬們考慮到褚淵並沒上任司空，提出是否應該以其下屬的禮節行禮敬？王儉在議論中說：「按照《禮》的要求，新媳婦雖在路上還沒過門，只要聽到丈夫家有喪事，也應改換服裝來到家中。如今下屬們雖然還沒接受他的領導，而為吏的禮節是服從朝廷的要求的，應該表示禮敬。」司徒府吏又考慮到褚淵已經解職，但繼任的司徒還沒上任，那麼司徒府人員是否應該制服致哀呢？王儉又議論說：「中朝士孫德明從樂陵遷任陳留，還沒入境就死了，樂陵郡的屬吏是把他作為現君的資格來穿著喪服的，而陳留的迎吏則依女有吉日之禮行齊喪之吊的，所以司徒府應當依照褚淵還在任的禮儀要求製作哀服。」
皇上又下詔說：「褒揚美德是為了引導民眾，慎重終喪是為了體現恩情。以前帝王們的有關盛典，都是從這種精神出發的。已故侍中、司徒、錄尚書事、新授司空、領驃騎將軍、南康公褚淵，履道秉哲，鑒識弘曠。當初青少年時代，就清譽遠揚了。後來參加朝廷工作，又深受人們的敬仰。他的孝友忠貞天下共知。他曾輔佐先朝，經倫王化，聚散坎坷，終前始後，他都參與了大政方針的制定。他領導中樞機構之後，作風嚴謹，完全可以和古人比美，並且可作後人的楷模。而且為人謙遜，多次請求降職，勉強服從了安排，因此勞損了身體。南齊書正要登上高位、長期翼贊君主的政治教化，豈料天命不延，忽焉世逝，朕為此心情震慟。特贈褚淵太宰，侍中、錄尚書、公等仍舊。配給符節，加羽葆鼓吹，增班劍儀仗為六十人。葬送之禮全都比照宋太保王弘的先例來辦理。謚號為『文簡』」。在此之前，庶姓三公的喪車，沒有明確的規格。王儉議論說官品第一的，都加以幢絡，這是從褚淵開始的。又下詔暫時開啟褚淵妻已故宋巴西公主的墓道，並贈她為南康郡公夫人。