徐湛之字孝源，東海郯人。司徒徐羨之哥哥的孫子，吳郡太守徐佩之弟弟的兒子。祖父徐欽之，秘書監；父親徐達之，娶的是高祖的長女永興公主，任振武將軍、彭城、沛兩郡太守。高祖兒子們還年幼，因與達之有姻親關係，要重用他，就想讓他先立功。高祖討伐司馬休之時，讓他統領軍隊作前鋒，給他配備了強兵利器；勝利了的話，就將荊州封給他。司馬休之派魯宗之的兒子魯軌打敗了徐達之，達之自己也在戰鬥中被殺。高祖追贈他為中書侍郎。
湛之幼年時便成了孤兒，深得高祖寵愛，常和江夏王劉義恭呆在高祖身邊，寢食不離。永初三年(422)，高祖下詔：「永興公主是我的嫡親長女，早年遭遇不幸。外孫湛之，尤為我寵愛，可封他為枝江縣侯，食邑五百戶。」幾年後，一次他和弟弟徐淳之一起坐車，牛受驚，車子遇險，下人飛奔前來救他們，湛之讓人們先救弟弟下車，眾人都驚歎他年紀雖小卻有識見。湛之長大後，十分喜歡鑽研文義。侍奉祖母、母親以孝敬聞名。
元嘉二年(425)，他被任命為著作佐郎，員外散騎侍郎，他未接受。元嘉六年(429)，開始修建東宮，他始任補太子洗馬，轉任國子博士，後任奮威將軍，南彭城、沛二郡太守，又調黃門侍郎。因祖母年老，辭去官職。又被授予二郡太守，加輔國將軍，調秘書監，領右軍將軍，轉任侍中，加驍騎將軍。又任秘書監，加散騎常侍，驍騎將軍職位不變。
會稽公主是高祖的嫡長女兒，被太祖敬重禮遇，家事無論大小，一定先徵求她的意見再實行。太祖西征謝晦時，讓公主留守京城，統管六宮之事。公主稍有不如意就號哭，太祖十分懼怕她。當初高祖沒有富貴時非常貧窮，曾親自在新洲砍荻草，有打補丁的衣裳都是敬皇后親手縫製的。高祖顯貴後將一件補丁衣裳交給公主說：「後代子孫如果驕縱奢侈而無節制，可將它拿給他們看。」湛之被大將軍彭城王義康寵幸，並和劉湛等人十分投合。到劉湛犯罪時，事情牽連到湛之，太祖大怒，要處之以極刑。湛之既擔憂又害怕沒有法子，只有去求母親。公主當日就進宮，見了太祖後，也不對太祖行禮，只大聲哭鬧。她用一錦袋裝著高祖的補丁衣裳，將衣裳擲在地上給太祖看，並說：「你們家本來貧窮低賤，這是我母親為你父親縫的衣裳。如今有一頓飽飯就要殺我的兒子啊！」太祖也哭起來，湛之因之得以保全性命。調任中護軍未接受，又調任太子詹事，不久又加侍中。
湛之擅長寫公文，文辭順達，音節流暢。作為皇親國戚富豪之家，其家業非常龐大厚實。樓台園林，貴族中無人趕得上他。他府裡歌伎美妙，冠絕當時。有門生一千多人，都是三吳富家子弟，個個氣質端莊美麗，服飾華美。每當他出行，門生隨從擠滿了道路。碰到雨天，道路泥濘，則全乘車子。太祖嫌他太奢侈放縱，常常勸說他。當時無忌的兒子安成公何勖、孟昶的兒子臨汝公孟靈休，兩個都奢侈豪華，與徐湛之一同以餚膳、器服、車馬的享樂著名。京城百姓稱：「安成的飲食，臨汝的服飾。」湛之則兼有何孟兩家的豪奢，何勖官至侍中，死後謚荒公，靈休擅長彈琴下棋，官至秘書監。
湛之任冠軍將軍、丹陽尹，又封為征虜將軍，加散騎常侍，因為服公主喪，未接受。葬禮過後，又被授予前面的官職，他上表堅決辭謝，又到廷尉那裡去請罪，皇上詔令獄官不得接受，這之後他接受了任命。他堅決辭謝常侍，皇上允許了。元嘉二十二年(445)，范曄等人謀反，湛之開始與他一夥，後來揭發了他們的事，但說的事都不徹底，被范曄等人牽連，他就到廷尉那裡認罪，皇上撫慰他並讓他回去了。
元嘉二十四年(447)，湛之服完公主喪後，轉任中書令，領太子詹事。出朝任前軍將軍、南兗州刺史，湛之非常善於治理，恩威並用。廣陵城後有一高樓，湛之將之修繕一新，向南遠眺鍾山，城北有河流，物產豐富，風光迷人，湛之又在河畔修起風亭、月觀、吹台、琴室，其間果竹繁茂，花草成行。他在那兒招集文士，極盡游賞之樂，成為當時的盛事。當時有一和尚叫作惠休，很會寫文章，辭采綺艷，湛之和他交情深厚。世祖命惠休還俗，他本姓湯，官揚州從事史。元嘉二十六年(449)，湛之又任丹陽尹，領太子詹事，將軍不變。元嘉二十七年(450)，索虜南侵至瓜步，湛之率軍保護京城，與皇太子一道守衛石頭城。二十八年(451)春，魯爽兄弟率部下歸順宋，魯爽是魯軌的兒子。湛之為了國家的長遠利益，特加獎勵接納魯爽等人，沒有任性申明自己的私怨。他乞求退居鄉村，沒被批准。
轉任尚書僕射，領護軍將軍。當時尚書令何尚之認為湛之是國戚，深得皇上恩寵，就想把朝政都推給他，一切上書上訴全不處理，湛之也根據《職官記》以及有關法令認為：尚書令掌管朝廷內外事務，總攬全局，如果尚書令空缺，政事才歸僕射負責。因而他也將政務推給尚之，兩相互相推委。御史中丞袁淑上奏要求將二人一起免去官職。皇帝下詔：「尚書令、僕射是具體處理朝政的，兩人不共同努力各司其職卻相互推委，應該糾正。但是因為前朝的朝政比較混亂錯謬才導致如今的問題，破例不予追究，應詳加匡正。」於是就讓湛之和尚之共同受理下面的上書。尚之雖然是尚書令，但朝政仍全歸湛之處理。先前，劉湛被誅殺，殷景仁死去，太祖委任沈演之、庾炳之、范曄等人，後來又有江湛、何禹之，范曄被殺後，炳之免官，演之、禹之皆去世。到這時江湛任吏部尚書和湛之共處權要之位，世稱「江徐」。
皇上有病，湛之就入宮侍候醫藥。二凶巫蠱的事情暴露後，皇上想廢棄劭，賜浚死。而世祖不為皇上寵愛，所以屢次出使外藩，不能住在京城。南平王鑠、建平王宏同被皇上寵愛，鑠的妃子就是江湛的妹妹，就勸皇上立鑠為太子。元嘉末年，皇帝將鑠從壽陽召回京城，來了後又改變主意，想立宏為太子，但又嫌宏不夠次序，所以議論許久卻難以定下來。皇上和湛之除去旁人共同議事，有時通宵達旦。皇上常在夜裡讓湛之拿著蠟燭，繞著房外牆壁的護衛，擔心有人竊聽。劭入宮殺君之日，皇上和湛之兩人頭天晚上就在房內單獨談話，直到早上還未熄燈。湛之聽到響聲驚起走到北門，還沒有來得及開門就被殺害，時年四十四歲。世祖即皇位後追贈他為司空，加封散騎常侍，原官職不變，謚號為忠烈公。又下詔：「徐羨之、江湛、王僧綽三家遭禍害荼炭，遺孤流落在外，思念他們的過去，心情異常沉痛。可以讓他們的子孫回到他們原先的住處，厚加撫恤。」從此這三家長期接受國家的供給。
湛之有三個兒子：聿之、謙之被元兇殺害，恆之繼承父親的封侯，娶了太祖第十五女南陽公主，早亡，無子。聿之的兒子孝嗣繼承封號。