江湛字徽深，守喪以孝順聞名。喜愛文義，善於彈棋鼓琴，兼明算術。擔任彭城王劉義康的司徒主簿、太子中舍人。司空檀道濟為他的兒子求娶江湛的妹妹，沒有答應，劉義康下了指示，又不聽從。當時的人們推重他的立有志向。劉義康興盛，人們都爭著自求交好，只有江湛自己疏遠，堅決要求外出，於是讓他做了武陵內史。隨王劉誕擔任北中郎將、南徐州刺史，以江湛為長史、南東海太守，把政治事務委託給他。
元嘉二十五年(448)，被征為侍中，讓他擔任機密工作。調任左衛將軍。當時更改選任學校官員，由太尉江夏王劉義恭兼任國子祭酒，江湛兼任博士。
轉任吏部尚書。他家裡十分貧寒，不經營財利，饋贈財物的人擠滿門檻，可是他一點也不接受。他沒有雙套衣服和多餘的糧食，曾經有一次被皇上召見，正遇上洗衣服，他便自稱有病挨了一兩天，衣服干了，然後才起身。有一次牛餓了，駕車人找他要草，江湛過了好大一陣才說：「可以讓它喝水。」在選錄人才的職位上，對他頗有考核苛嚴的譏諷，但他公平無私，不接受請客送禮，談論者因此對他非常稱讚。
起初，皇上大舉北侵，全朝廷的人都認為不可以這樣做，只有江湛贊成他。等魏太武帝到了瓜步，讓江湛兼任領軍，軍事處置，全部委任給他。魏朝派遣使者前來求婚，皇上召太子劉劭以下的人集中討論。眾人都說應該答應，江湛認為答應了沒有什麼益處。劉劭生氣地對江湛說：「現在三位王爺被困在那邊，怎麼能夠隨便地堅持異議。」聲色十分嚴厲。散會以後大家都出去了，劉劭讓自己的儀仗和隨從推擠他，差點摔倒。劉劭後來宴集，沒有邀請江湛，皇上便為劉劭的長子劉偉之代聘江湛的第三個女兒為婚，想以此來使他們和解。皇上即將廢除劉劭，讓江湛撰寫詔書的草稿。劉劭入宮殺害皇帝，江湛正在上省值勤，聽到叫聲便藏在旁邊的小屋裡。劉劭派人找他，捨中的官吏騙他們說「不在這裡」。兵士殺了捨中的官吏，才見到了江湛。江湛靠著窗戶被害，神色不屈。五個兒子江恁、江恕、江敬心、江孫心、江法壽都被殺死。起初，江湛家裡多次見到怪異現象，在尚未遇難的前不幾天，他所睡的床上忽然有幾斗血。孝武帝即位，追贈為左光祿大夫、開府儀同三司，謚號為忠簡公。