江淹字文通，濟陽考城人，父親江康之，作過南沙縣令，很有才氣。江淹從小喪父，家境貧寒，常仰慕司馬相如、梁鴻的為人，不屑於從事經學訓詁，而傾心於詩賦文章。早年被高平檀超賞識，常請他坐上席，厚加禮遇。
初次作官為南徐州從事，又轉任奉朝請。宋朝建平王劉景素愛結納士人，江淹在南兗州跟隨景素。廣陵縣令郭彥文被治罪，供詞牽連到江淹，說他曾經受賄，江淹被下獄。他在獄中給劉景素上書申辯。景素見到書信，當天就把他放了出來。不久被舉為南徐州秀才，在朝廷對策時列為上等，又改任建平王府主簿。
景素作荊州刺史，江淹跟隨他到任所。宋少帝即位，不行德政，景素佔據專斷長江上游，很多人都勸他就此起事。江淹卻每每勸止，景素不聽他的勸告。等景素鎮守京口，江淹作鎮軍參軍，兼任南東海郡丞。景素與他的心腹謀劃叛亂，江淹知道禍事要到，於是向景素贈詩十五首婉言勸戒。趕上東海太宗陸澄因父母喪守孝離職，江淹認為自己是郡丞理應代理太守，而景素任命了柳世隆，江淹一再要求這職位，景素大怒，上報吏部，貶江淹為建安吳興縣令。
等齊高帝蕭道成輔政，聽說他有才華，召他為尚書駕部郎、驃騎參軍事。不久荊州刺史沈攸之作亂，齊高帝問江淹說：「天下這樣亂紛紛的，先生認為會怎麼樣呢？」江淹回答說：「從前項羽強而劉邦弱，袁紹眾而曹操寡，然而項羽最終受殺身之辱，袁紹結果成敗亡之徒，這就是所謂『在仁德不在權位』，明公有什麼可疑慮的呢？」高帝說：「請試著給我分析一下。」江淹說：「明公英雄威重又有奇謀，是勝兆之一；寬容仁愛，是勝兆之二；賢臣肯為你盡力，是勝兆之三；眾望所歸，是勝兆之四；奉天子而伐叛逆，是勝兆之五。對方野心大而才具小，是敗象之一；有威嚴無恩德，是敗象之二；士卒人心渙散，是敗象之三；官宦不歸心，是敗象之四；孤軍出征千里之外，而沒有同黨相助，是敗象之五。那麼雖然他有十萬大兵，也終究要被我們消滅。」高帝笑著說：「先生說的過頭了。」
桂陽王劉休范之亂，朝內恐慌，詔書檄文很長時間竟無人來寫。齊高帝引薦江淹入中書省，先賞賜酒飯，江淹平時能吃能喝，一隻烤鵝快要吃光，酒也喝了好幾升，吃飯的功夫，文告也寫完了。齊高帝晉位宰相，補他為記室參軍，齊高帝辭讓九錫及各種章表，都出自江淹之手。齊受禪代宋，江淹又任驃騎將軍豫章王蕭嶷的記室參軍。
建元二年(480)，才設置史官，江淹和司徒左長史檀超共同擔任這個職務，他所訂立的條例，都被王儉駁回，寫成的東西也沒能在世上流行。江淹縱情於詩賦，對於著書立說並不在意，所撰寫的十三篇史書居然沒有次序。又兼東武縣令，參與掌管詔令文書。後來拜中書侍郎，王儉曾對他說：「你三十五歲，已作了中書侍郎，有這樣的才學，何愁作不到尚書三公。這正是所謂富貴你自然能取得，只是看壽限有多少了。」江淹說：「不料明公這樣看重我。」
永明三年(485)，江淹兼任尚書左丞。當時襄陽有人挖開古墓，挖出玉鏡和竹簡古書，字已經不認識了。王僧虔善於識別各種文字，卻也看不明白，只是說像是蝌蚪文字。江淹以蝌蚪文字來推究，認為是周宣王以前的東西，而竹簡幾乎和新的一樣。
齊少帝初年，江淹兼任御史中丞。齊明帝當時作丞相，對江淹說：「先生從前在尚書省，除了干公務從不輕舉妄動，在任上可謂剛柔相濟。如今作監察官，一定完全能夠整頓百官啊。」江淹回答說：「如今的事，只能說在其位謀其政罷了，恐怕還不能盡如您的旨意。」後來彈劾中書令謝月出、司徒左長史王績、護軍長史庾弘遠，都因為他們托病不參加祭先帝陵墓。又奏請逮捕前益州刺史劉悛、梁州刺史陰智伯，都是貪贓巨萬，全抓捕交付廷尉。臨海太守沈昭略、永嘉太守庾曇隆以及各郡太守和大縣縣長，多被彈劾，一時朝廷內外規矩多了。明帝對江淹說：「自宋代以來，再沒有過嚴明的御史中丞，先生如今可算是近世獨一無二的了。」
歷任秘書監、侍中、衛尉卿。當初，江淹十三歲時，父喪家貧，常打柴養活母親，曾在打柴處撿到一頂高官所戴的貂尾蟬羽冠，想把它賣了養母。他母親說：「這是上天故意給你吉祥之兆，你這樣的才幹品行，怎麼會長久貧賤呢，可留著等當了侍中自己戴吧。」到這會兒果然應了母親的話。
永元年間，崔慧景起兵造反包圍京都，官僚士紳都去送名片，江淹卻稱病不去。等平定了崔慧景，人們都佩服他有先見之明。
東昏侯末年，江淹以秘書監身份兼任衛尉，又作領軍王瑩的副手。梁武帝起兵伐東昏侯到新林時，江淹換便服前去投奔，任相國右長史之職。天監元年(502)，任散騎常侍、左衛將軍，封臨沮縣伯。江淹這時對子弟們說：「我本來就是無實權的閒官，並不圖富貴，如今慚愧充任官職，已達到今天的地步。平生我常說的作人應該滿足的事情，也都有了。人生隨時都可行樂，何須非等到富貴之時。我已經功成名就，只打算歸隱鄉里了。」因有病澳任位高職閒的金紫光祿大夫，並改封醴陵伯，後去世。武帝為他穿白衣以示哀悼，謚為「憲」。
江淹年少時以文辭揚名，到晚年才氣稍減，據他自己說是作宣城太守罷官回家時，曾停泊在禪靈寺附近的河洲邊，夜裡夢見一個人自稱是張景陽，對他說：「從前把一匹錦寄放在你這兒，現在請還給我。」江淹就從懷裡掏出幾尺還給他，這人大怒說：「怎麼能裁剩下這麼一點兒！」回頭看見丘遲說：「剩下這幾尺既然沒有什麼用了，送給你吧。」從那以後江淹的文章就一蹶不振。又說曾在冶亭投宿，夢見一男子自稱郭璞，對江淹說：「我有一枝筆在你這兒放了多年，請還給我。」江淹從懷裡摸出一枝五彩筆遞給了他。以後再寫詩完全寫不出好句子了。當世人說他已經才盡。他所有的著作，自己編為前後集，和《齊史》十志合在一起，一同在世上流行。曾打算寫《赤縣經》以補《山海經》的缺失，到底沒能寫成。