江淹字文通，濟陽郡考城縣人。小時候父親早逝，家境貧窮，很好學，內向不好交往。剛開始，任南徐州從事，不久任奉朝請。劉宋建平王劉景素喜歡有才的人，江淹跟隨他在南兗州。廣陵縣令郭彥文有罪，江淹受到牽連被關進監獄。江淹在監獄上書申說自己冤枉，劉景素看完上書後，當天就把他放了。不久舉為南徐州秀才，對策很好被評為優秀，任巴陵王國左常侍。
劉景素為荊州郡守，江淹隨行任鎮將。少帝即位後朝政昏亂，劉景素掌握大權，大家都勸他起兵反對朝廷。江淹總是勸諫說：「謠言招致災禍，這是管叔、蔡叔一同滅亡的原因；牴觸招來怨恨，七國諸侯王因此被殺。您不求國家的安危，聽信左右的計謀，就又會看到麋鹿霜露出現在姑蘇台上。」劉景素沒有採納他的建議。後來劉景素鎮守京口，江淹又任鎮軍參軍事、南東海郡丞。劉景素與幾位貼心的人日夜策劃謀反，江淹知道災禍將要發生，寫了十五首詩勸諫他。
剛巧東海郡太守陸澄遭父喪，江淹作為郡丞自認為應該代理郡守，劉景素則啟用了司馬柳世隆。江淹堅決請求，劉景素很氣憤，告訴選辟部，降江淹任建安郡吳興縣令。江淹任縣令三年。升明初年，齊帝輔佐政權，聽說江淹有才能，召為尚書駕部郎、驃騎參軍事。不久荊州刺史沈攸之起兵作亂，高帝問江淹：「天下這樣亂，你看怎麼辦？」江淹回答說：「過去項羽強，劉邦弱；袁紹人多，曹操人少；項羽曾分封諸侯，最後還是自殺受辱；袁紹曾統佔四州，最後還是敗將。這就說明『有德行就有天下』。您何必憂慮呢？」齊帝說：「聽到這種說法的人很多，你講詳細一點。」江淹說：「您勇敢又有奇謀，是必勝之一；寬容仁厚，必勝之二；賢能的人都為您盡力，必勝之三；人民的心都向著您，必勝之四；奉天子的命令討伐叛逆，必勝之五。沈攸之志向大器量小，必敗之一；有威權而無恩服，必敗之二；士卒無心作戰，必敗之三；官吏和紳士不喜歡，必敗之四；兵力分散在幾千里的戰線上，不能相互救助、共同克服困難，必敗之五。所以說即使有十萬叛兵，最終也會被我擒獲。」齊帝笑著說：「你說的過頭了。」當時軍隊戰書文告，都讓江淹起草。相國建立，補任記室參軍事。建元初，又任驃騎豫章王記室，兼東武縣令，參與草擬詔書冊令，並撰寫國史。不久升任中書侍郎。永明初年，遷為驃騎將軍，掌國史。出京任為建武將軍、廬陵內史。任職三年，回京為驍騎將軍，兼尚書左丞。不久以本官兼任國子博士。少帝初年在原任的基礎上兼任御史中丞。
當時明帝任丞相，對江淹說：「你過去在尚書台中，不是自己分內的事不隨便管，當官不太嚴也不太鬆很適度。現在任南司，一定能震動嚴肅百官。」江淹回答說：「現在只是例行公事，恐怕才小志短，不能勝任呵。」於是以長期有病不管帝王陵墓事宜罪，彈劾中書令謝月出、司徒左長史王繢、護軍長史庾弘遠。又上告前益州刺史劉悛、梁州刺吏陰智伯兩人私藏貨幣上萬，立即交給廷尉定罪。臨海太守沈昭略、永嘉太守庾曇隆，還有不少郡二千石官員及大縣的長官，大多被彈劾懲治，內廷外府都很恭敬。明帝對江淹說：「自劉宋以來，不再有嚴格清明的中丞，你可以算得上僅有的一個。」
明帝即帝位後，江淹任車騎臨海王長史。不久任廷尉卿，加封給事中。遷任冠軍將軍，加輔國將軍。出任宣城太守，將軍職位仍然保留。任郡守四年，回京城任黃門侍郎、領步兵校尉，不久又任秘書監。
永元年間，崔慧景發兵圍攻京城，官吏都去投靠他們，呈上自己的名片。江淹裝病在家沒有去。事情平息後，世人都信服他有先見之明。
東昏末年，江淹以秘書監的身份兼任衛尉，堅決請求辭官沒有得到同意，只好就任，並對人說：「這並不是我想當官，世人都知道，只是借我的空名而已。而且自然變化的時序和人世的事物，不久就會發生變化。孔子說：『有文事的人必定有武備。』事到臨頭再作打算，何必憂愁呢？」又任領軍王瑩的副手。待到義軍到新林，江淹穿著百姓的衣服來投靠，梁高祖提任他為冠軍將軍，仍任秘書監。不久兼任司徒左長史。中興元年(501)，遷任吏部尚書。中興二年(502)，轉任相國右長史，仍任冠軍將軍。天監元年(502)，任散騎常侍、左衛將軍，封為臨沮縣開國伯，食邑四百戶。江淹便對子弟說：「我本來是個無實權的官，不想富貴，如今這樣的官位，實在是有愧。平生總是說知足。人生只要快樂，何必求富貴呢。我功成名就，正想回到家裡過平常人的日子。」當年，因病任金紫光祿大夫，改封為醴陵侯。四年(505)江淹死，終年六十二歲。高祖穿素服致哀，贈錢三萬、布五十匹。
江淹年輕時因文章寫得好而出名，到晚年才思有所減退，當時人們都說他才思已用盡了。一生著述達百餘篇，自己將它們收集為前後兩集，還有《齊史》十志，均流行於世。