江總字總持，七歲而成為孤兒，住在他的外公家。幼年聰明敏捷，具有淳厚的性情。大舅吳平侯蕭勱在當時名氣很大，對他特別鍾愛，對他說：「你神采英拔，以後出名，當會在我以上。」
長大後，刻苦學習，富有文采。在梁朝做官擔任尚書殿中郎。武帝撰寫《正言》剛完，作《述懷詩》，江總參與了此詩的寫作。皇帝看了江總的詩，深表讚賞。轉任侍郎。尚書僕射范陽人張纘、度支尚書琅笽人王筠、都官尚書南陽人劉之遴都是高才博學，江總當時年少有名，張纘等對他非常推重，成為忘年朋友。劉之遴曾經寫詩酬答江總，對他深深推尊。
逐步陞遷為太子中舍人。侯景賊兵侵犯建鄴，詔令由江總臨時兼任太常卿，守衛小廟。台城淪陷以後，在會稽郡避難，在龍華寺休息，於是寫成《修心賦》。江總的第九舅蕭勃先佔據了廣州，他又從會稽前去歸依。後來元帝平了侯景，征他為始興內史。正趕上魏朝攻陷了江陵，沒有成行，從此流寓嶺南多年。
陳朝天嘉四年(563)，被征還擔任中書侍郎。逐步升任左戶尚書，轉任太子詹事。江總性格寬和溫存，尤其擅長五言七言詩，流於浮靡。後來成為宮中幕僚，和太子進行長夜的宴飲，收養了太子的良娣為女兒，太子屢次換上便裝到江總家裡去，宣帝發怒而免去了他的職務。後來又歷任侍中、左戶尚書。
後主即位，歷任吏部、尚書僕射、尚書令，加賜扶持人。當權任補相以後，不主持政務，只是日夜與後主在後庭中游宴，寫了很多艷詩，喜歡的人相傳諷誦玩賞，至今不絕。只是與陳暄、孔范、王誾等十幾人交好，當時稱他們為狎客。由此國政日益衰頹，綱紀不能樹立，有提出不同意見的，便定為罪名加以貶斥，君臣昏亂，以致滅亡。
禎明三年(589)，陳朝滅亡，入了隋朝，封為上開府。開皇十四年(594)，死在江都，年齡七十六歲。他寫的《自序》中說：「太建時期(569～582)，權力移到了一群小人的手中，諂媚嫉妒，大肆作威，屢次遭到打擊罷免，有什麼辦法呢，這是命運。」有識者譏笑他的言行乖謬。著有文集三十卷。