常遇春是真正習武出身，「貌奇偉，勇力絕人，猿臂善射」(《明史·常遇春傳》)，只因家貧生計艱難，加之社會動盪，盜賊出沒，逼迫常遇春投靠綠林大盜劉聚。
劉聚攔路搶掠，入宅為盜，常遇春雖能吃肉喝酒，但這不是他想要的。他得另謀出路。
至正十五年(1355年)四月，常遇春遇上朱元璋率軍攻打和陽，見其視士卒如弟兄、部隊不害百姓，決定投奔朱元璋。
常遇春自請為前鋒，力戰克敵，自言能將十萬眾，橫行天下，軍中稱常十萬。當初，朱元璋還是以為是一個食客，幾仗下來，常遇春用實力說話，而且很仗義，讓朱元璋「益愛重遇春」。
常遇春是一個天生的先鋒大將，與元帥徐達相得益彰，各顯身手。「是時稱名將，必推達、遇春。兩人才勇相類，皆太祖所倚重。遇春剽疾敢深入。」(《明史·徐達傳》)
常遇春「雖不習書史，用兵輒與古合」。至正十九年七月，常遇春進兵攻衢州，一路殺將而來。衢州城垣，壁壘森嚴，固若金湯。常遇春率部從陸上、水上將六座城門團團圍住，又造呂公車、仙人橋、長木梯、懶龍爪等攻城軍械，「擁至城下，高與雲齊，欲階以登城」，又在大西門城下「穴地道攻之」。守城元將伯顏不花的斤憑借堅固的城垣，「以束葦灌油燒呂公車，駕千斤秤鉤懶龍爪，用長斧砍木梯，築夾城防穴道」，雙方交戰激烈，常遇春久攻不克。後來，常遇春以奇兵出其不意地突入，毀其所架之炮，攻圍甚急。元軍支持不住，遣使密約投降。
至正二十年五月，陳友諒率水軍數十萬直取應天，在龍灣登陸，常遇春奉命與馮勝率帳前五翼軍三萬人設伏、衝殺，陳友諒的漢軍死傷慘重，潰不成軍，大敗而逃。此戰，常遇春功勞最大，與平章邵榮、右丞徐達是朱元璋「所任將帥最著者」。
三年後，呂珍奉張士誠命，率軍突襲安豐，破城，殺死紅巾軍大將劉福通，佔據安豐。朱元璋率軍攻打安豐，呂珍掘溝樹柵，加固城防，水陸連營，做好作戰準備，朱元璋「左右軍皆敗」，而常遇春橫向衝擊吳軍方陣，「三戰三破之，俘獲士馬無算」。
陳友諒以號稱六十萬大軍傾巢來攻，在鄱陽湖與朱元璋軍血拼。常遇春奮勇當先，射傷陳友諒的驍將張定邊;又組織火攻，發揮小船優勢，把陳友諒的艦隊被燒得烈焰沖天，兵將損失過半，徹底覆滅陳友諒。
後來常遇春為副將軍，與徐達對張士誠作戰，順利制勝。平吳歸來，常遇春進中書平章軍國重事，封鄂國公。隨後，徐、常二人奉命帥軍北征，屢建奇功。元軍五萬擺陣在洛水之北，常遇春單騎突入敵陣，麾下壯士從之，勇猛衝殺，在洛水之北擊潰元軍，俘獲無算，「降梁王阿魯溫」，史稱塔兒灣大捷。
常遇春北征前，朱元璋囑咐：「當百萬眾，摧鋒陷堅，莫如副將軍。不慮不能戰，慮輕戰耳。身為大將，顧好與小校角，甚非所望也。」
洪武元年閏七月，徐達、常遇春率馬步舟師由臨清沿運河北上，連下德州、通州。元順帝攜后妃、太子等逃奔上都開平。八月二日，徐達、常遇春一舉攻佔大都，改為北平府。稍事休整，即又揮師西進，與精銳的擴廓帖木兒軍進行了艱苦的搏戰，平定山西、陝西。
元順帝乘明軍主力長驅晉、秦之機，命丞相也速率軍向北平反撲，兵鋒已抵通州。常遇春與李文忠率步卒八萬、騎士一萬馳救北平，元軍聞訊即向北逃奔，常遇春率軍追奔千里，大獲全勝。
為了覆其巢穴，最終解除元軍對北平的威脅，常遇春又率軍逕取元上都開平，俘獲以宗王慶生和平章鼎住為首的萬名留守元軍，繳獲車萬輛、馬三千匹、牛五萬頭。後來，朱元璋追封常遇春為開平王，意義在此。
清初史學家萬斯同的《明史稿》中說：「遇春沉鷙果敢，出則摧鋒，入則殿後，未嘗敗北。」後來，大學士張廷玉總裁的《明史·常遇春傳》也說：「遇春沉鷙果敢，善撫士卒，摧鋒陷陣，未嘗敗北。」
洪武二年七月七日，常遇春自開平班師南歸，行至柳河川，得暴病卒於軍中，年僅四十歲。朱元璋「聞之，大震悼，親出奠」，以親王發哀禮，賜葬鍾山之下。
朱元璋追封常遇春為翊運推誠宣德靖遠功臣、開府儀同三司、上柱國、太保、中書右丞相，追封開平王，謚曰忠武。「配享太廟，肖像功臣廟，位皆第二。」朱元璋令宮廷畫師為常遇春繪製身穿龍袍的全身像，五爪金龍，此袍只能是帝王專用。
此等殊榮該是當時頂級待遇，獨一無二。《明史》贊曰：「開平摧鋒陷陣，所向必克，其智勇不在中山下，而公忠謙遜，善持其功名，永為元勳之冠。身衣日月剖符錫土若王者，可謂極盛矣！」
洪武三年，朱元璋大封功臣，常遇春長子常茂因父蔭，受封鄭國公，與李善長、徐達、李文忠、馮勝、鄧愈同為開國六大國公，位列第三。洪武四年，朱元璋詔令皇太子朱標與常遇春長女常氏成婚，常氏被封為太子妃，更顯朱元璋對常遇春的懷念和對其家眷的厚待。