朱元璋於1328年出生在今安徽鳳陽的鍾離大平鄉孤莊村，父親本是給地主種田的佃客，他自幼家境不好，童年時給地主放過牛，後來在家鄉的寺院出家，做過四處流浪的遊方僧。當元末天下大亂，烽火連天之際，他為了自保，於1352(至正十二年)年投靠了濠州的起義軍，因在起義軍中表現出色而深受首領郭子興的賞識。
不久，郭子興乾脆招了朱元璋做女婿，從此昔日的放牛娃便改頭換目，成了軍中有身份、有地位的「朱公子」。
郭子興於1355年(至正十五年)死去。為了避免被別的割據勢力吞併，軍中大多數將領認為應該加強與白蓮教的聯繫，借北方紅巾軍的旗幟以為聲援。不過，他們只承認韓林兒、劉福通為名義上的領袖，這支軍隊基本上凡事皆自作主張。
朱元璋已升為和州元帥，成為獨當一面的將領。他在多年以後回憶起自己招兵買馬、努力擴充勢力的情況：「初起兵時，投靠我的士卒無論是一二十人，還是數百人，我都對他們親如兄弟，愛如骨肉，予以恩撫，無不盡心」，最終形成了一支凝聚力比較強的軍隊。其後，他與同道中人一起揮師渡江，佔據南京，在江南建立了地方政權。
郭子興的兒子郭天敘與小舅子張天祐在攻打南京時雙雙戰死，讓朱元璋一下子成了軍中眾望所歸的帶頭人。這時軍隊中的成員比較複雜，主要分為朱元璋嫡系、郭子興舊部與巢湖水軍三個派系，其中朱元璋嫡系部隊有二萬多人以上，最早的骨幹分子是徐達、湯和等淮西老鄉，後來陸續收編了馮國用、常遇春、胡大海等人作為親信。
郭子興的舊部屬為數不少，總共超過萬人，由宿將邵肆、邵榮統率。而「擁眾萬餘，船千艘」的巢湖水軍在渡江之前才歸附，這支以廖永安、廖永忠、俞通海為首的部隊為朱元璋征服水網密佈的江南提供的極大的便利。隨著根據地越來越大，各種徵兵的方法也層出不窮，部隊的編制自然也變得更多。朱元璋為了有效地把政權與軍權集於一身，不斷使用排除異己、重新調整人事關係與分配權力等手段，逐漸達到了目的。
朱元璋大權在握，便從嚴治軍，他講究號令統一，要求不同的部隊在戰時應該互相配合，做到「手足相衛、羽翼相蔽」，為了嚴明軍紀、令行禁止，他賞罰分明，對於有功者「雖憎必賞」;有罪者「雖愛必罰」。他認為兩軍相爭，殺敵主要靠士兵，而「兵不貴多而貴精」，「多而不精，徒累行陣」。
可是精兵的重要性又比不上良將，因為「任將非人，則兵必敗」，所以「兩軍之間決死生成敗之際，有精兵不如有良將。」為此，他對將領的選拔特別重視，強調必須「因材而受職」，最好是符合「有識、有謀、有仁、有勇」的標準。由此可知，他的軍隊名將輩出，絕非偶然。
自從紅巾軍起義的十多年來，元朝的主力一直集中於長江以北打大仗、拼消耗，這就給了江南群雄各顯身手之機。高瞻遠矚的朱元璋以南京為中心不斷向外圍擴張，他在驅逐元朝留守於各地的老弱殘兵時，任用了大量元朝的舊官吏與儒士，共圖大業。其中著名的有李善長、劉伯溫、朱升等人。他們採用「高築牆、廣積糧、緩稱王」等策略，派遣部隊開荒屯田，儲備糧食，發展經濟以養精蓄銳，逐漸成為南方一個舉足輕重的政權。
屹立於江南的朱元璋，其最危險的對手不是來自於元軍，而是陳友諒與張士誠這兩位起義群雄。陳友諒出身於一度在長江兩岸呼風喚雨的南方紅巾軍，他於1360年(至正二十年)五月在江州弒殺了首領徐壽輝，自立為帝，國號「漢」。此種篡權奪位的行為難以服眾，軍中將領不少紛紛離去，儘管如此，長期縱橫於湖廣、江西等地的陳友諒，其勢力決不容小覷。
而以販私鹽為業的張士誠於1353年(至正十三年)在高郵城下險勝「百萬」元軍之後，向江浙沿海地區發展，打下的地盤也頗為可觀，他在此期間出於養晦韜光的目的表面上接受了元朝的招安，但與蒙古貴族統治階級仍然是同床異夢。據說上述兩人在戰時都可以動員「數十萬」之眾，致使坐鎮南京的朱元璋陷入「左右樹敵」的不利狀態，因為他就夾在兩個對手中間—陳友諒在西邊，張士誠在東邊。
恰巧在此時，表面忠於元朝的軍閥察罕貼木兒攻克了北方紅巾軍的大本營汴梁，接著乘勝追擊，大舉南下山東、覬覦江南，大有「投鞭斷流」之勢。察罕貼木兒一旦南下，首當其衝的必然是名義上聽命於北方紅巾軍的朱元璋，而不可能是被朝廷招安的張士誠，更不可能是遠在長江上游的陳友諒。
俗話說：「英雄難敵四手」，更何況朱元璋位於南京這個四戰之地面對三個強敵，情況已經危險到了火燒眉毛的地步。誰知天無絕人之路，南下山東的察罕貼木兒突然被降將暗殺，此後元軍內訌，在北方混戰數載，無暇顧及其它。使得南方的朱元璋頓時解了燃眉之急，得以鬆一口氣，騰出手來逐一解決陳友諒與張士誠。
這位未來的開國皇帝不但在戰略上勝人一籌，而且看人的眼光很準，他正確地判斷「友諒志驕，士誠器小」—「志驕」者野心勃勃，喜歡惹事生非;而「器小」者則容易安於現狀，不思進取。
據此，他決定把陳友諒列為首先打擊的目標，事實也是這樣，當他西征陳友諒，與對手在鄱陽湖大戰時，保守的張士誠果然沒有出兵從東邊夾擊。一些歷史學家認為， 鄱陽湖大戰是朱元璋一生之中經歷的最險惡的一戰。此戰，他親自帶領二十萬水陸大軍沿著長江直上，開進鄱陽湖，與傾巢而出的號稱「六十萬」的陳友諒所部在湖中打了個你死我活。
朱元璋的戰船雖然比不上陳友諒所部可以乘載千人以上的戰艦，但憑著機動靈活的特點，採取了讓火器與冷兵器混合在一起輪流射擊的新戰術，戰時，先用火銃、火炮、燃燒性火器與弓弩等遠程兵器攻擊對方木製戰艦、盡量燒殺對方人員，再進行「接舷戰」，讓軍中壯士捨命登上對方的戰艦展開刺刀見紅的白刃戰，因而屢屢告捷。
鄱陽湖之戰斷斷續續地打了三十六天，終於以朱元璋獲勝而告終，此戰之後整個中國沒有一支艦隊能夠與之相媲美，無論是龜縮於浙東沿海的張士誠，還是早已衰落的元朝水師，都不敢攖其鋒。
假設朱元璋首先征伐的對像是張士誠，則東征之師極有可能會遭受到野心家陳友諒的乘機夾擊，後果必然不甚設想。實踐證明，朱元璋制定的先徵陳友諒、後徵張士誠的戰略是非常正確的。他解決了陳友諒、就輪到縮頭烏龜張士誠了。在1365年(至正二十五年)打響的消滅張士誠的戰爭中，最出鋒頭的不是水師，而是陸軍。由於張士誠盡量避免野戰，而把兵力用於守禦據點，所以，一系列的攻堅戰成了最大的亮點。
朱元璋軍隊連陷湖州、杭州等要地，於同年十一月殺向張士誠的老巢平江(今江蘇蘇州)。圍城的二十多萬部隊在城的周圍挖起了互相連接的長壕，築起了數不清的堡壘，並搭起了大批高達四丈、分成三層的敵台，每一層裡面都放置著弓弩與火器，日夜發射不停，對守軍進行火力壓制。
同時，還動用了數以千計的攻城器械，其中包括二千四百多門最先進的將軍筒(火炮的一種)、二百四十多具襄陽炮與二千四百多具七梢炮(襄陽炮、七梢炮都是拋石機)。淋漓滿目的重兵器把平江城轟了個千瘡百孔。第二年的九月八日，城被攻破了，在巷戰中，數萬困獸猶斗的殘兵敗將或死或傷，剩餘的與張士誠一齊成了俘虜。此役充分證明瞭朱元璋所部無可質疑的攻堅能力。
當陳友諒、張士誠這兩個最危險的對手被各個擊破之後，物產豐饒的江淮地方就成為了囊中之物，而北伐中原，問鼎天下的條件也成熟了。