朱元璋出生在貧苦農民家庭，很小就給地主放牛。1344年，他家鄉安徽鳳陽一帶發生了嚴重的旱災、蟲災、瘟疫。朱元璋的「父母兄相繼死於旬日之內」。十七歲的朱元璋無依無靠，就到附近的皇覺寺當了和尚。不久，寺廟打發他以「化緣」為名去乞討。在三年的「遊方僧」生涯中，他走遍了安徽、河南許多地方。親眼看到元朝末年貪官污吏奪取民財，強佔民女。廣大農民被田賦、徭役盤剝得背井離鄉，死在路上。他憤然喊出：「官吏多不恤民，往往貪財好色，飲酒廢事，凡民疾苦，視之漠然，心實怒之。」因此，他立志反元、反腐。
朱元璋二十五歲棄僧從戎，投到以郭子興為頭領的反元部隊——紅巾軍中。
在郭子興部隊的基礎上，逐漸招募了很多農民，還通過招降、俘虜、規勸等方法，收編了許多元朝官軍和其他反元集團的人。他們大多是農民出身，受過元朝官、兵和豪紳欺壓，有反元的積極性，但農民意識嚴重，生活散漫，自私自利。這支部隊在郭子興死後由朱元璋率領，南征北戰，屢立戰功。許多將領和士兵就出現了居功自傲、違法亂紀現象。特別是來自元軍和其他反元集團的人，原來就紀律很差，歸順以後惡習未除，一有戰功，就有恃無恐，肆意橫行，強佔民財民田，霸佔民女，嗜酒妄殺。面對這種現象，朱元璋就把整軍當做反腐的當務之急，狠抓不怠。
元至正十五年(1355年)一月，朱元璋受郭子興之命初任「總兵」去增援和陽。先到和陽的是郭子興的內弟張天祐。張入和陽「暴橫多殺人」，把女人集中起來，準備帶回滁州。朱元璋趕到和陽，就嚴整軍紀，放歸女人，使家人團聚，「人民大悅」。以後，朱元璋取太平，據金陵，以至以後的一系列政治軍事活動中，無數次大整軍紀。
朱元璋治軍整軍的特點是狠抓將，繼抓兵。他派將出征以前，都告誡將士：征戰並非為「略地攻城」，重要的是「平禍亂以安民生」。「城下之日，勿奪民財，勿毀民居，勿廢農具，勿殺耕牛，勿掠人子女，有犯令者，處以軍法。縱之者，罰無赦。」朱元璋發現將領有問題，就嚴肅處理。他曾對徐達、常遇春等將領說：「聞爾等所畜家僮乃有恃勢驕姿，逾越禮法，此不可不治也。小人無忌，不早懲治之，他日或生釁隙，寧不為其所累？」朱元璋嚴誡諸將，將官也嚴管部下。
朱元璋治軍整軍的另一特點是「言到法隨」。取太平以前，朱元璋就令人寫好「戒戢軍士」的榜文，一入城，便將榜文張貼出去。有士卒欲行「剽掠」，一見榜文，「愕然不敢動」。有一名士兵違令而行，被斬首示眾。此後，全城「肅然」，「人心悅服」。朱元璋治軍的再一特點是賞罰嚴明。洪武三年(1370)大封功臣時，他對那些論戰功該封高一級爵位，因有違法亂紀行為的人，如湯和、趙庸等四人，封了低級爵位。而對那些不自私貪財，服從調遷的人，如李文忠、鄧愈二人，則封高級爵位。
正因為朱元璋嚴格治軍整軍，他的軍隊紀律嚴明。史載：取鎮江，「號令嚴肅，民不知有兵」。下婺州，「民皆按堵」。入南昌，「軍令肅然」。武昌降，「士卒無敢入城，市井晏然」。其後攻杭州、蘇州、大都等，都有類似的記載。開國以後，針對武將干預地方事務的作法，他下令：「民間詞訟，雖事涉軍務者，均歸有司申理，毋得干預」;「遇有造作，……其合用物料，並自官給，毋擅取予民。」不許軍人干預地方政務，不許軍隊直接向居民徵用器物，就有效地從源頭上避免了軍隊的腐敗現象。
在整飭軍紀的同時，朱元璋更加關注政府官員的反腐問題。隨著戰爭的節節勝利，逐步建立了各級地方政權，其官員多是留任的元朝官吏，腐敗惡習嚴重地沿襲著。朱元璋說：「元朝之所以失天下，就在其官吏貪得無厭，……然此風流傳至今，未有遏制，如螻蟻蠅蚋本性難移一樣，貪官污吏隨處皆是，不思悔改。」面對官吏「掌錢谷者盜錢谷，掌刑名者出入刑名」的腐敗現象，必須整飭政紀。