朱元璋即位之後開始大殺功臣，洪武十三年朱元璋開始對宰相胡惟庸的下手，而當時之事，胡惟庸確有謀逆之心，論理該殺，同誅者也不過陳寧等幾個大臣。所謂「胡黨」大獄，則是十年之後的事情，族誅三萬多人。
胡惟庸陰險，用重利引誘徐達的門人想讓他上告徐達謀反，結果門子反把胡惟庸托出，只不過朱皇帝當時沒深究而已。胡惟庸又以為劉基治病為名，派醫生攜慢性毒藥治死了劉基，劉基一死，胡惟庸更加肆無忌憚。
由於胡惟庸定遠老家宅院的舊井中忽生石筍，「吉瑞」突現，又有人告訴他祖墳中好幾個墳頭「夜有火光熾天」，墳頭冒煙，老胡以為是天降吉兆，「益喜自負」，忖度自己又要「進步」了。官至丞相，再「進步」就只能當皇帝了。
恰巧，當時有明朝功臣吉安侯陸仲亨擅用公家驛傳，平涼侯費聚嗜酒好色，均為朱元璋節責重譴，胡惟庸看中二人戇勇無謀，便嚇唬二人早晚會被正法。二人大懼，哀求老胡出主意，胡惟庸便讓二人在外收集軍馬，以備「急用」。
同時，他又在朝中與陳寧勾結，閱示天下軍馬圖籍，很想把明朝取而代之，為了成事，老胡還托李善長的弟弟、時任太僕寺丞的李存義說動老李也入伙。估計當時並未明說，李善長年老，也裝糊塗，「依違其間」，其實是「婉拒」。
胡惟庸確是很「庸」，造反這麼大事，竟然讓這麼多人知道，而真正起作用的禁衛軍軍官他一個也沒爭取到，反而大老遠派人攜書向元順帝兒子遠在沙漠的舊元太子稱臣，還派明州衛指揮林賢從海道借倭兵準備裡應外合。
林賢從日本還真「借」來了四百倭奴兵，按原計劃，這些人準備在充當貢使隨從時趁覲見之時行刺朱皇帝。具體方法是：貢使在大殿上奉巨燭，裡面事先裝填了火藥和刀劍。試點時，巨大的蠟燭放出的不是芳香而是煙霧和刀劍，貢使趁機操兵，在殿上殺掉皇帝。
結果，當這批日本矬子坐船抵達南京時，胡惟庸已經被殺，四百矬子剛上岸就被鐵棍打翻，一齊押往雲南深山老林去「勞改」。胡惟庸太自得，本來沒著急動手，他一是想趁朱元璋外出巡視時動手，二是想等林賢與倭使朝見時行刺，但是，幾件小事，讓他狗急跳牆，不得不匆忙佈置。
其一，占城國入貢，胡惟庸未及時報告，朱元璋怪罪下來，他又轉嫁責任，惹起老朱憤怒，「盡囚諸臣，窮詰主者」;其二，朱皇帝推究劉基死因，賜死汪廣洋;其三，胡惟庸兒子乘馬車遇「車禍」而死，老胡怪罪車伕，一刀把人砍了，朱元璋聞之憤怒，讓他「償命」。
數事相加，胡惟庸越想越怕，對左右說：「主上任意殺掉有功大臣，我可能也不免。同樣是死，不如先發，以免寂寂受戮！」未等胡惟庸動手，本來與他一夥的御史中丞塗節關鍵時刻害怕，主動上變，在洪武十二年底向朱元璋告發了老胡。
他的一個同事，同為中丞的商嵩由於被胡惟庸貶為中書省小吏，懷恨在心，也向皇帝匯報老胡的「陰事」，並涉及到御史大夫陳寧和最早上告的中丞塗節。朱元璋大怒，立刻逮捕胡惟庸等人審訊。
御史大夫陳寧很早因文字才氣為朱元璋任用，但「性特嚴刻」，在蘇州任地方官時為催賦燒鐵烙人，人稱「陳烙鐵」。入京為御史後，益加嚴苛，連朱元璋都數次責稱他。陳寧兒子勸其收斂，他竟然操起大棒把兒子活活打死。
朱元璋聞訊，深惡其殺子之舉，說：「陳寧對兒子如此，心中怎能有君父！」聞皇帝此言，陳寧心懼，故而串通胡惟庸謀反。據《明通記》記載：洪武十三年正月，胡惟庸詭言其府中水井出醴泉，邀朱皇帝臨幸。
駕出西華門，有一太監雲奇馳馬沖駕，因氣勃口不能言，比比劃劃。朱元璋怒其不敬，令左右亂棒擊打，把雲奇胳膊都打斷，幾乎當場打死，但英勇的雲宦者仍然指劃胡惟庸宅院做刀砍狀。「上悟，乃登城望其第(胡家)，(見)藏兵復壁間，刀槊林立。
(帝)即發羽林(軍)掩捕。」此記乃小說家語，老朱半老頭子，又沒望遠鏡，不可能在宮城上看得見胡惟庸家中的情形。實際情況是，塗節上告，加上商嵩上告，他派人逮捕胡惟庸，自然一審即清。
案子定結，胡惟庸、陳寧，包括首先上變的塗節，皆拉入集市碎剮，族誅諸人，並殺老胡黨羽、僚屬以及一切與胡惟庸有關係的人(包括向他送過書畫簽過名的幾個文人畫家)，共一萬五千餘人。
名單中還有大文豪宋濂，由於他孫子與胡惟庸相識，不僅孫子被殺掉，連累得已經退休的老宋被械送入京要挨刀。幸虧馬皇后解勸，言宋濂曾為諸王老師，又不知謀反事，被從輕發落流放茂州，但中途病累而死。