朱元璋在解決了北元後，制定了一系列旨在恢復生產和生活的政策，得到了好的效果，但此時，朝廷內部的矛盾又激烈起來，大臣分成兩派，以地域為區分，開始了新的爭鬥。這些所謂派別，實際上就是老鄉會，大家都說一樣的方言。朱元璋手下最大的老鄉會就是淮西集團，會長本來應該是朱元璋，但考慮到他還兼任皇帝一職，所以當時是由李善長代理。這一集團人多勢眾，主要成員有李善長、郭興、郭英、湯和、周德興，還包括死去的常遇春等人，可以說這些人是朱元璋起家的班底。當時的人們見面都以會說淮西話為榮。
李善長何許人也，為什麼是第一功臣？此人主要負責後勤和政務，如果把劉基比作張良，那麼李善長就是蕭何。他一直跟隨朱元璋打天下，鞍前馬後的勞頓，後勤工作不好搞，勞心勞力又不討好。朱元璋是個明白人，所以在建國後，便以李善長為第一功臣，任命他為丞相。李善長這個人的特點是外表寬厚，卻心胸狹窄，誰敢和他過不去，就一定要解決對方。俗話說惡人自有惡人磨。淮西集團很快遇到了對手，那就是浙東集團，首領就是劉基。兩個集團就在朱元璋眼皮底下開始了鬥爭，朱元璋似乎很有興趣，他準備看一場好戲。
劉基處死李彬，與李善長結怨
李善長被朱元璋引為第一功臣，於洪武三年(1370年)被封為韓國公，這是很了不得的，因為當時朱元璋一共只封了六個公爵，其他五個人分別是徐達、常茂(常遇春兒子)、李文忠、馮勝、鄧愈，他們都是血裡火裡拚殺出來的一代名將，而出人意料的是，李善長排位居然還在這些人之上，名列第一。他也是公爵裡唯一的文臣。相比之下，劉基也為朱元璋打天下立下了大功，卻只被封誠意伯(伯爵)。耐人尋味的是，他的俸祿也是伯爵中最低的，年俸只有240石，而李善長是4000石，多出劉基十幾倍。
劉基運籌帷幄，決勝千里，在許多重要決策中起了重要作用，為什麼只得到這樣的待遇？其實這個問題並不是那麼難以解釋。朱元璋是一個鄉土觀念很重的人，李善長是他的老鄉，而且多年來只在幕後工作，從不搶風頭，埋頭幹活，這樣一個人朱元璋是很放心的。相對的，劉基是一個外鄉人，更重要的是，劉基對事情的判斷常常比他還要準確！
從龍灣之戰到救援安豐，朱元璋想到的，他也想到了，朱元璋沒有想到的，他還是想到了。換了你是皇帝，會容許這樣的一個人在身邊嗎？而且這些決策並非安民之策，而是權謀之策，搞陰謀政變十分有用，外加劉基厚黑學的根底也很深，朱元璋時不時就會想起他勸自己不要去救韓林兒這件事。誰知他將來會不會對自己也來這麼一手。
不殺他已經不錯了，難道還想要封賞嗎？劉基一生聰明，但也疏忽了這一點。這也就決定了他在這場鬥爭中很難成為勝利者。洪武元年，雙方第一次交鋒。當時的監察機構是仿照元朝建立的御史台，劉基是御史中丞，也就是說，他是言官的首領，此時的優勢在劉基一邊。引發矛盾的導火線是一個叫李彬的人，是李善長的親信，他由於犯法被劉基抓了起來，查清罪行後，劉基決定要殺掉他。此時正好朱元璋外出，李善長連忙去找劉基說情，劉基卻軟硬不吃，還將這件事向朱元璋報告。朱元璋大怒，命令立刻處死李彬。不巧，這份回復恰巧落在了李善長手裡，他不敢隱瞞，但也怒不可遏。為了救自己的親信一命，他想了一個借口，他相信只要講出這個借口，劉基是不會拒絕他的求情要求的。
他找到劉基，對他說：「京城有很久不下雨了，先生熟知天文，此時不應妄殺人吧。」李善長可謂老奸巨猾，他明知劉基深通天文之道，以此為借口，如劉基堅持要殺李彬，大可將天不下雨的責任推到劉基的身上，當時又沒有天氣預報，鬼知道什麼時候下雨。然而劉基的回答是：「殺李彬，天必雨！」李彬就這樣被殺掉了。李善長被激怒了，他開始準備自己的第一次反擊。劉基敢說這樣的話，應該說他是有一定把握的，他確實懂得天文氣象，可問題在於即使是今天的天氣預報也有不准的時候。
這一次劉基的運氣不好，過了很久也不下雨，等到朱元璋一回來，李善長積聚已久的能量爆發了出來，他煽動很多人攻擊劉基。朱元璋是個明白人，並沒有難為劉基。但劉基自己知道，這裡是呆不下去了，於是在當年八月，他請假回了老家。臨走前，正值當時朱元璋頭腦發熱，想把首都建在老家安徽鳳陽，同時還積極準備遠征北元。劉基給了朱元璋最後的建議，建都鳳陽是絕對不行的，而北元還有很強的實力，輕易出兵是不妥當的。後來的事實證明，他又對了。應該說，當時的朱元璋是很理解劉基的，他對劉基的兒子說過，現在滿朝文武都結黨，只有劉基不和他們搞在一起，我是明白人，不會虧待他的。
朱元璋這次可真是被劉基給蒙了，劉基並不是什麼善男信女，他在臨走之前已經布下了自己的棋子楊憲。楊憲是劉基的死黨，他得到了劉基的指示，接任御史中丞，準備對淮西集團的反攻。
胡惟庸從幕後走到台前
這位楊憲也不簡單，他韜光養晦，扶植高見賢等人，並利用言官的力量，不斷收集李善長的黑材料，並經常在朱元璋面前打小報告，說李善長無才無德，不能委以重任。朱元璋不是蠢人，知道楊憲說這些話的目的何在，開始並未為之所動，對李善長依然十分信任，但時間長了，他也慢慢對李善長有了看法，對李善長多有指責。十一月，他召回了劉基，並委以重任。淮西集團全面被打壓，浙東集團開始佔上風。
浙東集團眼看就要成為勝利者，李善長十分憂慮，他明白自己已成靶子，淮西集團岌岌可危，而自己又不便親自上陣，與淮西集團公開叫板;他左思右想，為何不學學劉基呢？找一個代言人，但這個人又不能太有威望，要容易控制。於是他看中了胡惟庸，但他沒有想到的是，這個選擇最終讓他踏上了不歸之路。胡惟庸是李善長的老鄉，他很早就追隨朱元璋，卻一直不得意，總是幹些知縣之類的小官。但他確是個有能力的人。在得到李善長的首肯後，他成了淮西集團新的領袖。這場鬥爭最終將在他手中結束。
有道是：人算不如天算。就在浙東集團春風得意、準備一鼓作氣打敗淮西的時候，事情又發生了變化。由於劉基言語過於直接，用我們今天的話來說就是沒有溝通技巧，很多人開始在朱元璋面前說他的壞話，朱元璋對這個足智多謀的第一謀臣也起了疑心，於是就有了後來那次決定劉基命運的談話。這一天，朱元璋單獨找劉基談話。雙方以拉家常開始了談話，就在氣氛漸趨融洽時，朱元璋突然變換了臉色，以嚴肅的口氣問劉基，如果換掉李善長，誰可以做丞相？劉基十分警覺，馬上說道：「這要陛下決定。」朱元璋的臉色這才好看了點，他接著問：「你覺得楊憲如何？」這又是一個陷阱，朱元璋明知楊憲是劉基的人，所以先提出此人來試探劉基。劉基現在才明白，這是一次異常凶險的談話，如果稍有不慎，就會人頭落地！他馬上回答：「楊憲有丞相的才能，但沒有丞相的器量，不可以。」
但考驗還遠遠沒有結束，朱元璋接著問：「汪廣洋如何？」這是第二個陷阱，汪廣洋並不是淮西集團的成員，朱元璋懷疑他和劉基勾結，所以第二個提出他。劉基見招拆招，回答道：「此人很淺薄，不可以。」朱元璋很佩服地看了劉基一眼，這是個精明的人啊！他說出了第三個人選：「胡惟庸如何？」劉基鬆了口氣，說出了他一生中最準確的判斷：「胡惟庸現在是一頭小牛，但將來他一定會擺脫牛犁的束縛！」說完這句話，劉基知道考驗已經過去了，但他錯了，下一個問題才是致命的。
朱元璋終於亮出了殺著，他用意味深長的口氣說道：「我的相位只有先生能擔當了。」大凡在極度緊張後，人們的思想會放鬆下來，劉基也不例外，他終於犯了一次錯誤，這次錯誤卻是致命的。他回答朱元璋：「我並非不知道自己可以，但我這個人嫉惡如仇，皇上慢慢挑選吧。」這句話說得非常不合適，自居丞相之才不說，還說出所謂嫉惡如仇的話，如劉基所說，誰是惡呢？劉基的昏勁還沒有過去，又加上了一句話：「現在的這些人，在我看來並沒有合適的。」朱元璋就此與劉基決裂。
第一謀士之死誰之罪？
至此之後，劉基不再得到朱元璋的信任，他雖明白自己地位不如前，但仍然堅持在朝中為官，為浙東集團撐台。但朱元璋不是那麼好打發的。洪武三年，朱元璋親自下書給劉基，對他說了這樣一番話：「你年紀這麼老了，應該在家陪老婆孩子，何苦在這裡陪著我呢。」這意思就是，我要炒你魷魚，走人吧。劉基只好回到了鄉下。這時，浙東集團的另一干將楊憲失去了劉基的幫助，很快被淮西派排擠，本人也性命不保，被胡惟庸找個借口殺掉了。在這場鬥爭中，淮西集團最終大獲全勝。
劉基明白，自己失敗了，他現在唯一的願望就是好好在家養老，度此一生。可是在這場鬥爭中，失敗的人是要付出代價的。胡惟庸成了丞相，他沒有放過劉基，指使手下狀告劉基，此時劉基已經沒有官位，還能告他什麼呢？但欲加之罪，何患無辭，實在是至理名言。劉基的罪狀是佔據了一塊有王氣的地。所謂王氣實在是個說不清的東西，說有就有，說沒有也沒有，只看你的目的是什麼。於是朱元璋再次下詔處罰劉基，官都沒了，還罰什麼呢？朱元璋有辦法，他扣除了劉基的退休金。
劉基陷入了絕望，但他的智慧又一次發揮了作用，他沒有在原地等死，而是出人意料地回到了京城。這實在是很絕的一招，他明白，胡惟庸對付他的根本原因在於朱元璋，只要自己回到京城，在朱元璋的眼皮底下，讓他放心，自己的性命就有保證。但這次，他又錯了。洪武八年正月，劉基生病了，朱元璋派胡惟庸(注意這點)探視劉基，胡惟庸隨身的醫生給劉基開了藥方。劉基吃了藥後，病情越來越重，過了不久就死去了。關於劉基的死因，後來胡惟庸案發後，醫生供認是胡惟庸授意他毒死劉基的。這也成為了胡惟庸的罪狀之一。
很多人都知道，胡惟庸和劉基有仇，朱元璋也知道，卻派他去探望劉基。而劉基這樣有影響的人，胡惟庸是不敢隨便動手的，不然也不會讓劉基在他眼皮底下逍遙五年，他很有可能是得到了朱元璋的默許。無論此事是否朱元璋指使，但毫無疑問，劉基之死朱元璋是負有責任的。劉基一生足智多謀，為明王朝的建立立下汗馬功勞。他對形勢判斷準確，思維縝密，能預測事情的發展方向。雖然他本人並非真如民間傳說那樣，有呼風喚雨的本事，但從他的判斷和預測能力來看，料事如神並非過分的評語。他和諸葛亮一樣，已經作為智慧的象徵被老百姓所銘記。
胡惟庸勝利了，他在朱元璋的幫助下打敗了浙東集團，除掉了天下第一謀士劉基。現在他大權在握，李善長也要給他幾分面子。但他真的是最後的勝利者嗎？歷史的回答是否定的。