金華府浦江縣人宋濂是元末明初文壇翹楚，據說他「六歲能為詩歌」，先後遊學於吳萊、柳貫、黃溍，文名滿海內。元末，當局延聘他為翰林學士、國史館編修，他婉言謝絕，遁入仙華山當了道士，道號玄真子。至正二十年(1360)，他接受正在打天下的朱元璋邀請，出山前往金陵。他是一個純儒，沒有劉基的謀略，甚至也提不出朱升那樣的「高築牆，廣積糧，緩稱王」政見，僅僅說了一句「願明公不嗜殺人」的建議。從此將近二十年，成為太祖高皇帝的侍從學士。朱元璋對他讚譽有加，稱為「開國文臣之首」，還說「朕自布衣為天子，卿自草萊列侍從」，這種榮譽幾乎無人能及。雖然榮譽極高，但他並沒有擔任重要的行政職務，除了為太子和諸王教授經學，為皇帝起草各種公文外，主要的工作就是主持編纂《元史》。
作為皇帝的侍從學士，隨侍左右，有很多當面進言的機會，而且「直諒不務文飾」—實話實說。朱元璋很喜歡他的這種風格，對他說「卿可參大政」，希望他擔任政務官。宋濂立即頓首力辭：臣沒有其他長處，只會用文墨議論服務皇上，一旦出任政務官，沒有功效，恐怕辜負皇上。所以一直到洪武十年退休，他仍然是侍從學士而已。他雖然「直諒不務文飾」，卻很注意保守宮禁機密，鄭曉《皇明名臣記》說：宋濂嚴守秘密，從不洩露和皇帝的談話，向皇帝提交書面意見之後，馬上焚燬底稿。為了防止官員向他打聽皇上旨意，他在辦公室懸掛「溫樹」二字，有人問道朝廷事宜，就指著「溫樹」二字，閉口不言。如此操守，朱元璋是很欣賞的，當面表揚他：「景濂(宋濂號景濂)事朕十九年，未嘗有一言之偽，誚一人之短，寵辱不驚，始終無異。」
宋濂退休時，一向吝於獎賞的皇上，特別賞賜《御制文集》和羅綺衣料，對六十八歲的宋濂說：「藏此綺三十二年，作百歲衣。」一生謹言慎行，俯仰無愧，被人們尊稱為「太史公」的宋濂，從此可以安度晚年，悠遊林下，消受御賜的「百歲衣」嗎？天有不測風雲，人有旦夕禍福，對於洪武年間的官員來說，尤其是這樣，幾乎很少有人能夠逃脫政治風暴的席捲，正如萬斯同所說：「士大夫朝簪紱而暮累囚。」宋濂自然也不例外。
洪武十三年正月春節期間，朱元璋突然宣佈，以「擅權植黨」罪處死左丞相胡惟庸。對於胡惟庸而言，可謂咎由自取。問題在於，朱元璋要除掉的並非胡惟庸一個人，而是龐大的「胡黨」，因此受到牽連的「僚屬黨羽」成千上萬。沒有料到的是，宋濂的孫子宋慎也被誣陷為「胡黨」，一場大禍來臨了。當初，朱元璋為了感謝宋濂，主動提出任命他的兒子宋璲為中書舍人，孫子宋慎為禮部官員，並且親自調教他們，還笑嘻嘻地對宋濂說：卿為朕教導太子、諸王，朕也教導卿的子孫。每次上朝，見到步履艱難的宋濂，朱元璋總是叫宋璲、宋慎扶掖，一時傳為美談;「祖孫父子共官內庭，眾以為榮。」
然而好景不長，宋慎以莫須有的「胡黨」罪名被處死，宋璲受到「連坐」一併處死。被朱元璋譽為「純臣」的宋濂也難逃厄運，逮至京師判處死刑。馬皇后聽說此事，大為驚訝，勸諫道：老百姓家為子弟延請教師，尚且能夠以禮全始終，何況天子！而且宋先生早已回鄉家居，必不知情，希望手下留情。朱元璋根本不聽。次日，帝后二人一同就餐，馬皇后不碰酒肉，朱元璋詢問緣故，馬皇后回答：「妾為宋先生作福事。」一向尊敬皇后的朱元璋聽了為之惻然，投筷而起，決定把宋濂的死刑改為流放，發配四川茂州(今四川北川、汶川及茅汶羌族自治縣轄區)。雖然逃過一死，但是千里迢迢的流放，對於自詡為「俯仰無愧」的君子而言，簡直是奇恥大辱。他已年逾古稀了，還沒有到達目的地茂州，就死在了夔州(今重慶奉節，近巫山、雲陽)。那是洪武十四年五月，享年七十三歲。
關於他的死，一說病死，如《皇明名臣言行錄》說：「以疾卒於夔州，臨歿，端坐斂乎而逝。」一說自縊而死，如《名山藏》說：「至夔，宿野寺，侘傺(失意)語曰：『聞之佛書報應以類今爽濂也。』其夕，投繯死。」從門人方孝孺所說「不獲終於正寢」來推斷，似乎「投繯死」的可能性更大些。不管是哪種死法，他都是葬身千里之外的異鄉夔州了。他的大弟子方孝孺一生對他執弟子禮，每次路過夔州，必定前往掃墓，還恭恭敬敬地為老師撰寫了祭文：「公之量可以包天下，而天下不能容公之一身;公之識可以鑒一世，而舉世不能知公之為人。道可以陶冶造化，而不獲終於正寢;德可以涵濡萬類，而不獲蓋其後昆。」讀來令人潸然淚下，為何這樣一位正人君子，不能壽終正寢，不能庇蔭子孫？
他的後人每年都要長途跋涉前往異鄉上墳，內心可能會哀怨：當年先祖倘若始終隱居仙華山，不去投奔太祖高皇帝，恐怕不至於有這樣淒慘的下場吧？正如尹守衡《明史竊》所說：「太史公恂恂乎德言君子也，受知高皇，千載無兩，而夔州之行不免，何哉？」這樣的問題對於明朝文人而言是難以回答的，他只能隱晦曲折地點到為止：元末辭去翰林院的官職，入仙華山學道，朋友犁眉公表示願意一同前往。然而兩人都未能如願，終於入朝為官去了。尹守衡感歎道：「嗟夫，二公追誦乎斯言，其無遺憾於身後乎？」