魏征與唐太宗兩人之間曾有一段問答。太宗說：我說什麼，你只管當時答應，下來有機會再另外陳述意見，難道不行嗎？魏征答：「從前舜告誡群臣說：『你們不要當面順從我，退下後又有話說。』如果臣當面順從又另找機會陳述意見，這就是『退下後又有話說』，難道是稷、契事奉堯、舜的辦法嗎？」太宗聽了大笑：「人言魏征舉動疏慢，我但覺嫵媚，適為此耳。」
猛一看這段話，感覺魏征也真會說話啊，將太宗比為堯、舜，誰聽了不高興呢？但讀接下來這段話，魏征對太宗絕不是虛誇，「征拜謝曰：『陛下導之使言，臣所以敢諫，若陛下不受臣諫，豈敢數犯龍鱗。』」也確實是這麼回事啊，如果趕上萬曆皇帝，就算魏征說破嘴皮子，對方聽嗎？
人終有死去的那一天，貞觀十七年即公元643年正月，魏征薨。太宗親臨痛哭，罷朝五日。命九品以上官員都去參加魏征的葬禮，並「給羽葆、鼓吹，陪葬昭陵」。如此高的待遇，魏家沒全接受，因為厚葬不符合魏征生前之志，魏家拒絕了朝廷饋贈的一切儀仗物品，只用一輛布車載著棺柩送到墓地。那天，太宗登上高樓，向西眺望送葬的隊伍，他哭了。賦詩痛悼魏征：「閶闔總金鞍，上林移玉輦。野郊愴新別，河橋非舊餞。慘日映峰沉，愁雲隨蓋轉。哀笳時斷續，悲旌乍舒捲。望望情何極，浪浪淚空泫。無復昔時人，芳春共誰遣。」
魏征的墓地是太宗親自定下的，大臣陪葬墓當中數魏征墓離昭陵最近，他知道將來有一天他會來這裡和魏征相聚，離得近一些更方便。他親自為魏征墓碑撰文書丹。做這樣的事，在李世民一生中，是第一次，也是惟一的一次。
但令人想不到的是，僅僅幾個月以後，當年秋天，太宗就命人將魏征墓碑推倒。事件導火索有二：一是魏征曾推薦杜正倫、侯君集，說他們兩人有才幹，能任宰相。後來杜正倫因罪罷官，侯君集以謀反罪被殺，這時有人站出來指責魏征，說他阿附惡黨。又說魏征曾記下前後諫爭之言，悄悄拿給史官褚遂良。也就是說，魏征為讓自己名垂千古，把什麼都抖落給史官，不顧君王的面子。
太宗大怒。不但「仆倒」墓碑，將字磨去，而且答應魏家的婚事跟著作廢。魏家眼看著衰落下來。兩年以後，遼東會戰，唐軍盡力死戰，方才破敵。回師途中，太宗悵然，想起魏征：「魏征若在，吾有此行邪？」即召其家覲見，「賜勞妻子，以少牢祠其墓，復立碑，恩禮加焉。」
當初碑拉倒，字跡磨去，如今又立起來，官吏一定請示過：字還刻嗎？太宗沒有答應，就這樣吧。一位媒體前輩這樣寫道：「做出那個決定的時候，李世民真正讀懂了魏征。有些東西是可以磨去的，比如字，有些東西是磨不去的，比如魏征。立在地上的碑石，再高大，都有傾倒的一天。魏征活在人的心中，有那些字，是座豐碑，沒那些字，也是座豐碑。」