裴寂是大唐開國元勳不假，但在唐太宗時期幾次犯法，太宗很想殺了裴寂。唐太宗對侍臣們說：「寂有死罪者四：位為三公而與妖人法雅親密，罪一也;事發之後，乃負氣稱怒，稱國家有天下，是我所謀，罪二也;妖人言其有天分，匿而不奏，罪三也;陰行殺戮以滅口，罪四也。我殺之非無辭。議者多言流配，朕其從眾乎。」
要瞭解太宗的這段口諭，首先瞭解下裴寂和法雅之間的事情。有個名叫法雅的和尚，過去曾自由出入皇宮和東宮，是李淵和李建成的紅人。在玄武門之變後，李世民即位，自然法雅的光輝時代也一去不返了。法雅被禁止出入宮廷，心中十分怨恨，經常對一些熟人發牢騷。可是誰都知道李建成的時代一去不復返了，經常聽到法雅說這些話，那都是大逆不道。於是有人就到官府去告發，官府立刻把法雅抓起來訊問。在訊問時，法雅交代他說的很多誹謗朝廷的話，裴寂都知道，於是裴寂也被帶到官府接受調查。裴寂當然不承認，法雅卻一口要定裴寂就是知道。於是朝廷就罷免了裴寂的官職，還削掉裴寂一半的封邑，不許裴寂留在京城。裴寂很不服氣，就去找唐太宗理論。裴寂不知道事情的輕重，自然是無功而返。
這個法雅和裴寂一樣都是李淵和李建成的心腹。當李世民即位之後，第一要清理的就是李建成的手下。雖然，李世民對魏征非常客氣，但是魏征只是個例外，對其他李建成的屬下就毫不留情了，只要不向自己效忠，就用各自手段去打壓。法雅雖然是為佛教的大師，但是在政壇上只是微不足道的小人物，下面的官員自然想借法雅之口，釣上幾條大魚。看法雅之後一口要定裴寂知道自己的妖言，就可以看出是受了官府的脅迫了。官員們知道裴寂也有關聯立刻上報李世民。李世民本來就對裴寂有諸多不滿，當然借題發揮了。
裴寂央求太宗讓自己留在京城，並說起自己當年的種種功勞。確實，在李淵時代，李淵曾經當著滿朝的大臣的面拉著裴寂的手說：「要是沒有愛卿，我怎麼能有天下！」裴寂儼然成為興唐第一功臣。當年李世民不好說什麼，現在李淵倒了，李世民做了皇帝，當然要為自己正名。
李世民說：「按你的真才實學和功勞，不可能有今天這麼高的地位！只不過因為先帝念你對皇家有功，才使你位居首輔。其實，先帝在位時，政治法律方面紕漏謬誤極多，地方官吏辦事鬆弛、施政紊亂，你是朝廷宰輔，你難道就沒有責任？但我還是念當年我們之間的舊情，不對你施以極刑，讓你回歸故里，你還有什麼不滿意的呢？」
在李世民看來，興唐第一功臣當然是自己，其次是劉文靜，再其次才是裴寂。裴寂處處宣揚沒有他，就沒有大唐天下，那是貪天之功，罪大惡極。至於李世民批評裴寂處理政務有很多失誤，卻是欲加之罪。就算是和在李淵時代，李世民也是朝中說一不二的重要人物。雖然說裴寂和李淵交情莫逆，但是大政方針還是要李淵拍板，李世民支持。李世民如此說的真正目的，是要大範圍的否定自己的父親。李淵有很多事情都處理不當，這樣就可以讓世人理解，李淵沒有冊立李世民為太子，也是李淵荒悖的延續，對李世民登基自然也會更多一些理解和支持。
在裴寂回歸故里蒲州不久，有個居住在汾陽的狂生，名叫信行，經常向裴寂家的僕人說：「你們家裴公有天分，是帝王之相。」估計此人不瞭解朝局，還以為裴寂是在一人之下萬人之上風光無限的李淵時代。此人更不瞭解李世民，還以為在大唐安天下十餘年後，還可以興兵作亂。僕人把這些話告訴給裴寂，裴寂不但不高興，反而嚇得半死。悄悄命人去殺了這個信行的狂生，免得連累自己，甚至又命心腹恭命把也聽過這些話的僕人殺死。可是恭命和那個僕人關係不錯，不但沒去殺，反而讓那個僕人藏了起來。在後來，恭命偷盜了裴寂的上百萬錢逃跑，裴寂到處追捕他，恭命就跑到朝廷去告發裴寂。裴寂就被二度接受審查。
這次唐太宗不想放過裴寂，他列舉的四大罪狀中，「恚稱國家之興皆其所謀」是李世民最不能容忍的。但是朝廷大臣很多想李世民求情，包括李世民的一些近臣。最主要的原因就是裴寂是大唐開國元勳，殺裴寂有損李世民的名聲。
這點李世民當然清楚。在即位的第二年，李世民去南郊祭祀，命令裴寂和長孫無忌同他共坐一輛車。裴寂很惶恐，表示不敢同坐。李世民說：「你有輔佐我李唐建國的大功勞，而長孫無忌也能盡全力幫助王室，除了你們兩個人，誰還有資格和我同乘一輛車？於是裴寂只能上車。
在此時，李世民即位不久，人心未附，何況是舉行祭祀，天下臣民多少眼睛關注著！李世民對裴寂的優待，想必讓很多當年擁護李建成的人長舒一口氣。可是這樣做並非是李世民的真心，一旦屁股坐穩，李世民就開始清算了。
在高祖李淵時代，曾經議定太原起兵的功勞，前三名是李世民、裴寂、劉文靜，之後是長孫順德、劉弘基、竇琮、柴紹、唐儉始，殷開山、劉世龍等一共十四人。而在太宗李世民時期，曾經重新排定太原起兵的功臣名次，以劉文靜第一，裴寂第二，之後是長孫無忌、王君廓、尉遲敬德、房玄齡、杜如晦。原來的第三名(李世民忽略)長孫順德變成了第八名，之後是柴紹、羅藝、趙郡王孝恭、侯君集、張公謹、劉師立，李績、劉弘基等四十四人。李淵時代排名第四的劉弘基很慘，落到了十六名。為什麼會有這樣的變化？很簡單，一朝天子一朝臣，一些親李淵李建成的人被李世民的親信擠到了後面。從古到今，政壇上最看重的就是站好隊，跟對人。其他人品，才學都是次要的。