應該說，唐憲宗時期也是裴度最風光的時期，他成功地輔佐唐憲宗完成了打擊藩鎮勢力的工作，使中央統一政令的權威得以落實。此時的他可謂聲名威望日隆。但後來到了唐穆宗、唐敬宗時期，情況發生了變化，他發現，大唐王朝已經不再需要他了。
這一切，還是得從藩鎮節度使調換說起。元和十五年（公元820年），唐憲宗暴亡。唐穆宗繼位後，對河北諸鎮採取了一系列的後續措施，中央政府首先把各大藩鎮的節度使來了個大調換。這是控制地方勢力做大，防止尾大不掉的有效方法，永遠都不會過時。但得看何時用，何人用，用在何處；如果用得不當，反而會被其拖累。唐穆宗的措施是，把魏博節度使田弘正（田興）調往成德；把成德的王承元調往義成；把義成的劉悟調往昭儀。
而此時的幽州節度使是殺害父兄，從父親手中奪權的劉總。由於難以擺脫因殺害父兄產生的內心恐懼，他下決心遁入空門以求徹底解脫。臨行前，他給唐穆宗上表，請求回到朝廷。穆宗賜他法號“大覺”，並允許他回京。劉總啟程返京，剛出冀州不遠便暴亡了。朝廷詔令調河東節度使張宏靖到幽州主事。張弘靖到任後並沒有做好安撫工作，幽州將領在都知兵馬使朱克融的鼓動下，殺了張宏靖的隨官並將其軟禁起來，一致推舉朱克融暫時管理軍務。
而魏博與成德兩個藩鎮平時關係就很不好，田弘正作為魏博的節度使自然得不到成德將士們的好感。田弘正從魏博出發的時候，隨身帶了兩千多兵士保衛自己，但到達成德之後，朝廷卻不願支付這一部分軍餉，將士們吃不飽肚子拿不到銀兩自然不願意幹，萬般無奈之下，田弘正只能讓這兩千多親兵回返魏博；另外，田弘正一向比較講究排場，用度花銷很大，這讓成德將士很不滿。由是，在成德都知兵馬使王庭湊的帶領下，亂兵殺害了田弘正和家屬以及將領共三百多人，王庭湊自稱留後，上表要求獲得節度使一職。成德再次反叛。
田弘正之子田布此時留守魏博一帶，聽說父親被害，便帶領本部兵馬參與成德平叛。可惜魏博的軍隊已經厭倦了這種征戰生活，在將領史憲誠的帶領下對田布的命令不理不睬。田布眼見手下士兵悉數反叛，家仇難報，無可奈何之下自殺身亡。
至此，河北三鎮再次陷入藩鎮割據的局面，稍有不同的是，新的藩鎮首領取代了舊的首領，這一取代便使得唐憲宗一生的努力付之東流。從此，這一片土地再也沒有回到中央的管轄之下了。
突然遭此變故，朝中亂了陣腳。但穆宗皇帝卻毫不理會，他只關心如何玩樂，對於官員們驚慌的反應，反而覺得奇怪。知道張宏靖被軟禁的消息後，他僅僅發佈了一份詔書，貶張宏靖為吉州刺史，其他沒有任何改變，這等於完全承認了朱克融等人的行為是合理的。
對於向朝廷上表要官的王庭湊，唐穆宗則在主戰派大臣的勸說下詔令討伐。此時淮西戰役中的名將李愬突然病死，裴度又被任命為總指揮，監督前線軍事。但此一時彼一時，在將近半年的時間裡，官軍基本沒有取得任何進展，而朝廷也失去了耐性。次年二月，一道詔書宣稱說王庭湊不是壞人，是因為小人脅迫才不得已這麼做的，現在朝廷收回原來加在他身上的罪名，為他平反昭雪。由是，官軍也找到了一個停戰的體面台階，只有裴度徒勞而無功。
裴度為相二十餘年，曾薦引過李德裕、李宗閔、韓愈等名士賢臣，重用過李光顏、李愬等名將，還保護過劉禹錫等，但從不薦引無才的親友為官。在唐朝後期，朝官結為朋黨，相互援濟的情況下，他不拉幫結派，堅持唯才是舉，這正是他為官的正直之處。
年輕的天子已經一心一意投入遊樂之中，不再有興趣關注這麼許多的雜務了。唐憲宗與裴度君臣一起奠定的大好局面也消失殆盡了。即將沒落的大唐王朝也已經不再需要裴度了。
在這場動亂之後，裴度曾經短時間出任宰相，但不久便被排擠出朝堂，到地方出任節度使。朝中主事的一直是宦官王守澄等人以及依附於王的宰相李逢吉。因為之前的一些恩怨，他們恨透了裴度，因此，終唐穆宗一朝，裴度再也未能入朝主事。唐敬宗繼位後，裴度衝破阻撓被重新啟用。但當他回到朝堂時，他發現，一切都已經不再是當年的模樣了。敬宗在玩樂上絲毫不遜於其父穆宗，甚至有過之而無不及，王朝已經被宦官們牢牢地把持在手中了。左樞密王守澄、右樞密楊守和、左神策軍中尉魏從簡、右神策軍中尉梁守謙四大宦官真正構成了大唐王朝的權威，裴度即使身為宰相卻也只能等而下之。
在當時已有“勳高中夏，聲播外夷”盛名和地位的情況下，由於宦官當道，空有“將相全才”的裴度，已不能為天子所用了。為避宦官構陷，他退居東都洛陽，建宅第於集賢裡；與詩人白居易、劉禹錫等，高歌放言，酣宴終日，以詩酒琴書自樂，不再過問政事。不料唐文宗開成二年（公元837年），他以中書令的身份，又奉詔鎮守河東。開成三年冬，裴度因病求請皇帝放還東都。翌年，七十六歲的裴度在洛陽溘然離世，被唐文宗追贈為太傅。挽力支撐岌岌可危的唐王朝大廈的最後一根支柱，終於也倒下了。
平庸的皇帝雖然拋棄了裴度，但歷史卻記住了裴度。他“始自書生，以辭策中科選，數年之間，翔泳清切”，又能奮命決策，橫身討逆，成為中興宗臣。史家對裴度的功德多加以肯定。《舊唐書·裴度傳》說他“出入中外，以身繫國之安危，時之輕重者二十年”，“威望德業，侔於郭子儀”。並讚他“以人臣事君，唯忠與義，大則以訏謨排禍難，小則以讜正匡過失，內不慮身計，外不恤人言”，“誠社稷之良臣，股肱之賢相”。《新唐書》列傳也稱他“度退然，才中人，而神觀邁爽，操守堅正，善占對。既有功，名震四夷。使外國者，其君長必問度年今幾、狀貌孰似、天子用否。其威譽德業比郭汾陽，而用不用常為天下重輕。事四朝，以全德始終。及歿，天下莫不思其風烈。”這說明，歷史總是會記住那些為國為民的賢臣良將的。