隋文帝一生用過兩個年號，一個是開皇，一個是仁壽。開皇的意思是開啟一代皇家基業，反映出一種創業者激情四射的心態。而仁壽則是希望能夠享國長久，反映出一種守成者的安閒。先創業再守成，這本來應該是一種很理想的境界，但實際上非常遺憾。隋文帝仁壽年間，生活沒有像他希望的那樣安逸，反而日益充滿了火藥味和緊張感。這是為什麼呢？
隋文帝六十歲上下時，先後喪了妻、子，喪子，是自己幹掉了三個兒子。獨孤皇后五十九歲時就正常死亡。影響極大，產生兩方面影響：一是讓隋文帝自由了，終於可以自由生活了，兩美女出現了，一是宣華夫人陳氏，二是蔡氏。他節儉，獨孤皇后也是如此。兩人同心同德，特別晚年，疏遠大臣，與兒子關係也緊張，獨孤皇后是唯一依賴的知己。現在沒有了，內心也塌了。兩人年紀相差無幾。現在沒了這個陪伴，隋文帝茫然若失，生活上表現得開始縱慾，政治上更加多疑與善變。
隋文帝晚年，獨孤皇后因病去世，獨孤皇后的去世，讓隋文帝失去了精神支柱，也讓他在政治上變得更加多疑和猜忌。作為一國之君，他的變化必然投射在政治上，對整個國家的政局產生影響。那麼，這種影響會從哪裡表現出來呢？
馬上有兩人處境尷尬，一是楊素，一是太子楊廣。楊素，獨孤的葬禮是他一手經辦的，隋文帝還特地獎勵他，「楊素經營葬事，勤求吉地，論素此心，事極誠孝，豈與夫平戎定寇，比其功業，可別封一子義康公，邑萬戶並賜田三千頃，絹萬緞米萬石，金珠綾錦稱是。」到處找風水寶地，功勞比平戎定寇還大，決定封他一個兒子為義康公，給一萬戶的食邑。隋文帝賞賜這麼多，說明隋文帝愛屋及烏，把對太太的感情寄托在楊素身上，也說明楊素確實辦得好。這事也是楊素在得寵的巔峰，不久在隋文帝心中的地位就下降了。梁毗不久就彈劾他了。
「臣聞臣無有作威福，臣之作威福，其害乎而家凶乎而國，竊見左僕射趙國公素，幸遇愈重，權勢日隆，縉紳之徒，屬其視聽，忤意者嚴，霜夏零。阿旨者膏雨冬澍，榮枯由其唇吻，廢興候其指麾，伏願揆鑒古今，量為外置，俾洪基永固，率土幸甚，輕犯天顏，伏聽斧鑕。」當年廢掉太子時，我們都覺得是令人震驚的事，唯獨他表現得揚眉吐氣的樣子，為什麼？是盼著國家有事，好抬升他自己的地位，這難道是忠誠的臣子的表現嗎？說完，隋文帝傻在那兒，他回想一下，還真是如此。楊勇、楊秀事件，楊素都是推波助瀾，到底是誰在利用誰呀？君臣關係是顛倒的。再想想梁毗的觀點就可以接受了。而且與內心極端吻合的，他怎麼處置梁毗？放了，對楊素就是漸疏之，慢慢猜忌起來了。「僕射國之宰輔，不可躬親細務，但三五日一度向省，評論大事。」最重要的大臣，不用天天辦理小事了，三五天再上一次班，實際是奪權了。等於剝奪了上班的權力。真正能管的事就少了。這是收權。
梁毗的彈劾讓隋文帝對楊素警覺起來，開始逐步削弱他的權力。但是，權力本身是固定存在的，事情也總是要有人做的，要想保證國家的正常運作，還要把從楊素手裡收回的權力再分配給別人。那麼現在隋文帝找誰做新的依靠對象呢？
到晚年，誰都不信任，隋文帝把目光看到女婿身上了。他看中了最小女兒的女婿柳述，三大優點：一是出身於河東柳氏，在朝中影響不錯;二是他年輕，三十多，沒功勞沒業績，會聽話，唯馬首是瞻;三是娶的是隋文帝喜歡的公主蘭陵公主。蘭陵公主小名阿五，本是容易得寵愛的，蘭陵公主給父母爭氣，「美姿儀，性婉順，好讀書」。既然喜歡她，女婿也一塊喜歡上了。
這時，就提拔他了。讓柳述當吏部尚書、兵部尚書，在朝中有這樣高的權力，成了宮廷與朝廷間的橋樑。這對楊素意味著不利。與楊素都有過結，楊素逼死了蘭陵公主前夫王奉孝的父親王誼。當時官至一品官，沒多久，王奉孝就去世，當時她不過十三歲，做了寡婦。王誼也不忍心，上書請不要守孝三年，再嫁了。沒想到不久楊素就彈劾他，說王誼這是敗壞道德。隋文帝當時看到這樣的彈劾，就批評了王誼，就心灰，就宅在家，發牢騷，還請人算命，是重臣是外戚，這就觸犯了皇帝的大忌，隋文帝賜死他了。
蘭陵公主應該對楊素就沒有好印象了。柳述與楊素間，楊素奚落過柳述的爸爸，他是堅守道德原則的人，在官場不得志，外放做官，而楊素隋建立後就在中央為官，楊素就在柳家人面前沾沾自喜，一次隋文帝賜宴，幾人見面，楊素說，「二柳俱摧，孤楊獨聳」，你們都完蛋了，我就鑽天上去了，這是俏皮話，但傷人心，柳父卻一言不發，現在柳述當權，二人與楊素都有過結，楊素就不好過了。柳述就喜歡當眾折辱楊素。兩人是上下級關係，柳述有任何決策，都應該有楊素批復，柳述偏偏不買楊素的賬。柳述堅決不改。並要求轉告，自己不肯改。柳述這樣對他，他也是要氣死，但是背後有隋文帝撐腰，也沒辦法。一收一放，就讓楊素氣焰低了，人蔫了。
獨孤皇后去世，楊素受猜忌，這兩重因素加起來對於太子楊廣的打擊可太大了，讓楊廣的勢力低落了不少。而政治上的實力比拚，往往都是此消彼漲的關係，楊廣那邊勢力下降了，馬上有一個人的勢力抬頭了，他是誰呢？
楊廣能當上太子，全賴獨孤皇后與楊素所賜，現在楊廣受的打擊就太大了。楊廣的太子基業本不穩定，需要楊素與獨孤皇后的支持。現在，前太子楊勇勢力有所抬頭：楊勇為自己喊冤，當時楊廣看管他，獨孤皇后一死，他整天要求見父親。楊廣肯定不幹，一次他爬到東宮大樹上，對著隋文帝大叫，希望引起隋文帝注意。隋文帝真聽見了，看到楊勇在樹上，楊素正好在身邊，問楊勇喊什麼。楊素趕緊就說，他瘋了，整天喊叫。隋文帝搖頭歎氣就過去了。
但是楊廣著實擔心一把。更嚴加看管。二是有人替楊勇和高喊冤，裴素，希望高重新回來為國效力。說楊勇與楊秀應該給他們自新的道路，不能永遠為庶人，應該封個小國，還可以再提拔他。如果高剛剛被廢時，誰說一定砍頭，現在這樣說，隋文帝反而感慨說，這是至誠的事。沒殺還招來談話。這又嚇壞了楊廣了。第三個表現，是隋文帝的心腹柳述與楊勇的關係鐵與楊廣的關係不好。還是因為婚姻的問題，當時，選中了兩個候選人，另一個是楊廣的小舅子蕭妃的弟弟蕭瑒。隋文帝廣泛徵求意見。
楊廣當時就希望嫁給自己的小舅子，隋文帝就徵求當年給隋文帝預言過當皇帝的韋鼎的意見。隋文帝信任他，他說，「瑒當封侯，而無貴妻之相，述亦通顯，而守位不終。」說他可以封侯，面相上沒有高貴妻子，韋鼎傾向於柳述，柳述只是說他官位不到頭。隋文帝想我讓他到頭不就到頭了？柳述對楊廣沒好印象。隋文帝的政治路線動盪起來，朝中出現了變數，似乎要重新洗牌，讓楊廣緊張。他偷偷到一個大臣術士蕭吉，「公前稱我當為太子，竟有其驗，終不忘也。今卜山陵，務令我早立，我立之後，當以富貴相報。」我信任您，希望你替我留心一下，讓我早點接班。蕭吉回復，四年後，我保證讓你接班。