卻說太子勇安居東宮，喜近聲色，免不得有三五媚臣，導為婬佚。就是雲昭訓父定興，亦出入無節，嘗獻入奇服異器，求悅太子。左庶子裴政，屢諫不從。政因語定興道：「公所為不合法度。且元妃暴薨，人言藉藉，公宜亟自引退，方可免禍。」定興不以為然，並將政語轉告太子。太子勇便即疏政，出襄州總管，改用唐令則為左庶子。令則素擅音樂，勇使他教導宮人，絃歌不輟。右庶子劉行本，嘗責令則道：「庶子當以正道佐儲君，奈何取媚房帷，自干罪戾？」令則聞言，也覺赧然，但欲討好東宮，仍然不改。會太子召集宮僚，開筵夜飲，令則手彈琵琶，歌嫵媚娘，太子大悅。當時惱動了一位直臣，便起座進規道：「令則身為宮僚，職當調護，今乃廣座前，自比倡優，進婬聲，穢視聽，事若上聞，令則罪在不測，殿下寧能免累麼？」太子勇怫然道：「我欲行樂，君勿多事！」說至此，那直臣知話不投機，也即趨出。這人為誰？就是太子洗馬李綱。敘法側重李綱，為下文伏線。勇由他自去，並不追問，仍使令則彈唱終席，方才遣散。嗣復與左衛率夏侯福手搏為戲，笑聲外達。劉行本待福出來，召福面數道：「殿下寬容，賜汝顏色，汝何物小人，敢如此恣肆無禮呢？」因將福執付法吏。勇反替福請免，乃得釋出。還有典膳監元淹，太子家令鄒文騰，前禮部侍郎蕭子寶，前主璽下士何竦等，俱專務諧媚，導勇非法。
勇內多姬媵，外多幸臣，整日裡歌宴陶情，不顧後患。至廢立消息，傳到東宮，勇才覺著忙，聞新豐人王輔賢，素善占候，因召問吉凶。輔賢道：「近來太白襲月，白虹貫東宮門，均與太子有礙，不可不防。」勇越加惶急，遂與鄒文騰、元淹熟商，引入巫覡，作種種厭勝術，又在後園內設庶人村，屋宇卑陋。勇常往寢處，布衣草褥，為厭禳計。全是愚夫、愚婦的作為。隋主堅頗有所聞，遂使楊素詗視虛實。素至東宮，已經遞入名刺，卻故意徘徊不進。勇束帶正冠，佇待多時，方見素徐徐進來。勇不覺懊惱，語多唐突。素即還報太子怨望，恐有他變。隋主尚將信將疑，再經獨孤後遣人伺勇，每得小餅，無不上聞，甚且架詞誣陷，構成勇罪，說得隋主不能不信，乃自玄武門達至德門，分置候人，窺察東宮動靜，所有東宮宿衛，及侍官以上名籍，悉令移交諸衛府。宮廷內外，俱知廢立在邇，樂得順風敲鑼，投牢下石，至如晉王廣盼望佳音，更覺迫不及待，密囑督王府軍事段達，賄通東宮幸臣姬威，使伺太子過失，密告楊素。於是內外喧謗，說得這個太子勇無惡不作，自古罕聞。
會隋主幸仁壽宮，將要迴鑾，段達往脅姬威道：「東宮罪惡，皇上盡知，已奉密詔，定當廢立，君能和盤托出，大富貴就在目前了。」威滿口應承。未幾，隋主還朝，才閱一宵，已聽得許多蜚語，越宿御大興殿，即宣召東宮官屬，怒目與語道：「仁壽宮去此不遠，乃令我每還京師，嚴備仗衛，好似身入敵國一般。我近患下痢，寢不解衣，昨夜至後房登廁，恐有警急，又還就前殿，豈非爾輩欲壞我家國麼？」說至此，即叱令左右，拿下左庶子唐令則等數人，付法司訊鞫，一面命楊素陳述東宮事狀，宣告群臣。素竟隨口編造，說出太子許多驕倨，且有密謀不軌等情。隋主喟然道：「此兒過惡久聞，皇后每勸我廢去，我因此兒居長，且是布素時所生，格外容忍，望他漸改，不料他怙惡不悛，反敢私怨阿娘，不與一好婦女；且指皇后侍兒，謂將來終是我物。新婦元氏，性質柔淑，忽然暴亡，我疑他別有隱情，召他入問，他便抗辭道：『會當殺元孝矩。』試想孝矩為元氏父，現為廬州刺史，相隔甚遠，何罪當殺？他無非意欲害我，借此遷怒呢。皇長孫儼，為雲氏所出，朕與皇后老年得孫，抱養宮中，他偏不放心，遣人屢索，由今思昔，雲氏系定興女，與不肖兒在外私合，安知不是異種？昔晉太子取屠家女，生兒即好屠割，今若非類，便亂宗社。又聞不肖兒引入曹妙達，與定興女同宴，妙達在外揚言，我今得勸妃酒，如此乖謬，想是因諸子庶出，恐人不服，特故意縱妾，欲收時望，我雖德慚堯、舜，怎可將社稷人民，付與這不肖子呢？」多是婦女瑣褻之談，奈何出諸帝口？語尚未畢，左衛大將軍五原公元旻，聽不入耳，竟出班面奏道：「廢立大事，天子無二言，詔旨若行，後悔無及。讒言罔極，請陛下三思！」隋主全然不理。
旻尚欲再言，偏姬威入朝抗表，迭稱太子失德，隋主覽表已畢，復傳威入見，諭令盡言。看官！你想威有甚麼好話？無非說太子好奢好婬，好殺好忌，又把那厭盅諸術，盡情說出，最後一語，謂太子嘗令師姥卜吉凶，轉語臣道：「至尊忌在十八年，今已過期，好令人快意了。」隋主聽到此言，氣得老淚澘澘，且泣且歎道：「誰非父母所生？乃竟至此。朕近覽齊書，見高歡縱子為惡，不勝忿懣，我怎可傚尤哩？」說著，即傳敕禁勇諸子，及勇黨羽，令楊素訊讞，自下御座退朝。素與弟約深文巧詆，鍛煉成獄，有司更希承素意，奏稱：「元旻嘗曲意事勇，當御駕在仁壽宮時，勇嘗遣心腹裴弘，致書與旻，外面寫著，毋令人知。」既雲密書，又雲外面有此數字，明明是誣蔑之言，構陷元旻。隋主看了，便失聲道：「朕在仁壽宮，事無鉅細，東宮即已聞知，比驛馬還要迅速，朕嘗稱為怪事，哪知有此輩引線呢。」遂遣武士拘旻下獄，並裴弘亦被拘入。右衛大將軍元胄，嘗入值帝前，時當退班，尚留連不去，至此始面奏道：「臣向不退值，正為陛下防著元旻呢。」可惡之極。隋主被胄所欺，面加褒獎，胄歡躍而出。開皇二十年十月，隋主決意廢太子勇，使人召勇入見。勇見朝使失色道：「莫非欲殺我不成？」使臣支吾對付。勇只好硬著頭皮，隨使入武德殿。但見殿階上下，兵甲森列，殿內東立百官，西立諸王，御座中坐著一位甲冑耀煌，威靈赫濯的大皇帝，不由的心膽俱碎，匍伏階前。內史侍郎薛道衡，在階上站著，朗聲宣詔道：
詔書讀畢，當有衛士引勇諸子，趨入殿庭，褫去冠帶，並由道衡傳諭及勇道：「如爾罪惡，人神共棄，欲求免廢，尚可得麼？」勇即免冠再拜道：「臣合屍都市，為將來鑒，幸蒙哀憐，得全性命。」說著，淚如雨下，良久始舞蹈而去。盈廷諸臣，莫不感憫，但也不便多言。勇有十子，亦一併牽出。長子儼曾封長寧王，尚表乞宿衛，情詞懇切。隋主覽表心動，意欲留儼，楊素進言道：「伏願聖心同諸螫手，不宜再事矜憐。」素實可殺。隋主乃怏怏入內。越日，又下詔書，斬元旻、唐令則、鄒文騰、夏侯福、元淹、蕭子寶、何竦七人，妻妾子孫並沒入官庭。還有車騎將軍閻毗，東郡公崔君綽，游騎尉沈福寶，術士章仇太翼，各杖百下，身及妻子為奴，資財田宅充公。副將作大匠高龍?，率更令晉文建，通直散騎郎元衡，並賜自盡。
太平公史萬歲，與將士等共列朝堂，見太子被廢，暗暗稱冤，不辭而退。隋主記憶起來，召問楊素道：「萬歲為何遽退？」素答道：「想是去謁東宮了。」隋主即召萬歲入問，萬歲為素所誣，當然不服，且言：「前征突厥，被楊素抑功不賞，將士多半怨素，素實老奸巨猾，不可輕信。」隋主此時，正深信楊素，便極口駁斥，萬歲仍然反抗，詞色益厲，頓時惱動上意，遽命左右推出朝門，把他擊斃。已而不禁自悔，復令追還，那萬歲的魂靈，已入枉死城，哪裡還追得轉呢？當下賜楊素帛三千段，元胄、楊約各千段。文林郎楊孝政進諫道：「皇太子為小人所誤，宜加訓誨，不宜廢黜。」隋主又怒，喝令撻孝政胸，至數十下。孝政只得自認晦氣，忍痛而出。隋主復召東宮官屬，責他輔導無方，眾皆惶懼，莫敢答言。獨太子洗馬李綱道：「廢立大事，滿朝文武大臣，皆知事不可行，但莫敢發言，臣何惜一死，不為陛下直陳。太子性本中人，可與為善，亦可與為惡。向使陛下選擇正人，輔導太子，非不可嗣守鴻業，乃用唐令則為左庶子，鄒文騰為家令，二人唯知諂媚取容，怎得不敗？這乃陛下自誤，不得盡遍罪太子。」說至此，伏地嗚咽。隋主亦不覺慘然，欷歔良久道：「李綱責我，不為無理，但徒知其一，未知其二，我本擇汝為宮僚，勇不肯親信，雖有正人，究屬何益？」綱又答道：「臣所以不見親信，實由奸人在側，蒙蔽東宮，若陛下早斬令則、文騰，更選賢才輔佐太子，臣何致終被疏棄哩？從古來國家廢立塚嫡，每至傾危，願陛下深留聖恩，無貽後悔。」膽愈壯則詞愈達。隋主聽了，勃然變色，抽身入內。左右皆為綱寒心，綱卻從容退歸。已而有詔傳出，移置廢太子勇至內史省，恩給五品料食，又擢李綱為尚書右丞。朝臣始服綱膽識，交口稱頌了。
過了數日，即立晉王廣為太子，全國地震。廣還要討好父前，表請減殺章服，所用官僚，不向東宮稱臣。隋主堅嘉他禮讓，優詔允從。廣即調用宇文述為左衛率，又因洪州總管郭衍，亦曾與謀奪嫡，召為左監門率。隋主又移廢太子勇至東宮，錮置幽室，令廣管束。勇自思罪不當廢，屢請見父申冤。廣不肯允，勇升樹號呼，期達上聞。廣商諸楊素，素即上言：「勇志日昏，想為癲鬼所祟，不可復收。」隋主乃令廣從嚴錮勇。勇遂如罪犯一般，不許自由。從此九重遠隔，永不得見天日了。
先是隋主克陳，天下多想望太平，監察御史房彥謙，私語親友道：「主上忌刻苛酷，太子卑弱，諸王擅權，天下雖得暫安，不久必生禍亂。」彥謙子玄齡，亦密白乃父道：「主上本無功德，徒用詐術取天下，諸子又皆驕奢不仁，將來必自相誅夷，危亡即不遠了。」會新樂告成，協律郎祖孝孫及樂工萬寶常，按律譜音，皆不見用，但創出一種繁鬧的樂音，奉敕施行。寶常泫然道：「婬厲而哀，天下不久便亂了。」自是辭去役使，情願稿餓，並取樂譜毀去，且自歎道：「用此何為？」未幾竟絕粒而死。回應八十六回中訂樂事，筆法不漏，且以見隋代之將亡。
隋主還道是立儲得人，可無後憂。太史令袁充，當廢立東宮時，曾進言天象告變，應該廢立，至此又表稱：「隋興以後，晝日漸長，兆慶昇平。」隋主大喜，即改開皇二十一年為仁壽元年，大赦天下。地球繞日，自有常度，烏有無故增長之理？進楊素為左僕射，蘇威為右僕射，文武百官，加秩有差。惟因日影增長，令百工作役，概加程課。丁匠等不免叫苦，隋主怎得與聞。散騎侍郎王劭，乘勢獻諛，謂自大隋受命，符瑞甚多，特輯成《皇隋靈感志》三十卷，進呈御覽。隋主取閱全書，內容多系採集歌謠，旁及讖緯，並且掇拾佛書，意為註釋，雖未免牽強附會，但自思得國未正，士民或有異議，正好借此宣示四方，表明應天順人的征驗。當下將劭書頒行天下，並賞劭金帛千匹，且親祀南郊，答謝天庥。
才閱一年，岐、雍二州地震，毀壞民廬，不可勝計。到了孟秋，獨孤後受涼感疾，飲食無味，寢臥不安。御醫逐日診治，毫不見效，反且沉重起來。天文似亦預兆災冓，八月初旬，月暈四重，又越五日，太白犯軒轅，是夜獨孤後病歿永安宮，年正五十。隋主感傷數次，乃命禮官治辦喪儀，殯靈白虎殿下。太子廣至靈柩前，哀號擗踴，若不勝情，至退處私室，飲食言笑，仍如平時。又每朝令進二溢米，暗中卻囑取肥肉脯鮓，置竹筩中，用蠟封口，裹著衣襆，悄悄納入，外人無從得知，反盛稱太子孝思，譽不絕口。轉眼間已過了三月，奉柩出葬泰陵，追諡文獻。這泰陵地域，是由上儀同三司蕭吉所擇，奏云：「卜年三千，卜世二百。」隋主說道：「吉凶由人，不關墓兆。」話雖如此，意中實喜得嘉地，竟從吉言。言不由衷，無怪生兒更詐。吉密語知友道：「前太子嘗遣宇文左率，囑我善擇山陵，令太子早日得立，必當厚報。我答言地已擇就，不出四年，太子必御天下。實告諸君，太子嗣位，隋必致亡。我所云三千年，乃系三十，二百世乃系二傳。諸君記著！看我言果有驗否？」吉為梁長沙王蕭懿孫，既有此技，何前此無救國亡？吉友聞言，也似信非信，擱過一邊。
且說隋主第四子蜀王秀，容貌壯偉，很有膽力，年未及壯，即多鬚髯，常為朝臣所側目。隋主嘗語獨孤後道：「秀將來恐不令終，我在尚可無慮，至兄弟時必反無疑。」獨孤後以秀無他過，置諸不理。隋主乃命秀鎮蜀，秀蒞治益州，奢侈逾制，車馬衣服，僭擬天子。隋主稍有所聞，即語群臣道：「壞我家法，必在子孫。」因遣使繼敕譴責，秀終未肯改。及太子勇遭讒被廢，晉王廣得為太子，秀意甚不平。廣亦防秀有變，陰令楊素進讒，構成罪狀。隋主乃召秀還朝，秀入都進謁，但見隋主滿面怒容，不與一言。秀再拜而出，隋主乃使朝臣責秀，秀答謝道：「臣忝荷國恩，出臨藩岳，不能奉法，罪當萬死。」太子廣聞秀被責，很是欣慰，外面裝出愛弟形狀，邀同諸王入宮，替秀解免。隋主反加怒道：「從前秦王縻費，我以父道相責，今秀蠹害生民，我當以君道相繩。汝等不必多言，我自有法處治呢。」說著，即令將秀付諸法司。開府儀同三司慶整進諫道：「庶人勇既廢，秦王已薨，秦王俊病歿，見八十六回。陛下兒子無多，奈何屢加嚴譴？且蜀王性甚耿介，今被重責，或且不願生全，也是可慮。」隋主大怒道：「你敢來多嘴麼，我且斷你舌根！」隨即顧群臣道：「當斬秀市中，以謝百姓。」群臣俱跪伏殿庭，代為乞免，乃令楊素、蘇威、牛弘、柳述等，再加按治。太子廣陰作木偶，縛手釘心，上書隋主及漢王姓名，下署數語云：「請西嶽慈父聖母，速遣神兵，收系楊堅、楊諒神魂。」令人埋諸華山下。一面使楊素發掘，作為罪證。又云：「秀妄造圖讖，迭言京師妖異，捏稱蜀地禎祥。」並有檄文草稿，略云：「逆臣賊子，專弄威福，當盛甲陳兵，指期問罪」等語。罪證已具，一併上奏。隋主見了，拍案盛怒道：「天下有這等不肖子麼？」便令廢秀為庶人，幽錮內侍省，不得與妻孥相見，但給獠婢二人，充當役使。且緣秀連坐，計百餘人。又中了逆子奸相的詭計。秀上表稱謝，表文中有云：「伏願慈恩，垂賜矜憫。今茲殘息未盡，願與瓜子相見，請賜一穴，令骸鼻有歸。」「瓜子」二字，是指自己的愛子言。
隋主反下詔數秀十罪，略云：
庶人秀得見此詔，嚇得莫名其妙，自思詔書所言，純是冤誣，不知被何人構造出來，鍛成這般大罪。禁門深遠，無從申訴，只好飲恨泣血，靜坐囹圄。貝州長史裴肅獨遣使上書，謂：「二庶人得罪已久，寧不革心，願陛下弘君父之慈，顧天性之義，各封小柄，再觀後效，若能遷善，漸更增益，如或不悛，貶削未遲。」這書奏入，隋主顧楊素道：「裴肅憂我家事，也是一片誠心。」素默然不答。不劾裴肅，還算厚道。於是征肅入朝，面諭二庶人不能曲恕，且罷肅原官，放歸田里。惟庶人秀諸子，聽令同處，小子有詩歎道：