謀反未果
公元前174年，淮南王和棘蒲侯柴武之子柴奇，商議謀反之事，並派出使者前往閩越、匈奴各處聯絡。朝廷發覺此事，派使臣召淮南王入京懲治。
丞相張包等人揭發了淮南王的罪過，說他廢棄先帝法令，不服從天子詔令，起居不遵法度，自製天子車駕，擅為法令，不實行漢家王法；擅自委任官吏，網羅收納天下負罪逃亡之人；夥同棘蒲侯柴武之子柴奇等人謀反，意欲危害宗廟社稷，派使者聯絡閩越和匈奴發兵響應；無故殺人，任意加害別人，擅自赦免罪人；拒不接見天子使臣等罪名。
文帝下詔說：「朕不忍心依法制裁淮南王，將此事交給列侯與兩千石官員商議吧。」列侯與兩千石官員商議的結果，也是建議天子依法裁決。文帝還是不忍心，就赦免了淮南王的死罪，廢掉了他的王位。在大臣們的一再要求下，文帝將淮南王發配到蜀地，但仍然給予每日食肉五斤、酒二鬥，還命令昔日受過寵幸的妃嬪十人隨同前往。
流放蜀地
朝廷將淮南王的同謀者懲處之後，命淮南王啟程，一路囚車載著，令沿途各縣遞解入蜀。當時袁盎勸諫皇上說：「皇上一向驕寵淮南王，不為他安排嚴正的太傅和國相去勸導，才使他落到如此境地。淮南王性情剛烈，現在粗暴地折磨他，臣很擔憂他會突然在途中身染風寒患病而死。陛下若落得殺弟的惡名該如何是好！」
文帝不以為然地說：「他身體好得很，我只是讓他嘗嘗苦頭罷了，很快就會讓他回來的。」沿途各縣送押淮南王的人都不敢打開囚車的封門，於是淮南王對僕人說：「誰說我是勇猛的人？我哪裡還能勇猛！我因為驕縱聽不到自己的過失而陷入這種困境。人生在世，怎能忍受如此悶氣！」淮南王於是絕食身亡。
囚車行至雍縣，縣令把淮南王的死訊上報天子。文帝哭得很傷心，對袁盎說：「我不聽你的勸告，終於把淮南王害死了。」袁盎說：「事情已無可奈何，望陛下好自寬解。」文帝問：「怎麼辦才好呢？」袁盎回答：「只能殺死幾個人來向天下人謝罪了。」文帝命令丞相、御史收捕拷問各縣押送淮南王而不予開封進食者，一律棄市問斬。然後按照列侯的禮儀在雍縣安葬了淮南王，並安置三十戶人為他守塚祭祀。
驕橫的衡山王
衡山王名劉賜，王后乘舒生了三個孩子。他還有姬妾徐來、厥姬，都為他生下兒女。衡山王和淮南王兩兄弟因為禮節上的一些齷齪而相互責怨，關係疏遠。衡山王聞知淮南王準備造反時，也傾心結交賓客進行防範，深恐被他吞併。
一次，衡山王入京朝見，他的手下衛慶懂方術，想上書侍奉武帝劉徹。衡山王不同意，故意誣陷衛慶犯下死罪，還嚴刑拷打逼他承認。衡山國內史認為此事蹊蹺，不肯審理此案。衡山王便指使人上書控告內史不作為，內史被迫辦案，但直言衡山王從中作梗。衡山王還多次侵奪他人田產，毀壞他人墳墓闢為田地。有關官員請求追究衡山王的罪責，武帝不同意，只收回他原先可以自行委任本國官吏的權力，改為由天子任命。衡山王因此心懷憤恨，四處訪求諳熟兵法和會觀測星象以占卜吉凶的人。這些人日夜鼓動衡山王密謀反叛。
後宮爭寵
衡山王后乘舒死後，衡山王立徐來為王后。厥姬同時也頗得衡山王寵幸。兩人互相嫉妒，厥姬就向太子說王后徐來的壞話。她說：「徐來指使婢女用巫蠱邪術殺害了太子的母親。」從此太子心中怨恨徐來。徐來的哥哥來到衡山國，太子與他飲酒，席間喝多了，一時憤怒，用刀刺傷了王后的哥哥。王后非常惱怒，屢次向衡山王詆毀太子。太子的妹妹劉無採出嫁後被休歸娘家，就和奴僕通姦，又和賓客通姦。太子屢次責備劉無采，讓她注意檢點。劉無采很惱火，不再和太子來往。王后得知此事，就慇勤關懷無采，從中挑撥。劉無采和二哥劉孝因年少便失去母親，不免依附王后徐來。徐來就巧施心計愛護他們，讓他們一起譭謗太子。衡山王經常聽到他們的誹謗，因此多次毒打太子。