元封五年(前106年)，大將軍衛青病逝，謚號為烈侯。在上古文獻中「烈」是光明、顯赫，有宏偉、浩大之意。以此表彰了衛青軍功卓越、不平凡的人生之旅。
衛青對衛氏家族，乃至太子(衛青的外甥)的命運都有著重大影響。衛青走過了一條上升、圓滿的人生軌跡，然而，他的後代卻沒有能繼承他的功業，也沒有能繼續他的輝煌人生經歷。
據《史記·衛將軍驃騎列傳》記述，衛青有三個兒子：衛伉，衛不疑和衛登。衛青在漠南打敗右賢王之後，漢武帝為表示對衛青的特殊嘉獎，冊封了這三個尚為孩童或在襁褓之中的幼子。衛伉被封為宜春侯，衛不疑被封為陰安侯，衛登被封為發乾侯。最早，衛伉犯法而丟掉了宜春侯爵位，因衛青娶了武帝的姐姐平陽公主，衛青去世，衛伉才能繼承衛青的封國，繼續做了長平侯。6年之後，衛伉犯法而失去了這個爵位。衛不疑和衛登都因交供宗廟祭祀用的金子不合格，丟了爵位。衛青的後代雖然生來富貴，但由於沒有建立功業，從而沒有能力保持高貴的社會地位。
《資治通鑒》卷二二記述了漢武帝與衛青、太子之間的故事。當初，漢武帝在29歲時才生了太子，這是武帝第一個兒子，自然非常喜愛。隨著太子一天天長大，武帝觀察到太子個性仁慈寬厚、謙和，似乎沒有自己那樣精明強幹，因此感覺有些遺憾和失望。後來，武帝的其他幾位夫人陸續為他生劉閎、劉旦、劉胥和劉髆幾個皇子。
皇后和太子覺察武帝對他們母子的逐漸疏遠，開始常常陷入惶恐不安之中。武帝知道後，讓衛青向皇后、太子轉達：我朝很多大事都還處於草創之中，周邊外族對我們侵略不斷，朕不得不對內厲行改革，對外大力征伐;否則後代子孫治理政務沒有法度可以遵循，國家也沒有真正的太平局面。因此，朕在位期間百姓十分勞苦，但是，後代子孫繼續像朕這樣做，就等於重蹈了亡秦的覆轍。太子性格沉穩仁厚，這正是守成之君所必須具備的品格，保持國家的穩定與安寧沒有人能勝過太子了！聽說皇后和太子有不安之意，請你把朕的意思轉告給他們。
武帝特意請衛青做中間人，顯然是有深意的。與其說，他這些話是在安慰皇后、太子，不如說，他主要是為安慰自己這位戰無不勝的大將軍。這位在戰場上敵人不可戰勝的大將軍，是西漢以強盛帝國的姿態屹立於世界東方的重要因素。
以武帝的雄才大略面對仁弱的太子自然是不滿意的，他在安慰太子的同時，似乎也在安慰、說服自己，也許有衛青的輔佐與支持，太子可以擔負得起自己身後的這大片錦繡河山的安寧與穩定。
然而，天不假年，威名赫赫的大將軍在五十歲左右就逝世了。在衛青去世之後，朝中的奸佞大臣看到太子失去了這個堅強的後盾，開始肆無忌憚地陷害太子了。太子被迫起兵自衛，後來兵敗自殺。
青在世的時候，連漢武帝都主動維護太子以安定大將軍之心，其他人更不敢構陷衛家和太子。衛青封侯之後，衛氏家族開始興起，衛家有5人封侯。然而僅僅維持了24年，5個侯爵被剝奪，衛氏家族再也沒有封侯的了。到了征和年間，太子兵敗自殺，衛氏家族也基本覆滅了。