把姐姐嫁給衛青後，漢武帝劉徹內心更加不安了。
劉徹是一個雄才大略的皇帝。一般雄才大略的人，權力慾就強，疑心也重。劉徹繼位後對威脅自身權威的人和事情很敏感。他創辦了內朝，開始把權力集中到宮廷，就是對朝堂袞袞諸公的不信任。衛青一家的勢力遍佈朝野、手握兵權，自然也受到了劉徹的猜忌。之前，衛青採納甯乘的低姿態，讓劉徹多少放心了一點。這也是劉徹同意姐姐改嫁衛青的原因之一。姐姐嫁入衛家後，衛青的權勢熏天了，彷彿是「天下第二人」了，劉徹的猜忌心理重新泛起，開始不信任衛家了。他想，即使衛青沒有不臣謀逆的心理，也保不齊被野心家利用啊！
劉徹開始疏遠衛青，主要採取了兩種方法：第一是讓衛青離開前線軍隊，招到長安來居住議政，等於是將衛青高高掛起；第二是重用霍去病，讓霍去病牽制衛青。這第二招很毒辣，等於是分化衛青家人，「拉攏一派，打擊一派」。霍去病雖然是衛青的外甥，畢竟不姓衛，和衛家人的關係不那麼密切。劉徹更看中的是霍去病的頭腦相對簡單。
霍去病「為人少言不洩，有氣敢往」，只知道行軍作戰，消滅匈奴，在政治上很幼稚。劉徹曾經勸霍去病學點吳起、孫子的兵法，霍去病回答說行軍打仗不拘泥於古代兵法，學那些玩意兒沒用。劉徹發自內心地，同時也是有目的地，更加寵愛霍去病這個青年俊才了，著意培養，委以軍事重用。一次，劉徹御駕親臨霍去病的府邸，見到霍家凌亂，就讓霍去病多留心點家裡。霍去病慷慨回答：「匈奴不滅，無以家為也。」這句話迅速傳開，成為千古名言。霍去病的聲望隨之節節攀升。
而對於衛青來說，甯乘提醒的「物極必反」的危險終於到來了。
漢朝和匈奴的戰爭在繼續，但衛青失去了對前線部隊的直接指揮權，主要是發揮著名義主帥的作用。相反，霍去病上場表現的機會更多了。
元狩二年（前121）春天，霍去病升任驃騎將軍，率一萬騎兵出隴西，飛奔上千里，殲敵近萬人。霍去病因功被加封兩千戶食邑。同年夏，漢武帝命令霍去病與公孫敖兵分兩路攻打匈奴。霍去病率軍深入，越過居延澤，到達祁連山，一舉斬殺三萬多匈奴人，捕獲匈奴王族和大臣、貴族上百人。這場大敗摧毀了匈奴人的自信心。他們悲傷地唱道：「亡我祁連山，使我六畜不蕃息；失我焉支山，使我婦女無顏色。」相反，劉徹非常高興，又給霍去病增加了五千戶食邑。
當年秋天，匈奴內訌，引出了一樁突發事件。匈奴的渾邪王和休屠王派人來到邊境約期投降。敵情不明，西漢朝野不知道匈奴人是不是真心投降。如果不去，人家又是真心投降的話，就白白錯過了機會；如果去了，匈奴大軍可能埋伏在哪以逸待勞，漢軍很可能自取滅亡。左右為難之際，漢武帝把「迎降」的高難度任務交給了霍去病。霍去病領兵朝約定地進發。漢朝軍隊還沒到，休屠王反悔，不願投降，已經被渾邪王殺了。可渾邪王的部將看到漢軍到來，許多人也開始反悔，不想投降了，紛紛逃遁。局勢有失控的危險。關鍵時刻，霍去病飛馬跑進匈奴軍營，與渾邪王相見，斬殺正在逃散的士兵數千人，穩定局面。接著，他派部分軍隊先護送渾邪王去面見武帝，又親率部隊督促著數萬投降的匈奴大軍，緩緩向內地前進，返回長安。此次，霍去病刀不血刃，迫降匈奴近十萬軍民，肅清了河西走廊，打通了東西交通，被加封食邑一萬零七百戶。
當時霍去病只有二十歲，就立下了並不比舅舅衛青遜色的功績。他每戰必勝，固然有藝高膽大，擅長長途奔襲、敵後作戰的原因，更重要的是漢武帝劉徹的支持。霍去病部隊的軍官、士兵、武器裝備和馬匹戰前精挑細選，都是一流的，要遠遠好於其他將領的部隊。朝廷把最好的家當都撥付給了霍去病，如果沒有劉徹的允許，怎麼辦得到？
到了公元前119年春，朝廷為了徹底擊潰匈奴主力，集中全國的財力、物力大舉征討匈奴的時候，劉徹乾脆將衛青名義上的主帥也給撤掉了。他命令大將軍衛青、驃騎將軍霍去病分別率領五萬精騎，兵分東西兩路，遠征漠北。雙方互不節制，分頭行動。
衛青的運氣也實在不好。匈奴大軍將衛青的部隊當作了主要防範對象。衛青的大軍翻越大沙漠，奔波上千里之後，遭遇了以逸待勞、嚴陣以待的匈奴軍隊主力。雙方的騎兵在草原上激戰，殺得天昏地暗。一直打到黃昏，草原上突然刮起沙塵暴，飛沙走石，遮蔽了天日，雙方根本就看不清敵我。衛青畢竟是個久經沙場的將軍了，派遣預備隊從兩翼迂迴到匈奴軍隊的背後，包圍了單于的大營。這一招妙棋，使得戰場的形勢朝著有利於漢軍的方向發展了。匈奴單于首先喪失了信心，跨馬突圍逃跑。衛青率大軍乘夜突擊，向北一直打到現在的蒙古首都烏蘭巴托地區，燒燬匈奴輜重，勝利班師。
另外一邊的霍去病，因為有舅舅纏住了匈奴軍隊的主力，進展非常順利。他一路高歌猛進兩千多里地，殲滅匈奴七萬多人，俘虜匈奴王爺、將軍等近百人，立下了比舅舅大得多的功勞。匈奴人一蹶不振，開始向西北遷徙。歷史記載之後「漠南無王庭」。
天下終於太平了。外部的敵人沒有了，漢武帝和朝廷還需要聲望超群、領兵馳騁的衛青、霍去病嗎？現在軍功不可能再有了，只剩下皇帝的猜忌和防範。所謂「飛鳥盡，良弓藏；狡兔死，走狗烹」，說的就是如此微妙的時刻。
劉徹繼續捧霍去病去壓衛青，防止衛青家族團結一致，威脅皇權。衛青、霍去病勝利凱旋，衛青是大將軍，霍去病是驃騎將軍，又是萬戶侯，沒辦法再提拔他們了。劉徹很有創意，新增了「大司馬」的官職，讓衛青、霍去病並列為大司馬。衛青是大司馬兼大將軍，霍去病是大司馬兼驃騎將軍，待遇相同。劉徹把霍去病置於了和衛青同等的地位。
這是一個很明顯的信號。那些牆頭草和勢利小人紛紛給霍去病拍馬屁，有事沒事往霍去病家裡跑，套近乎。其中就有很多原來經常在衛青家裡出現的面孔。衛青家門口一下子就冷清了起來。好在衛青是一個厚道恬靜的人，看開了。他家裡人有時候也會感歎世態炎涼，衛青不以為意，認為這是人之常情，一聲不響地過著恬淡平靜的「寓公」生活，毫無怨言，和平陽公主相敬如賓，對劉徹畢恭畢敬。
衛青有一個一以貫之的優點，就是為人謙讓仁和，在權勢最顯赫的時候不以勢壓人，更不結黨干預政事。因此，雖然衛青已經沒有了實權，威勢不如以前了，但人緣還不算差。起碼劉徹還很給這個小舅子面子，形式上應該照顧到的地方都給衛青照顧到了。
霍去病的人緣就沒有舅舅那麼好了。霍去病很早就在宮廷中當官，富貴來得容易，帶著貴族公子哥的味道，給人的感覺不太好。出征打仗的時候，劉徹照顧他，派人給他送去了數十車的好東西。霍去病看上了車，把車裡的糧食和肉卻給扔了。要知道，許多從軍的士兵平時吃不飽飯。霍去病卻從來不注意官兵們缺衣少糧的情況，自顧自地穿戴整齊華麗。這樣的人有皇帝的垂青，在下面的人緣卻好不到什麼地方去。不過話又說回來了，皇帝喜歡的就是霍去病這樣只知道打仗、頭腦簡單、人緣差的功臣。
可惜，霍去病大勝歸來沒幾年，就在元狩六年（前117）英年早逝，只活了二十四歲。劉徹很傷心，把霍去病的葬禮辦得風風光光，把霍去病的墳墓修建在自己的陵寢茂陵旁邊，造得像祁連山一樣，紀念他的戰功。