元狩六年(前117年)，大司馬大將軍、冠軍侯霍去病薨逝，時年23歲。關於他的死因，流傳較廣的說法主要有病死、在匈奴染上瘟疫、退隱三種，但是都經不住推敲。
首先，史書中從未見霍去病身體有何不適的記載，而且與霍去病同一時期的史學家司馬遷關於此事的記載也頗值得玩味。他在《史記》中只用了一個「卒」字來寫霍去病之死，卻詳細記載了漢武帝為霍去病舉行盛大葬禮的全過程。以其寫史的態度，這只能解釋為他根本就不知道霍去病的死因，也就是說官方有意隱瞞或者封鎖了消息。至於病死之說，只怕司馬遷本人也是不相信的，所以才沒有將這種說法寫在《史記》中。
其次，霍去病之死是在元狩六年，而漠北大戰是在元狩四年，什麼樣的瘟疫能有這麼長的潛伏期？如果是死於瘟疫，那麼沾染上瘟疫的人自然不可能是霍去病一人，但是史書中並沒有將士因為瘟疫大面積死亡的記載。
最後，漠北大戰後，漢、匈雙方均受損傷，匈奴遣使和親，漢朝派使者與匈奴談條件，可匈奴不僅不接受漢方的條件，反而扣留使者，於是武帝決定再一次發動對匈戰爭。在這個時候，三軍主將霍去病退隱，無異於拿軍國大事當兒戲。
而通過對從漠北之戰到霍去病死時的兩年中發生的幾件大事的分析，就會發現霍去病之死另有隱情。這期間發生的事主要有以下幾件。
第一，漢武帝尊霍抑衛。
自霍去病受封冠軍侯起，漢武帝便開始有意無意地在軍中培養霍去病，同時打壓衛青的地位。漢武帝的這種行為在漠北大戰中表現得更加明顯。《史記》載，在漢武帝的戰略決策中，迎戰匈奴大單于的任務原本是落在霍去病身上的，只是陰差陽錯，大單于卻與西出定襄的衛青軍團遭遇了，一番惡戰之後，匈奴敗退。之後東出代郡的驃騎將軍霍去病追亡逐北，才創下不世之功。在戰後的封賞上，漢武帝尊霍抑衛的意圖越來越明顯，跟隨霍去病出征的將士大多都得以封侯，而大將軍衛青不得加封，軍卒皆無封侯者。
作為漢武帝朝最傑出的軍事將領，衛青在對匈奴的戰爭中發揮了極其重要的作用，而且衛青為人謙恭有禮，溫和大度，重情重義，眾人都樂於聽命於他。那麼漢武帝為何要借助扶植霍去病來打壓衛青呢？因為衛青身居高位，姐姐是皇后，外甥是太子，妻子是長公主，這些人自然而然就形成了一個利益集團。儘管衛青本人一直謹小慎微，但是其集團的勢力實在龐大。所以漢武帝必須想辦法來抑制衛氏集團的勢力，這個辦法就是尊霍抑衛。
而漢武帝之所以能夠放心地扶植霍去病的勢力，是因為霍去病的性格。史書中載，霍去病「為人少言不洩，有氣敢任」，且不熱衷於政治活動，因此他的周圍不可能形成一個利益群體，也就對漢武帝構不成政治上的威脅。霍去病雖然與衛青家族有親緣，但是他不能代表衛氏集團的利益。相反，他的異軍突起，還會威脅到衛青的地位，衛氏集團的既得利益者們絕對不願意看到這種局面，他們自然會拼盡全力保住衛青，同時也是為了保住他們的既得利益。
第二，霍去病射殺李廣之子李敢。
漠北之戰後，李廣自殺，李氏族人都認為是衛青從中搗鬼，是以大多心有不忿。李敢怒而擊傷衛青，但衛青事後並沒有聲張，而是將此事隱瞞起來。一年後在甘泉宮圍獵之時，霍去病得知此事，怒不可遏，射殺李敢。這件事情疑點重重：李敢打傷衛青是在元狩四年春，而霍去病射殺李敢是在次年秋，這中間的一年多裡又發生了什麼事情呢？
這期間發生的一件事情，被很多人有意無意地忽略了。元狩五年三月，李廣從弟、丞相李蔡因侵佔陽陵(漢景帝陵)土地下獄，畏罪自殺。李蔡為什麼要冒天大的風險去侵奪先皇的墓地？要知道那可是死罪。不久，李蔡被告發，皇帝派人去查，但還沒有等到查出結果，李蔡就自殺了。僅僅過了不到半年時間，就發生了霍去病射殺李敢之事，從此，李家勢力被連根拔去。
只是霍去病射殺李敢的地點是在甘泉宮，甚至可以說是當著漢武帝的面，他為什麼偏偏挑中這麼一個對自己有百害而無一利的地點？所以完全可以排除蓄意謀殺的可能性，而應該是突發事件，有人故意將此事洩露給霍去病，以霍去病雷厲風行的性子和對衛青複雜的情感，當然會立刻取了李敢的性命，而不顧忌是在什麼地方。
而這一切，都與衛氏集團有關。李廣自殺，李氏族人認定了是衛青害死李廣，江河日下且正被皇帝逐漸冷落的衛氏集團不可能坦然面對一個對他們懷恨在心的李氏高官，所以又指使人陷害李蔡。李蔡死後，繼任的丞相是太子少傅，根正苗紅的太子黨。李蔡、李敢一死，李家就再也不會有人向衛青尋仇，霍去病也在武帝心中留下不良印象，朝臣對霍去病也必然會心增反感，可謂一石三鳥。
第三，請立三皇子事件。
元狩六年四月，由霍去病挑頭，滿朝文武官員上書奏請武帝冊立劉閎、劉旦、劉胥三位皇子為王。武帝迫於壓力，實施冊立。這件事表面上看是一個孤立的事件，但背後依然涉及到衛氏集團的利益。這三位皇子都是極受武帝喜愛的，而太子劉據生性仁恕溫謹，不是很得雄才大略的武帝的喜歡，況且當時衛子夫年老色衰，難以得到武帝的寵幸，這一切都讓衛氏集團的成員們感受到了威脅。所以冊立三位皇子，表面上看是對三位皇子有利，但實際上最大的獲益者卻是太子劉據。
霍去病當時雖然官居大司馬大將軍，但他在朝政上並沒有太大的作為，請立三位皇子事件是史書上關於他參與朝政為數不多的記載。所以問題就出現了：平時不常參與朝政的霍去病為什麼要參與這件事情，而且還是挑頭人？
霍去病是一個重情的人，漠北之戰後，由於漢武帝刻意地尊霍抑衛，衛氏集團的權力受到了威脅，對霍去病也疏遠了許多，這讓霍去病感覺到了親情的缺失。這時如果有一件事可以改變他和衛氏集團的關係，而且是他力所能及的，他是斷然不會拒絕的。
以上一連串的政治事件都牽涉到了衛氏集團，那麼究竟是誰一手策劃了這一切？
按說，衛青應該是這個集團中最為重要的人物，是這個集團的核心，但是，這一系列的事件應該不是衛青一手策劃的，除非他多年來一直表現出來的寬仁大度都是偽裝。自然也不該是皇后衛子夫，她也身不由己。太子劉據當時年幼，更不可能。那麼衛氏集團中誰還能有這樣的手段？唯有平陽公主。論身份，她是武帝的親姐姐，衛青的妻子，史書中對她的能力雖然記載不多，但僅從她把衛子夫獻給漢武帝、委身下嫁曾經的僕人大將軍衛青這兩件事上，就可以看出她的權謀手段。
以平陽公主對權謀的熱衷，她絕對不能眼睜睜地看著這一切都脫離她的控制，所以，當霍去病對衛青的勢力造成極大威脅的時候，最想要霍去病死的，一定是最不希望這一切發生的平陽公主，而且她也完全有能力、有手段讓霍去病死。
由於個人出身和經歷，霍去病存在著一些先天缺陷：寡言，心高氣傲。這樣性格的人是不會有什麼朋友的，他的手下又大多是匈奴降將，跟著他只是為了功名利祿，不可能有什麼感情。而漠北大戰之後，衛氏集團跟霍去病的矛盾也激化了，幾乎沒有親情可言。這樣一個缺乏情感、孤獨的人，很容易走向極端。如果這一點被別有用心的人加以利用，誘導之下，霍去病很有可能會走向極端，甚至是選擇自殺。而且從霍去病死後，漢武帝雖然悲痛，但並沒有遷怒於旁人的態度來看，這個可能性也是存在的。