他是平陽公主府的女奴衛少兒與平陽縣小吏霍仲孺的兒子，這位小吏不敢承認自己跟公主的女奴私通，於是霍去病只能以私生子的身份降世。大約在霍去病剛滿週歲的時候，他的姨母衛子夫進入了漢武帝的後宮，懷孕後發生了館陶公主綁架且欲殺衛青一事，事情敗露後衛子夫並且很快被封為夫人，僅次於皇后。衛青被任命為建章監，與長兄衛長君一起加官侍中，衛氏家族從此改變了命運。
漢武帝劉徹是中國歷史上武功頗盛的帝王，而當時的漢王朝，邊境不穩，時常遭受匈奴人的侵擾。作為遊牧民族的匈奴，幾乎把農耕為生的漢朝當成了自己予取予求的庫房，燒殺擄掠無所不為。而面對這樣的局面，長城內的國家卻從秦以來就無力從根本上改變，勝利的時候極少，秦只能寄希望於修築長城進行消極防禦而漢朝卻以和親以及大量的「陪嫁」財物買來暫時的相對平安。
雄才大略的漢武帝希望改變這樣的形勢，而他很快就在身邊找到了和自己有志一同的人，他就是衛子夫的弟弟，時任太中大夫的衛青。
前130年（元光五年)，衛青拜車騎將軍，和另三員將領各率一支軍隊出塞。在這一次出兵過程中，四路大軍出塞三路大敗，尤其離譜的是老將李廣竟然被匈奴所虜，好不容易才逃歸。反而是出身「騎奴」，第一次出塞領兵的衛青，出上谷直搗匈奴祭天聖地龍城，斬敵七百。衛青的軍事天才使漢武帝刮目相看，他從此屢屢出征，戰果纍纍。
在衛青建功立業的同時，霍去病也漸漸地長大了，在舅舅的影響下，他自幼精於騎射，雖然年少，卻不屑於像其它王孫公子那樣呆在長安城裡放縱聲色享受長輩的蔭庇。他渴望殺敵立功的那一天。
前123年（元朔六年），衛青領軍二出定襄，史稱漠南之戰。十八歲的霍去病第二次跟從衛青出征。衛青任命霍去病為嫖姚校尉，帶領八百騎兵，做為一支奇兵脫離大軍在茫茫大漠裡奔馳數百里奇襲匈奴，打擊匈奴的軟肋。此仗霍去病斬敵2028人，殺匈奴單于祖父，俘虜單于的國相及叔叔。漢武帝立即將他封為「冠軍侯」，讚歎他的勇冠三軍。食邑二千五百戶。
前121年（元狩二年）的春天，19歲的霍去病被任命為驃騎將軍，獨自率領精兵一萬出征匈奴。統帥霍去病不負眾望，在千里大漠中閃電奔襲，打了一場漂亮的大迂迴戰。六天中他轉戰匈奴五部落，一路猛進，並在皋蘭山與匈奴盧侯王、折蘭王打了一場硬碰硬的生死戰。在此戰中，霍去病慘勝，一萬精兵僅餘三千人。而匈奴更是損失慘重——盧侯王和折蘭王都戰死，渾邪王子及相國、都尉被俘虜，斬敵八千九百六十，匈奴休屠祭天金人也成了漢軍的戰利品。在這一場血與火的對戰之後，漢王朝中再也沒有人質疑少年霍去病的統軍能力，他成為漢軍中的一代軍人楷模、尚武精神的化身。此戰後，漢武帝加封霍去病二千二百戶。