衛青的母親生有一男三女，即兒子衛長君，長女衛君孺、次女衛少兒、三女衛子夫。丈夫死後，她仍在平陽侯家中幫傭，與同在平陽侯家中做事的縣吏鄭季私通，生了衛青。後來，他的母親感覺供養他非常艱苦，就把他送到了親生父親鄭季的家裡。但鄭季的夫人根本看不起衛青這個私生子，讓他到山上放羊，鄭家的幾個兒子也不把衛青看成手足兄弟，隨意苛責。衛青在這樣的環境下生活，受盡了苦難，在他的性格形成上打下了深深的烙印。
衛青長大後，不願再受鄭家的奴役，便回到母親身邊，並做了平陽府的騎奴。有一次，衛青跟隨別人來到甘泉宮，一位囚徒看到他的相貌後說：「你現在窮困，將來定為貴人，官至封侯。」衛青笑道：「我身為人奴之子，只求免遭笞罵，已是萬幸，哪裡談得上立功封侯呢？」
前139年(建元二年)春，衛青的姐姐衛子夫被漢武帝選入宮中，衛青也被召到建章宮當差。這是衛青命運的一大轉折點。
建元三年，衛子夫有了身孕，引起了陳皇后的嫉妒。陳皇后是漢武帝姑姑館陶長公主劉嫖的女兒，與漢武帝成親後，被立為皇后，但是無子，知道衛子夫懷孕得寵後數次要死要活。館陶大長公主為了給女兒出氣，意圖謀害衛青。她抓到衛青，準備處死。衛青的好友公孫敖聽到了消息，馬上召集了幾名壯士，趕往搶救，把衛青從死亡的邊緣奪了回來。漢武帝得知後，大為憤怒，於是任命衛青為建章宮監、侍中，子夫為夫人，並召貴衛青的兄弟，數日間給衛青的賞賜便達到千金之多。公孫敖也因此益加顯貴。衛青後任太中大夫。
前129年(元光六年），匈奴又一次興兵南下，前鋒直指上谷（今河北省懷來縣）。漢武帝果斷地任命衛青為車騎將軍，迎擊匈奴。從此，衛青開始了他的戎馬生涯。這次用兵，漢武帝分派四路出擊。車騎將軍衛青直出上谷，騎將軍公孫敖從代郡（治代縣，今山西大同、河北蔚縣一帶）出兵，輕車將軍公孫賀從雲中（今內蒙古托克托東北）出兵，驍騎將軍李廣從雁門出兵。四路將領各率一萬騎兵。衛青首次出征，但他英勇善戰，直搗龍城（匈奴祭掃天地祖先的地方），消滅匈奴數千人，取得勝利。另外三路，兩路失敗，一路無功而還。漢武帝看到只有衛青勝利凱旋，非常賞識，加封關內侯。
龍城之役在漢匈交戰史上具有劃時代的意義。漢朝自高祖劉邦建國以來，屢屢受到北方匈奴的掠奪羞辱，如高祖「白登七日」之困，呂後受冒頓單于書信之辱，孝文帝十四年匈奴十四萬騎大入關，斥候一度略至長安附近的甘泉，以及匈奴頻頻對漢朝邊郡和百姓的燒殺劫掠等，可謂漢朝的心腹大患。龍城的勝利打破了自漢初以來「匈奴不可戰勝」的神話，大大鼓舞了漢軍士氣，成為漢匈戰爭的轉折點，為以後漢朝的進一步反擊打下了良好的人心基礎。
漢朝對匈奴的反擊，使得匈奴的進犯更加猖狂了。公元前128年（元朔元年）的秋天，匈奴騎兵大舉南下，先攻破遼西，殺死遼西太守，又打敗漁陽守將韓安國，劫掠百姓兩千多人。漢武帝派李廣鎮守右北平（今遼寧省凌源西南），匈奴兵則避開李廣，而從雁門關入塞，進攻漢朝北部邊郡。漢武帝又派衛青出征，並派李息從代郡出兵，從背後襲擊匈奴。衛青率三萬騎兵，長驅而進，趕往前線。衛青本人身先士卒，將士們更是奮勇爭先。斬殺、俘獲敵人數千名，匈奴大敗而逃。
前127年（元朔二年），匈奴集結大量兵力，進攻上谷、漁陽。武帝派衛青率大軍進攻久為匈奴盤踞的河南地（黃河河套地區）。這是西漢對匈奴的第一次大戰役。衛青率領四萬大軍從雲中出發，採用「迂迴側擊」的戰術，西繞到匈奴軍的後方，迅速攻佔高闕（今內蒙古杭錦後旗），切斷了駐守河南地的匈奴白羊王、樓煩王同單于王庭的聯繫。然後，衛青又率精騎，飛兵南下，進到隴縣西，形成了對白羊王、樓煩王的包圍。匈奴白羊王、樓煩王見勢不好，倉惶率兵逃走。漢軍活捉敵兵數千人，奪取牲畜一百多萬頭，完全控制了河套地區。