合軍以後，李廣等人的軍隊因為沒有嚮導，幾次迷了路，所以，落在了大將軍的後面。大將軍與單于交戰，兵力不夠沒有形成包圍，讓單于跑掉了，漢軍沒有能追到他，也就撤退了。李廣所部與大部隊會合以後，衛青派人慰勞李廣，順便詢問他迷路的情況，李廣沒有回答。衛青要上報天子此次戰役的詳情，便命令軍中的長史迅速審問李廣軍中的幕府人員。對衛青積怨已深的李廣，已經快被建功立業的心願折磨得崩潰了，心想還沒和你理論為什麼不給我做前鋒，為什麼要我去曲折迂迴的線路策應呢，現在還要再折磨我的下屬。李廣對部下們說：「你們沒有罪，是我自己糊塗而讓軍隊迷了路。我親自去受審對質。」到了大將軍的幕府，李廣對手下人慨歎道：「我一生裡與匈奴人大了大小七十餘仗。如今，我才有機會跟隨大將軍攻打單于。可是，大將軍卻命令我軍繞遠去迂迴包抄單于，而且我軍又迷了路，這難道不是天意嗎？我已經六十多歲了，畢竟不能再與那些舞弄筆墨的書吏打交道，任其侮辱。」於是，李廣拔刀自盡。得知李將軍的死訊，他的部下無不為之落淚；而老百姓們，不論認識他的還是不認識他的，也不論男女老少，也都為之流淚。
將軍之子
李廣有三個兒子，分別叫李當戶、李椒、李敢，他們都做過郎官。有一次，天子和他的寵臣韓嫣嬉戲，韓嫣的行為有些放肆，對天子也有些放肆，李當戶便要教訓韓嫣，韓嫣立即跑開了。因此，天子心中很看重李當戶，準備委之以重任。但是當戶死的早，天子便任命他的弟弟李椒為代郡太守，可惜也沒有活很長時間。李廣的這兩個兒子都死在他的前面，白髮人送黑髮人，李廣也著實是個傷心的父親了。
李廣自盡的時候，李敢正跟隨著驃騎將軍霍去病。他以校尉的身份攻打匈奴的左賢王，作戰英勇，奪得了左賢王的軍旗和戰鼓，斬殺了很多敵人，因此被封為關內侯，受到兩百戶食邑的獎賞，並接替其父出任郎中令。不久，李敢怨恨大將軍衛青使他的父親含恨而死，就打傷了大將軍，大將軍把這事隱瞞了起來。此後，李敢跟隨天子去雍縣的甘泉宮打獵。驃騎將軍霍去病是大將軍的外甥，他得知李敢打傷了大將軍的消息，一怒之下射死了李敢。霍去病當時正被天子寵幸，所以，天子封鎖了消息，對外隱瞞了真相，故意說李敢是被鹿撞死的。李敢有個女兒是太子的侍妾，很受到太子的寵愛；李敢的兒子李禹也受到太子的信任，但他因為貪圖財物而最終敗了家，李氏家族的聲望和地位一天一天地衰敗下去了。
將門虎孫
李陵是李當戶的遺腹子，李廣的嫡孫。李陵成年以後，被選任為建章營的監督官，監領該營的騎兵。他擅長射箭，愛護士兵。天子認為李家世代為將，就讓李陵率領八百名騎兵。李陵曾經深入匈奴境內兩千餘里，穿過居延海（今甘肅省九泉縣境內），觀察沿途的地形，或許是爺爺的霉運轉到了孫子身上，沒有遇到匈奴的部隊，也就沒有建功立業，於是就撤了回來。後來，天子任命他為騎都尉，率領五千名來自丹陽（今安徽省皖南地區的大部分和江蘇省江南偏西一小部分和浙江省西北一小部分）的楚兵，在酒泉、張掖（兩地在今天甘肅省西北中部）地區操練，同時，駐守邊關，防禦匈奴。
天漢二年的秋天，貳師將軍李廣利率領騎兵三萬人在祁連山一帶攻打匈奴的右賢王。天子命令李陵率領他的部下，從居延海出塞向北行軍一千餘里，企圖以此分散匈奴的兵力，減輕貳師將軍的壓力。到了預定的期限以後，李陵準備撤兵，不料回師的途中遇到了單于的主力，被單于的八萬大軍包圍。李陵的部隊只有五千人，他們邊戰邊退。經過了八天的奮戰，漢軍的箭射光了，士兵死亡超過了半數，但是他們殺傷的匈奴人也有一萬多。漢軍撤退到了距離居延海只有一百多里的地方，匈奴人攔堵住了狹窄的山谷，截斷了通路。漢軍缺少糧食，而救兵又遲遲不到，匈奴人加緊進攻，而且勸誘李陵投降。李陵說：「在如今的這種情況下，我沒有臉面回朝向天子覆命了。」於是，他投降了匈奴，逃回到漢朝的只有四百餘人。