多年之後，漢武帝即位。此時的李廣已是舉國公認的名將之花。新皇帝，新氣象，李廣終於從地方來到了中央，被漢武帝調任未央宮的禁衛軍長官。只是多年的邊地生涯之後，李廣已告別了中年。李廣有個參照，那就是堂弟李蔡。誰都知道，李蔡才幹遠在李廣之下，可是人家李蔡到漢景帝時，已是年俸二千石的高官，漢武帝時，李蔡更是一帆風順地升至列侯，官位達到三公。李廣屬下的軍官和士兵們，也有人得到了侯爵之封。李廣豈能不憂心如焚，總要有個實實在在的東西來證明自己啊！歲月不居，時光如流。在偉大的時代，李廣只能在閒居中打發光陰。
漢朝將軍的後起之秀，大將軍衛青、驃騎將軍霍去病率軍高調出征匈奴，李廣幾次親自請求隨行。天子認為他已年老，沒有答應；好久才准許他前去，讓他任前將軍。這一年是公元前119年。出邊塞以後，衛青捉到敵兵，知道了單于住的地方，就自己帶領精兵去追逐單于，而命令李廣和右將軍的隊伍合併，從東路出擊。東路有些迂迴繞遠，而且大軍走在水草缺少的地方，勢必不能並隊行進。李廣就親自請求說：「我的職務是前將軍，如今大將軍卻命令我改從東路出兵，況且我從少年時就與匈奴作戰，到今天才得到一次與單于對敵的機會，我願做前鋒，先和單于決一死戰。」
大將軍衛青曾暗中受到皇上的警告，認為李廣年老，命運不好，不要讓他與單于對敵，恐怕不能實現俘獲單于的願望。那時公孫敖剛剛丟掉了侯爵，任中將軍，隨從大將軍出征，大將軍也想讓公孫敖跟自己一起與單于對敵，故意把前將軍李廣調開。李廣當時也知道內情，所以堅決要求大將軍收回調令。大將軍不答應他的請求，命令長史寫文書發到李廣的幕府，並對他說：「趕快到右將軍部隊中去，照文書上寫的辦。」李廣不向大將軍告辭就起程了，心中非常惱怒地前往軍部，領兵與右將軍趙食其合兵後從東路出發。軍隊沒有嚮導，有時迷失道路，結果落在大將軍之後。大將軍與單于交戰，單于逃跑了，衛青沒有戰果只好回兵。大將軍向南行渡過沙漠，遇到了前將軍和右將軍。李廣謁見大將軍之後，回到自己軍中。大將軍派長史帶著乾糧和酒送給李廣，順便向李廣和趙食其詢問迷失道路的情況，衛青要給天子上書報告詳細的軍情。李廣沒有回答。大將軍派長史急切責令李廣幕府的人員前去受審對質。李廣說：「校尉們沒有罪，是我自己迷失道路，我現在親自到大將軍幕府去受審對質。
到了大將軍幕府，李廣對他的部下說：「我從少年起與匈奴打過大小七十多仗，如今有幸跟隨大將軍出征同單于軍隊交戰，可是大將軍又調我的部隊去走迂迴繞遠的路，偏又迷失道路，難道不是天意嗎！況且我已六十多歲了，畢竟不能再受那些刀筆吏的侮辱。」於是李廣拔刀自刎，一地鮮血如同梅花飄落。李廣難封的結果也就出來了。漢武帝刁難，衛青想要獨攬大功，李廣運氣不好，都是重要原因。