但是，匈奴人思維單純，認為李牧不敢出戰是個膽小表。即使是趙軍將士中，也有很多人不理解李牧的這種做法，也有與匈奴一樣的想法，趙王也不例外。為此，趙王曾屢次責備李牧，命令他適當地迎敵、出擊，可是李牧還是堅持他一貫的做法。最後，趙王大怒，召回了李牧，派遣另外的將軍代替了他。
在李牧離職的一年多時間裡，匈奴人每次來進犯，新任的趙國將軍都率軍出戰。結果，趙軍每次都是失利，軍隊的傷亡、損失很大，而趙國邊境的居民也不敢耕種、放牧了。趙王只得再請李牧出山收拾殘局，而李牧則以有病為借口，閉門不出。最後，趙王以法令強制他出任邊將，李牧只得服從。但是，他卻對趙王說：「如果大王執意任用為臣，就要聽任為臣以前那樣的做法，如此，為臣才敢接受您的任命。」趙王全部答應了他。
李牧回到北邊境以後，按照他原先的法規、號令辦事。結果，匈奴人連續幾年一無所得，但是，他還是給人以膽小的印象。趙國的將士們時常得到李牧的獎賞，他們卻不隨便使用、花費，覺得自己得到的獎賞與自己的軍功無關，自己受之有愧，始終希望與匈奴人一戰，堂堂正正地得到獎賞。李牧認為軍士的這種心理，正是同匈奴作戰的成熟時機。便精選出一千三百輛兵車、一萬三千匹戰馬、五萬名勇士和十萬名射手，組織他們進行軍事演習。同時，李牧還組織人民放牧，讓民眾、牲畜佈滿原野，來引誘匈奴人。匈奴人看見眼前的利益，便派出小鄙軍隊前來掠奪，趙軍在李牧的指揮下假裝敗逃，故意讓匈奴俘虜自己幾千人。匈奴單于聞訊，便親率大軍入侵。李牧事先佈置好了許多靈活、奇特的戰陣，匈奴進入圈套以後，李牧命令軍隊包抄敵人的兩翼。結果，李牧大敗匈奴，斬殺了十餘萬敵軍。接著，李牧率軍北進，消滅了詹藍，打敗了東胡，又迫使林胡投降，於是，匈奴單于逃往更北的地方。這次戰役以後的十餘年間，匈奴人始終不敢再入侵趙國的邊境城邑。
趙悼襄王元年，廉頗逃到了魏國。趙王只能派遣李牧率軍攻打燕國，拿下了武遂、方城地區。七年以後，秦軍在武遂（今河北磁縣附近）地區擊敗了趙軍，十萬趙軍戰死，趙將扈輒被殺。於是，趙王任命李牧為大將軍，李牧率軍在宜安（今河北石家莊東南）與秦軍交戰，擊敗並且驅逐了秦軍。李牧回到邯鄲，被趙王賜封為武安君。三年以後，秦軍捲土重來，攻打番吾（今河北靈壽西南），李牧又一次率軍迎擊，再次擊敗了秦軍。隨後，他又率軍南進，抵禦韓、魏兩國的進攻。一時間秦國拿李牧毫無辦法，一點兒便宜都沒佔到。可以說，沒有李牧，趙國早就亡國了。
趙王遷七年，秦國派遣將軍王翦率軍攻打趙國，趙王派遣李牧、司馬尚率軍迎擊。秦國暗中賄賂趙王的寵臣郭開，施行反間計。於是，郭開向趙王進讒言，說李牧、司馬尚兵權在手、圖謀不軌。趙王大概遺傳了家族的通病，耳根子軟，相信讒言，完全忘記了自己的父輩長平之敗的教訓，又中了秦國的反間計。趙王於是改派趙蔥和齊國將軍顏聚代替了李牧，李牧卻不肯接受趙王的任命。於是，趙王派人將其秘密逮捕並殺害，司馬尚也被撤銷了職務。三個月以後，王翦乘機猛攻趙軍，趙蔥等人兵敗被殺。不久，秦軍攻入邯鄲，俘虜了趙王遷和諸位大臣，趙國滅亡。