蘇武牧羊的故事令古今各代的中國人感動，蘇武不屈的英雄形象也起著對後來很多封建王朝對待北狄蠻族的垂范作用——對單于和酋長們「以禮諭之」、「以節斥乏」，這樣的大漢使者們雖然不一定能夠完成外交使命，但在聲名上總會有加分，至少可以達到立言的效果。《漢書》裡，大漢的使節蘇武、張勝、常惠都是好人，而匈奴一邊都是惡棍和奸賊。這是後人在讀《蘇武傳》時很容易產生的感情效果。《漢書》的編纂者班固，也正是帶著這個目的對有關蘇武、匈奴的史料加以處理的。
而事實上，蘇武到匈奴出使時，正值漢匈戰爭最激烈的第一階段剛剛結束。新即位的匈奴單于想用緩兵之計改善與漢朝的關係，爭取時間鞏固內部，所以就主動提出雙方互相釋放扣押在己處的外交使節。當時，漢武帝很痛快地答應了。為什麼呢？這裡邊就有玄機。而且，這個派蘇武出使的時機，從後來的結果看，是非常險惡的，也是蘇武被扣押在匈奴長達19年的最根本原因。因為，漢武帝當時正在策劃一次對於匈奴的攻擊，而且是規模空前的一次攻擊，目的就是要把匈奴徹底消滅。而這次攻擊的大背景，則是當時世界上規模最大、持續最久的戰爭——漢匈百年戰爭。匈奴是漠北一個非常古老的民族。在中原的春秋戰國時代，匈奴還沒有成大氣候，與中原國家也沒有大的交手記錄。那時，北方的晉(後來是趙)、燕等國，主要對手是山戎;西方的泰國，面對的西戎也呈一盤散沙的狀態。
秦朝統一天下後，著力擴張，四面出擊，其中，對北面用兵最狠。秦始皇派蒙恬帶精兵30萬，攜帶當時最先進的復合兵器——弩機，把匈奴的部落驅趕出了其世代棲息的河套一鄂爾多斯一帶，並在那裡設郡築城鎮守。失去了水草肥美的家園，匈奴人只好在大草原裡漂泊流浪。但到後來，匈奴出現了輕騎兵大軍團戰術，這種戰術的精髓，就是人(智慧)、馬(速度)、弓箭(遠程殺傷)合一，呈現出強大的機動性和殺傷力。靠著這一當時世上最強的戰術，匈奴的大英雄冒頓單于統一了北方所有的騎射民族，並組建了多達30萬的人、馬、箭主力兵團。
憑借此，匈奴迅速重新佔據了河套故地，並伸出「右臂」，降服了西域各國，將當時佔據河西走廊的月氏人趕到中亞養駱駝去了;又伸出「左臂」，消滅東胡，一直打到興安嶺以南。然後，匈奴雙臂合攏，準備擁抱中原，卻發現新興的漢朝十分難纏。漢初，因為打楚漢戰爭而民窮財盡，所以，高、呂、文、景四朝，都對匈奴採取和親政策，用美色和奢侈品滿足匈奴上層，延緩戰端，同時，在國內不斷積極備戰。匈奴多次犯邊擄掠，漢軍都只是嚴防要塞、堅壁清野而已。
因為經過幾十年的經營，到武帝時，漢朝國力大增，軍隊實力也得到迅猛發展。更為重要的是，名將衛青、霍去病在漢武帝的授意下，連續對匈奴發動了不計成本和傷亡的攻擊。衛青奪取河套鄂爾多斯，霍去病佔據河西走廊，打通了通往西域的大門。而且，從霍去病開始，漢軍開始對匈奴境內的人口採取了犁庭掃穴式的攻擊，也就是開始了對非戰鬥人員的滅絕式殺掠。匈奴沒有辦法在漠南立足，只好全部避往漠北，等待時機反撲。
而漢武帝這邊幾次派兵到漠北，結果連匈奴的人影都沒見到。於是，漢武帝開始使用外交手段，企圖以派使節交涉的方式，偵察匈奴的虛實，搜集北方的氣候與地理情報。到蘇武出使前夜，武帝已經掌握了匈奴的虛實和位置，準備動手了。還有一個微觀的背景，就是漢不光在打擊匈奴，促使匈奴人大批來降，像昆邪王、休屠王以及後來武帝的托孤重臣金日磾一樣，其實，當時還有大批的漢人也混雜在匈奴人中間。在這樣的背景下，蘇武出使到了匈奴，而且，其副使張勝等還策劃綁架單于的母親，此舉導致兩國外交形勢急劇惡化。在屠刀面前，張勝投降，蘇武不屈被扣。兩國就此事件展開激烈交涉。
恰在這時，不按牌理出牌的武帝，突然發動了對匈奴的新一輪攻勢。當時，霍去病已經早殤，武帝任命了新統帥李廣利。此人是武帝新寵李夫人的哥哥，是新得勢的國舅。衛青當時還健在，但因為衛子夫已經失寵，大將軍衛青只能負責東、西、南三面的戰線，不再參與對匈奴的作戰了。李廣利的軍事水平並不次於衛青，但他的戰績卻遠不如後者。因為，當時漢的軍事潛力和後勤供給能力，都已經遠遠不如衛、霍統率兵馬的時候了。新的一輪攻勢兵分兩路;主力由李廣利率領西進，出河西走廊，直撲匈奴與西域的結合地帶，意圖掃清匈奴對漢朝準備佔據的西域地區的威脅;李廣之孫李陵，率領一支步兵(所有好馬都已經撥李廣利使用)，北上進入匈奴境內牽制單于主力。這一戰漢朝失敗，李廣利先告敗績，李陵也基本全軍覆沒。李陵本人投降後，成了匈奴的大將。
蘇武因此更不可能回到漢朝。漢朝接下來連年進攻失利，匈奴失去西域的大部分土地，也感到了疲憊。於是，兩國較量的核心環節開始從直接軍事對抗，改為主要在西域各國作外交對抗。武帝晚年，國內民窮財盡，上層禍起蕭牆，國家陷入重重危機。主帥李廣利的家眷，因為國內的「巫蠱之禍」被滅，李廣利本人投降匈奴，被單于當作了祭天的犧牲品。而匈奴內部同樣還是天災人禍不斷，並沒有因為李廣利作了犧牲就有所改善，反而天災更加劇烈。古人云，大戰之後，必有凶年。窮兵黷武的漢匈雙方，也逃不脫這個規律。直到『武帝駕崩、昭帝即位後，漢才改善了與匈奴的關係，兩國開始外交談判。但匈奴一直拒絕承認蘇武還活著。當時，匈奴的單于已經換了好幾茬，兩國和議也達成了，為什麼還不願釋放蘇武？
因為，蘇武在北海(今俄羅斯貝加爾湖地區)牧羊的地方正是匈奴與丁令(即後來的鐵勒)的邊界。我們慣常的認識，是蘇武牧羊的地方非常荒涼，沒有人跡，兔子都不拉屎。其實不然，那裡有包括丁令在內的很多遊牧民族，水草肥美，鳥語花香，草原上歌來歌往，熱鬧得很。後來，蒙古人的數次西征，出發點都離那裡不遠。蘇武在北海生活多年，當然就非常瞭解匈奴的生態、氣候與虛實。匈奴給蘇武娶了媳婦(當然是匈奴人)，蘇武在那裡還有了小孩，其中有個孩子名叫蘇通國，後來隨漢使回國，為蘇武延續了香火。在匈奴看來，男丁就是戰士，生育人口當然也就是國防建設的一部分，從這一角度上說，也算是蘇武變相給匈奴作出了貢獻。
這時的匈奴最不希望看到的，是掌握了匈奴虛實與規律的漢使們，回到漢朝，再帶著漢軍來攻打他們。尤其是蘇武這樣的傑出人物，回到漢朝，他就是又一個博望侯張騫了。這就是蘇武一行在匈奴的後期繼續被扣的主要原因，兩國的前仇倒成了其次了。但是，蘇武的部下常惠偷偷把蘇武的情況通報給了漢使(這次會面竟然能實現，說明了漢在匈奴安插了有效的「內鬼」)，這樣單于不得不放歸了蘇武。
蘇武，常惠回國以後，理所當然成為漢制定對匈戰略的高參。常惠後來搞了一個匈奴包圍網，包括匈奴西邊的烏孫、東邊的鮮卑、北面的丁令、南邊的漢朝，趁匈奴內部衰落而發起了對匈聯合軍事作戰。其中，常惠本人作為烏孫軍的參謀長，指揮烏孫軍重創匈奴。這一戰直接導致匈奴內亂分裂，呼韓邪單于南下投降(王昭君嫁的就是此人)。