還是在漢武帝剛即位的時候，有一次和匈奴打仗，抓了不少俘虜。從俘虜交代的情況中，漢武帝得知在敦煌和祁連附近有一個遊牧民族，名叫大月氏。匈奴和大月氏曾因為爭奪另一個國家的領土發生過衝突，幾次交戰都以大月氏的失敗而結束，匈奴首領老上單于殺死了大月氏的國王，還把國王的頭做成酒杯喝酒。大月氏經過幾次戰爭後，國力衰退，人口急劇減少，只好往西邊遷移，躲避匈奴的追殺，一方面又想把匈奴打敗。漢武帝瞭解這些情況後，認為漢朝可以和大月氏聯合起來對付匈奴，於是漢武帝在全國廣招人才，希望有人能代漢朝出使西域。
這時，有一個人自告奮勇願意出使西域，他就是張騫。漢武帝很欣賞他的勇氣，命他帶領一百人出使西域。有一個歸順漢朝的胡人，名叫堂邑父，因為他瞭解一些西域國家的語言，熟悉路線，漢武帝任命他為嚮導，和張騫一起出行。
公元前139年，張騫一行人從隴西（今甘肅臨洮）出發，朝西邊前進，來到河西走廊。自從大月氏從這兒遷走後，這一地區便成為匈奴人的領地。張騫擔心遇見匈奴人，滿心期望著快點走出河西走廊，沒料到還是被匈奴的騎兵發現了，一行人被俘虜到匈奴王庭（今內蒙古自治區呼和浩特附近），見到了軍臣單于。
軍臣單于當然不會讓張騫去大月氏，他知道漢朝想聯合大月氏一起討伐匈奴，現在抓住了漢朝的使者，軍臣單于決定把他們軟禁起來。去大月氏必須要經過匈奴的領地，不管以後漢朝還要派誰出使西域，都會被匈奴攔住。軍臣單于正是算準了這一點，才敢囂張地囚禁張騫。
為了讓張騫打消出使西域的念頭，一心一意留在匈奴，軍臣單于想出很多辦法來挽留張騫，甚至找了一個匈奴女子給張騫做妻子，還生了孩子。張騫表面上順從匈奴，其實心裡一直沒忘記漢武帝交給自己的任務，他一定要到達大月氏。張騫在匈奴部落裡小心翼翼地生活著，吩咐其他使者假意接受匈奴的各種安排，暗地裡尋找機會逃跑。
到公元前129年，張騫在匈奴社會裡足足生活了十年。匈奴人看到張騫等人沒有任何反抗的舉動，心裡漸漸對他們放鬆了警惕，單于也認為張騫已經斷絕了去大月氏的念頭，願意安安分分地生活在荒漠中。有一天，張騫等到了匈奴人戒備鬆懈的機會，他毫不猶豫地帶領使者們逃出了匈奴王庭。憑著十年間和匈奴的日夜相處，漢朝使者多多少少都學會了匈奴人的語言，加上他們一直穿著匈奴人的衣服，一路上竟也沒被別人發覺。而且張騫預先熟悉了西域的路線，這一次他們沒費多少時間就逃出了匈奴的領地。
逃出來後，張騫才得知西域諸國之間發生了衝突，大月氏被烏孫（今伊犁河流域）和匈奴騷擾，遷移到更西邊的地方，在原來的大夏國定居下來。現在的大月氏距離更加遙遠，張騫等人的糧食和飲水堅持不了那麼長的時間，於是張騫決定先去西南邊的大宛，請求大宛國王的幫助。
一行人從塔里木河向西前進，經過庫車、疏勒，翻過蔥嶺，終於在十幾天後來到了大宛（今烏茲別克斯坦費爾干納盆地）。一路上，很多使者因為沙漠和荒原的惡劣環境而獻出了生命，多虧堂邑父善於射獵野禽，總算沒讓全部人丟掉性命。
大宛國王得知張騫等人的經歷後，表示願意把他們送到大月氏。張騫很高興，承諾回到漢朝後一定稟告漢武帝，回贈禮物和珠寶。大宛國王早就聽說漢朝是個繁榮富強的國家，巴不得和漢朝交好，只是匈奴阻擋在中間，無法聯繫漢朝，張騫的話無疑給大宛國王吃了一顆定心丸。不多久，大宛國就派了幾名隨從和翻譯，帶著張騫來到康居（今烏茲別克斯坦和塔吉克斯坦境內），康居王接著派人把他們送到大月氏。
當張騫把漢武帝的想法和大月氏的人們說了之後，竟然遭到了拒絕。原來大月氏定居的這個地方水草豐美，物產豐富，離烏孫和匈奴都很遠，安穩的生活讓大月氏人忘記了戰爭帶來的痛苦，他們不想再失去領土；而且漢朝和大月氏隔著很遠的距離，匈奴說來就來，漢朝的軍隊卻要花很多時間才能到達。張騫不死心，他索性留在大月氏，試圖說服大月氏國王，眨眼間，一年過去了，大月氏王始終沒有同意和漢朝聯盟，張騫只好帶著遺憾啟程回朝。
公元前128年，張騫從大月氏離開，踏上回漢朝的路。為了防止再次被匈奴人抓住，張騫決定從塔里木盆地的南部穿過去，然後經過莎車、于闐（今和田）、鄯善（今若羌），來到羌人的領地。原以為這次一定能順利回去，誰料到羌人的領地也被匈奴佔領了，匈奴騎兵抓住了張騫和幾名使者，一關又是一年。
公元前126年，匈奴內部發生鬥爭，軍臣單于去世了，他的弟弟左谷蠡王伊稚斜和太子於單打了起來，張騫趁機帶著堂邑父和妻兒逃了出來，這一次，他們終於回到了漢朝。
張騫出使西域前後經歷了十三年，出去時帶著一百多人，回來時只剩下張騫和堂邑父，途中遇到了無數惡劣的環境，還被匈奴囚禁，其中的痛苦旁人如何感受得到？張騫沒有完成漢武帝交給的任務，但他的行為給西域和漢朝帶來了巨大的影響。自古以來，西域就居住著眾多少數民族，由於路途遙遠，一直沒能和中原建立聯繫，張騫第一次出使西域，把漢朝的情況傳播開來，使西域各國逐漸開始來往於中原。張騫回朝後詳細對漢武帝說明了西域各國的位置、特產、城市和路線，這對後來開發「絲綢之路」奠定了基礎，也是第一份詳細講解西域地理風貌的資料。
漢武帝見張騫帶來的有關西域的情況，就封張騫為太中大夫，封堂邑父為奉使君，還賜給他們很多財物。
在大月氏的時候，張騫曾經去過大夏國，從那裡他得知蜀郡西南有一條路通往身毒（今印度），再繼續走就能達到大夏。張騫便上書武帝，說自己願意去打通這條西南夷道，漢武帝給了他很多人馬，張騫把他們分為四隊，分別朝身毒出發。走到昆明的時候，當地人把張騫攔下來，說什麼也不准他從昆明經過。不管張騫怎麼解釋，當地人始終不肯放行，張騫只好返回長安。雖然沒有開拓出新的西域路線，張騫一路上也收集了不少地方民情，總算有了些成果。
後來張騫隨大將軍衛青攻打匈奴，立下戰功，被封為博望侯；接著又和李廣一起討伐匈奴，卻因為延誤軍期被貶為庶人。
公元前119年，漢武帝為了聯合烏孫打擊匈奴，重新封張騫為中郎將，率領300人出使烏孫，並帶去大量牲畜和生活用品。到達烏孫後，張騫分別讓隨從前往大月氏、大宛、康居、大夏國等國家，傳達漢武帝希望交好的意願，各國紛紛派使者跟隨張騫來到長安。
公元前114年，張騫去世，西域各國聽到這個消息後，都表示惋惜。因為西域人民對張騫很是尊重，後來的漢朝使者便借用博望侯的名號和西域各國來往。張騫出使西域，不僅開拓了中原通往西域的道路，把西域的特產引進中原，豐富了中原人民的生活，還影響了世界歷史的發展。