張騫是漢中人，漢武帝建元年當過郎。這時漢匈爭戰不斷，漢朝敗多勝。漢武帝從匈奴的俘虜口中得知，匈奴曾打敗了月氏國，並用月氏王的頭骨，加工酒，月氏國非常憤恨匈奴單于，但打又打不過，只好把整個部落向西遷移。

漢武帝知道了這個況，就想與大月氏國結盟，共同對付匈奴。漢武帝招募能夠出使大月氏的使者。張騫以郎份應招出使月氏，和堂邑氏人甘父組一百三十人的使團，從隴西出境。

要去月氏國，必須得經過匈奴的境，在過境匈奴時，被匈奴巡邏兵抓獲。移送給匈奴單于。匈奴單于留住了張騫使團，不允許漢使團北進。張騫以理拒爭說：使團出使他國，經過臨國土地，這是國家的慣例，而大王無端扣留他國使團，天下哪有這樣的道理。

匈奴單于說：“我想派使團出使南越，漢朝皇帝能允許我去嗎？”

匈奴單于扣留張騫十餘年，給他娶了妻子，而且還有了孩子，希用家來拖往張騫，但張騫一直保留着漢朝使者的符節，沒有丟失。

張騫留居匈奴，並有了老婆孩子，匈奴人對張騫的看管日漸寬鬆，張騫因而得以同他的隨從逃向月氏。張騫離開了妻兒，與隨從向西跑了幾十天，到達大宛國。

大宛國早就聽說漢朝國家很富有，一直想與漢朝聯繫，但沒有功。如今見到了張騫，心中高興，便向張騫問道：你想到哪裡去？

張騫說：“我是漢朝使臣，要出使月氏國，卻被匈奴扣留。現在好不容易逃出匈奴，希大王派人護送我們去月氏。要真能到達月氏，我們返回漢朝，漢朝贈送給大王的財，是無法用語言表達的。”

大宛國王認為張騫的話是真實的，就派了嚮導和翻譯，隨張騫到達康居國。康居國又把他轉送到了，大月氏。

這時大月氏的國王已經被匈奴殺死了，又立了他的太子當國王。月氏國王在這裡居住多年，已經征服比較強大的國家大夏。這個地方土地富饒，很有諸侯國敢侵犯月氏國。

張騫來月氏的本意是想與月氏國結盟，共同對付匈奴。但月氏國王心安怡快樂，本沒有替父親報仇的意思，認為漢朝距離月氐太遠，結盟本沒有意義。張騫在月氏等了多日，也沒有得到月氏國聯漢攻打匈奴的明確態度誠。

張騫在月氏國住了一年多，也沒有說服國王與漢結盟，共同對付匈奴。只好返回中原，他沿着南山前行，想通過羌人居住的地區回長安，又被匈奴捉到了，這次張騫在匈奴住了一年多，單于死了，匈奴左谷蠡王攻擊太子，自立為單于，國大，張騫乘機與胡人妻子和堂邑父一起逃回漢朝。漢武帝封張騫為中大夫，封堂邑父為奉使君。