漢武帝把匈奴請求和親的事，給群臣商議，有人主張和親，有人主張趁機讓匈奴臣服於漢。長史任敞說道：匈奴剛被打敗，境困難，應當他們做外臣，每年春秋兩季到邊境上來朝拜皇帝。

漢武帝派長史任敞出使匈奴，向匈奴單于提出了自己的主張。匈奴單于大怒，把任敞扣留在匈奴，不許回去。早年漢朝也招降過匈奴的使者，單于也扣留漢朝使者做為抵償。漢武帝不能容忍匈奴單于扣留漢朝使臣，便重新徵召兵馬，再一次討伐匈奴。沒想到驃騎將軍霍去病去世，漢武帝不得不放棄再次北伐匈奴。

幾年後，伊稚斜單于統治匈奴十三年後去世，他的兒子烏維繼位當了單于，這年是漢武帝元鼎三年。烏維單于繼位，漢武帝開始巡視各郡縣，這段的時間，漢武帝忙於向南討伐南越和東越，沒有討代匈奴，匈奴也沒有進漢朝邊境。

烏維單于繼位三年的時候，漢朝已經把南越滅掉了，派遣原大仆公孫賀率一萬五千騎兵，從九原出塞兩千多里，直到浮苴井才返回，沒有看到一個匈奴人。漢朝又派原來的從驃侯趙破奴率一萬騎兵，從令居關出兵幾千里，直達匈奴的河流才返回，也沒有見到一個匈奴人。

天子巡視邊境，到達朔方郡，親率十八萬騎兵以顯示軍威。又派郭吉出使匈奴，向單于傳話。郭吉到了匈奴，匈奴主客詢問他出使的意圖。郭吉禮貌謙卑，善言溫語地說：我見了單于在親口對他說。

單于接見了郭吉，郭吉說：南越王的人頭，已經懸挂在漢朝京城的北宮門上。如今單于若是敢和漢軍戰，天子親自率兵在邊境上等着，單于若不敢與漢軍戰，就應趕快向漢朝稱臣。何必遠遠的逃跑，躲藏在沙漠以北，又冷又艱苦又缺水草的地方呢，這樣能有什麼作為呢？

單于聽完郭吉的話大怒，立刻殺了允許郭吉進見的那位主客，扣留了郭吉，不放他回去，把他放逐到北海一帶。但單于始終不敢到邊境侵擾奪搶，只是休養士卒和馬匹，練習箭與打獵的技，多次派使者到漢朝，好言好語地請求和親。

漢朝知道匈奴已經衰落，沒有力量敢與大漢抗衡，但仍不放心，便王烏為使臣去窺探匈奴的況。匈奴有法令規定，漢使要不放下旄節，用墨在臉上塗抹，就不能進氈帳。王烏是北地人，悉匈奴風俗，便放下旄節，用墨在臉上塗抹，才得以進氈帳。單于很喜歡他，假說馬上就派遣太子到漢朝做人質，以此要求同漢朝和親。

匈奴的謀臣趙信去世了，漢朝的員以為匈奴已經衰弱，可以讓他臣服於漢了，就派楊信出使。楊信為人剛正倔強，因為他不是顯貴的大臣，單于也不重視他。單于本想召他進帳，但楊信不肯放下旄節，單于只好坐到氈帳外面接見楊信。楊信說道：如果單于真想和親，就要派太子到漢朝去做人質。

單于答道：這不是以前的盟約，按從前的約定，漢朝派遣公主，供給一定等級的綢絹、綿、食等，而匈奴也不再去邊境擾了。如今你們卻想違背以前的約定，讓我的太子去做人質，這樣做和親就沒有希了。

匈奴與漢朝使者往來不斷，漢若扣留匈奴使者，匈奴也扣留漢朝使者，一定要對等，才肯罷休。