在漢武帝那時，漢廷與匈奴之間時常都有戰事。記得有一次，匈奴想與漢廷和解，於是便派使者來到漢廷要求和解，匈奴爲了表示誠意，把所有扣留的漢朝使者通通都放了回來。漢武帝爲了迴應匈奴這一善舉，派中郎將蘇武拿着旌節，帶一干人等出使匈奴，沒想到卻出了意外。
單于想逼迫蘇武投降，蘇武說："要我投降，除非海枯石爛，日從西升。"他寧死不屈，舉刀自刎，經過搶救才倖免於難。蘇武隨後被單于流放到北海無人區牧羊。蘇武一個人在冰天雪地裏放羊，萬般艱辛。沒有糧食，他就挖田鼠藏在洞裏的食物充飢;口渴了就抓把雪吞下解渴。唯一和他做伴的'就是那根代表朝廷的旌節，日子一久，旌節上的穗子全掉了。
轉眼間十幾年過去了，這時漢昭帝已繼位，匈奴老國王也已駕崩，換了新單于，漢匈議和，漢人和匈奴人通婚。漢昭帝遂派使者前往匈奴，要求放蘇武回去，單于謊稱蘇武已經死去，使者信以爲真，就沒有再提。當漢昭帝第二次派使者到匈奴時，和蘇武一起出使匈奴並被扣留的副使常惠設法買通了禁卒，祕密會見了漢使，把蘇武還活着、正在北海牧羊的消息告訴了漢使，並想出一計，讓漢使對單于講："匈奴既然存心同漢朝和好，就不應該欺騙漢朝。漢朝天子在上林苑打獵時，射到一隻大雁，雁足上繫着一封寫在帛上的信，上面寫蘇武沒死，而是在一個大澤中牧羊，你怎麼說他死了呢?"單于聽後大爲震驚，以爲蘇武的忠義感動了飛鳥，連鴻雁也替他傳送消息了。他無法再抵賴，只能向漢使道歉，把蘇武放了回來。
這就是蘇武牧羊的故事，隨着故事的流傳，鴻雁傳書也廣爲人知，並逐漸演化爲傳信的象徵了。
