唐通所到的夜郎国，位处巴蜀之南，称为“南夷”此外还有巴蜀之西的“西夷”也就是临邛西北、西南的所谓“椎髻之民”如“邛”、“笮”、“冉囗”
等等部落，他们与夜郎不同，夜郎由于交通隔绝，与巴蜀的汉人很少往来，而西夷与临邛等地，一向保持着贸易关系。当司马相如回蜀时，他们羡慕南夷’，得到汉家许多赏赐，曾表示出愿意归化的意向，司马相如觉得这是一个很好的题目，所以在报告抚慰经过的时候，附带也提到了这一件事。
于是武帝要他陈述意见。他说：那些西夷离蜀郡很近，交通方便，秦朝曾立为郡县。现在真的要文郡置吏，决不会像收服南夷那样麻烦。
费力少而收功大，武帝自然赞成。便也拜司马相如为“中郎将，建节”所谓“建节”就是担任天子的特使。“节所以为信也”一根八尺长的竹竿，挂一串牦牛尾巴毛，就是“节”对外国来说，这就等于“特命全权大使”的“国书”
司马相如是正使，还有三个副使，名叫王然于、壶充国、吕越人。壶充国后来当过武帝的“外交部长”——大鸿胪卿。
持节的特使，对国内来说，正就是后世的所谓“钦差大臣”威风非凡，在旅途中，交通食宿，无不优先。到了蜀郡，因为是他奉使而来的目的地，迎接的礼节，更见隆重。
司马相如坐的是四匹马拉的驿车，将到成都，蜀郡太守率领僚属父老，出城迎接。县令“负弩矢前驱”这就是亲自替他担任警卫清道的工作。不但为了表示尊敬，而且也确认他是一位重要人物，如果有人站在高处，可能会行刺时，就可以先发制人，一箭将他射死。
自秦代开郡以来，成都还是第一次有这样一位显要莅临，而此显要又是本地人，足为乡邦增光，所以从进入汉中开始，蜀人就把司马相如的衣锦还乡，当作一件大新闻，艳羡以外，觉得与有荣焉。欢迎的热忱，前所未见。
就这样一直到了临邛。临邛的县令自然早就不是王吉了，但他这一次重来，比第一次作王吉的上宾时，还要荣耀。而最兴奋的是卓王孙，他会同地方上的绅士，列队迎接，献上牛酒，慰劳他的从人。自然，还要大张筵宴，来欢迎他和他的副使。
回首前尘，卓王孙想到司马相如，当年穿了一条“犊鼻裤”亲自洗涤酒器的情形，自不胜今昔之感。再想想当年为他难为情，甚至不敢出门，而此刻是“钦差大臣”的老丈，顾盼得意之余，不免愧悔，喟然而叹：“唉！应该早把文君嫁给他的。”于今补过之道，只有拿文君另眼看待，因而重新分家，文君所得的财产，与她哥哥的所得，完全相同。
这是司马相如的意外收获。但是，在公事上，却有问题。蜀中父老以司马相如为荣，只是因为他被拜为“中郎将，建节”等到他召集会议，说明使命，大家的反应却很冷淡，最主要的一个原因是，这一下又要地方上贡献物力和人力了。
为了诏谕难回，再经过卓王孙的斡旋，司马相如总算取得了地方上的支持。他的使命是以慰抚为原则，办的是“送礼外交”西夷本来就贪图汉家的赏赐，自然乐于内附，所以司马相如此行，相当顺利。但深入蛮荒，无论如何不是一件轻松的事。
所谓“西夷”至少有二十多个部落。云南以北“邛都”最大，那地方在今西康西昌的东南。邛都人依山而居，累石为屋，有高至十余丈的，汉人称它为“邛笼”而他们自己称为“雕”碉堡的调，就是由这个“雕”字演变来的。
第二个大部落称为“筰都”司马相如成都附近的笮桥之笮，与此筰相通，都作竹索的解释。那里的夷人，用竹索作吊桥，攀缘而渡，十分不便，司马相如替他们造了一座桥，从此“邛、筰”联在一起了。
再有一个比较大的部落“冉囗’，就是当初卓王孙的祖父，由汉中到剑阁，说有大芋头，不愁饿死的那个地方，在江山之下，即今四川茂县地。冉囗的种族特别复杂，据《汉书》记载，汉山上有六夷、七羌、九蛮，各有部落。这样一个由三种种族，二十二个政治单位所组成的部落，居然也为“口吃”的司马相如所说服，亦非易事。
于是邛峡以东，大渡河以西，北起汉山，南迄云南边境，这一片约三万五千平方公里的长方形土地，从此归入汉家的势力范围。西夷各部落，正式成为汉朝的属国，司马相如重新调整县区，整理交通，并奏准设一个“属国都尉”的职官，加以管理。
令人丧气的是，武帝虽赞赏他的功劳，但朝中颇有些大臣，与巴蜀的士绅，持着同样的观点，认为通西南夷这件事，是无益的浪费。司马相如怕引起争论，在皇帝召集“廷议”时，自己因为口吃的缘故，辩不过别人，所以又做了一篇文章，作先发制人的解释。
这篇文章是假设他经营西夷，告一段落，回到成都时，有二十七个地方父老士绅去看他，提出质询，他又如何解释必须要通西夷的道理。这篇文章中有好些警句，说：“世必有非常之人，然后有非常之事。有非常之事。然后有非常之功。”常人对非常之人，非常之事，自然莫测高深，因为莫测高深，不免戒惧不安，所以他接下来说：“非常者，固常之所异也。故曰：非常之原，黎民惧焉。”接着引用《诗经》中“普天之下，莫非王士。率土之滨，莫非王臣”的话，大事发挥天下必须统一，教化必须普及的理论，以为他的开山架桥，扩大边关来促进与西夷的交通，是“创道德之途，垂仁义之统”结论中又有警句：“夫王事，固未有不始于优勤而终于佚乐者也”指出有耕耘必有收获，于是来质询的父老士绅为他说服，欣然表示，不论老百姓如何艰困，一定支持朝廷的决策。这样的文章，武帝自然欣赏，他下令把这个文件颁行巴蜀，让大家了解天子的苦心。
有此一番经过，司马相如原以为可以安然无事。哪知又有人密告他贪污，说他出使西夷时，受了对方的贿赂。这自然是诬告。西夷愿意内附，原在贪图赏赐，哪有财物行贿？而司马相如又唯恐西夷不内附，有求于人，只当行贿，不宜受贿。况且他正从岳家分得一大笔财产，何必又受西夷之贿？凡此皆是情理上说不通的事。
可能仍旧是吃了他口吃的亏，对此事竟无法辩白，也可能他因为立功万里而横遭打击，心灰意懒，不作辩白。总之，在这件案子上，他得到免职的处分。
闲住了一年多，武帝又想起了他，复召为郎——那是他第三次做这个官，但看破仕途，官兴已大不如前。同时也因为生了消渴疾——糖尿病，不耐劳苦，常请病假。好在文君有钱，生活优裕，不妨在家饮酒作文，享他的清福。偶而武帝巡幸离宫别苑，也召他侍从。一次在陕西囗囗县东南的长杨宫，因为武帝喜欢亲自猎射熊与野猪之类的野兽，容易发生意外，特地作赋谏劝。他的几篇有名的赋，几乎都为武帝而作，其中有一篇例外，那就是《长门赋》。
汉武帝的第一个皇后，是他的表姊妹，馆陶长公主的女儿。馆陶长公主尚堂邑侯陈午，生女小名“阿娇”当武帝已被封为胶东王，大约五、六岁时，馆陶长公主携女入宫，探望胶东王的生母王夫人，把她的那个早慧的内侄抱在膝上，戏谑地问他将来愿意娶什么人作妻子。指这个。他不要，指那个、他不要，最后指着她的女儿问：“阿娇好否？”
胶东王笑着道：“好”说是“若得阿娇作妇，当作金屋以贮”这就是大家耳熟能详的“金屋藏娇”的典故。但这一番戏谑，竟致改变了历史，因为弄假成真，馆陶长公主真个向景帝提议，中表联姻。景帝最听他姊姊的话，欣然同意，立阿娇为胶东王的妃子。