汉兴以后，典籍匮乏，只有少量藏匿下来的先秦典籍流传世间，称“古文”书。汉廷在鼓励天下献书的同时，又鼓励年长儒士凭记忆口授经典，派专人笔录，因用汉代通行文字记载，故称“今文”书。

公元前139年，汉武帝修建自己的陵园，称茂陵。次年，强令天下郡国豪强及家赀在三百万以上者迁徙茂陵。司马谈也于这年举家迁到茂陵，司马迁时年十八岁。茂陵与长安近在咫尺，司马迁并不迷恋京师的声色犬马，两年之后便踏上了壮游的旅途。

苏辙评论司马迁的文章风格说：“太史公行天下，周览四海名山大川，与燕、赵间豪杰交游，故其文疏荡，颇有奇气。”司马迁大约在元狩五年（公元前118年）、二十七岁时走上仕途，出仕郎中。据《汉书·百官公卿表》载，郎官“掌守门户，出充车骑”，即皇帝在宫时守卫宫门，出巡时侍从车驾，因而是皇帝的近侍。

司马迁出仕郎中后与父亲太史令司马谈侍从汉武帝出巡，元鼎五年（公元前112年）西行至雍（今宝鸡凤翔），过陇，登崆峒山（今甘肃平凉市）。次年，奉武帝之命出使西南。汉武帝经营西南夷早在建元六年（公元前135年）就开始了，派唐蒙攻略西南，然后两度派辞赋家司马相如出使安抚。
元鼎年间，汉武帝为对西南夷建立有效的统治，在边地推行郡县制度。司马迁此行就是奉武帝之命在西南设郡置吏，由长安西行至巴郡（今四川重庆）、犍为（今四川宜宾），往西入滇，由昆明取道蜀郡（今四川成都）回京师复命。

汉武帝在位54年中见诸记载的巡幸即达34次之多。司马氏父子作为侍臣，几乎每次都随武帝巡行。汉武帝登泰山举行祭祀天地的封禅大礼后，又“东到海上，冀遇蓬莱焉”（《史记·封禅书》），北到碣石（今秦皇岛昌黎）、辽西（郡治今锦州义县），沿秦长城至九原（今内蒙古包头市），然后沿秦始皇修筑的九原至甘泉（今咸阳淳化甘泉山）的直道回到长安。

元封二年（公元前109年）司马迁又侍从汉武帝祠祭泰山，取道濮阳（今河南濮阳）回京。黄河在濮阳瓠子决口二十余年，南面十六郡人民饱受灾害，武帝路过此处，派九卿汲仁、光禄大夫郭昌招募数万民众堵塞决口。
武帝临河边，举行祭河仪式，沉白马玉璧于河，并作歌二首，史称《瓠子之歌》，祭告河伯为生灵造福。在武帝的督率下，终于堵住决口，消除水患。司马迁亲逢其事，感到水之为利大，为害也烈，在《史记》中作专记天下水道形势利害的《河渠书》。

在汉代，史官是世袭的，司马谈卒后第三年即元封三年（公元前108年），司马迁做了太史令，时年37岁。任太史令后，能有机会阅读朝廷贮藏的文书档案，司马迁积极从事《史记》的修撰。

《史记》是司马迁在太史令任上完成的著作，故称《太史公书》，至迟在东汉末桓帝初年改用现称。《太史公书》完成之后抄成两本，副本上献朝廷，正本藏于家中，宣帝时由其外孙杨恽宣布于世，由此名满天下。

《史记·河渠书》是中国第一部水利通史。主要记述从大禹治水开始，到汉元封二年（公元前109年）2000多年的水利史实。《河渠书》按照时间顺序及内容，可划分为五大部分。
第一部分写大禹治水；第二部分写春秋战国时期，各国兴修水利发展生产的概况，记述李冰、西门豹、郑国等人的治水功绩；第三部分写汉武帝大兴水利，引渠灌田，发展漕运；第四部分写汉武帝亲率百官堵塞黄河瓠子决口，取得成功的过程；第五部分记载了各地大兴水利和司马迁对全国水利的考察，反映了他对水利的思考与探究。

司马迁首创了“水利”一词，“自是之后，用事者争言水利”，明确了“水利”的内涵，第一次赋予“水利”以防洪治河、灌溉修渠等工程技术的专业性质。《河渠书》中，兴修水利最多的时期除了汉武帝当朝，就是战国，尤其秦统一六国之前。

汉朝对西南夷地区的新郡县采取的是“故其俗”和“勿赋税”的羁縻政策。不改变当地部落的风俗习惯，也不向他们收税，同时还要给这些部落的首脑很多赏赐，让他们接受汉朝的统治。

在控制了主要交通线和据点之后，汉朝就开始不间断地向西南夷地区移民。对自然环境进行改造的同时，也加快和当地人民的交流和融合，为了引导社会资本加入边疆建设，甚至还鼓励商人到新开辟的郡县去进行商业屯田。在具备了一定的人口基础之后，就开始建立驿站系统和城市，逐步把羁縻郡县变成实际控制的郡县。

汉武帝时期，为了开拓西南地区，汉朝派遣使者出使夜郎，要求其归顺。夜郎国的国王不仅不肯臣服，还嘲笑汉朝的使者，说：“汝何人也？汝能食我乎？”汉朝的使者回答说：“汉皇帝之使也。汉皇帝，天下之主也。汝何敢不服？汝不知夜郎之小乎？”夜郎国的国王听了，大怒，说：“吾闻天子居中土，四夷环之，吾居西南夷，何为四夷？吾欲与天子比隆，何故不可？”

汉武帝听从了张骞的建议，决定从蜀地经西南夷、身毒（印度）达大夏（阿富汗）的道路，开辟一条通往西域的新路，即蜀身毒道。为了开通这条道路，汉武帝对西南夷发动了多次战争，先后设立了益州郡、牂柯郡、象郡、永昌郡等郡县。

蜀汉丞相诸葛亮为了巩固对南中地区的控制，采取了“羁縻之治”的策略，即以汉人为主，夷人为辅，封赏当地的土著首领，让他们自行管理内部事务，只要他们忠于蜀汉，不与外敌勾结，就不过多干涉他们。