蘇武出使匈奴的第二年，漢武帝派貳師將軍李廣利帶兵三萬，攻打匈奴，打了個大敗仗，幾乎全軍覆沒，李廣利逃了回來。李廣的孫子李陵當時擔任騎都尉，帶著五千名步兵跟匈奴作戰。單于親自率領三萬騎兵把李陵的步兵團團圍困住。儘管李陵的箭法十分好，兵士也十分勇敢，五千步兵殺了五六千名匈奴騎兵，但是匈奴兵越來越多，漢軍寡不敵眾，後面又沒救兵，最後只剩了四百多漢兵突圍出來。李陵被匈奴逮住，投降了。
李陵投降匈奴的消息震動了朝廷。漢武帝把李陵的母親和妻兒都下了監獄，並且召集大臣，要他們議一議李陵的罪行。
大臣們都譴責李陵不該貪生怕死，向匈奴投降。漢武帝問太史令司馬遷，聽聽他的意見。
司馬遷說：「李陵帶去的步兵不滿五千，他深入到敵人的腹地，打擊了幾萬敵人。他雖然打了敗仗，可是殺了這麼多的敵人，也可以向天下人交代了。李陵不肯馬上去死，準有他的主意。他一定還想將功贖罪來報答皇上。」
漢武帝聽了，認為司馬遷這樣為李陵辯護，是有意貶低李廣利（李廣利是漢武帝寵妃的哥哥），勃然大怒，說：「你這樣替投降敵人的人強辯，不是存心反對朝廷嗎？」他吆喝一聲，就把司馬遷下了監獄，交給廷尉審問。
審問下來，把司馬遷定了罪，應該受腐刑（一種肉刑）。司馬遷拿不出錢贖罪，只好受了刑罰，關在監獄裡。
司馬遷認為受腐刑是一件很丟臉的事，他幾乎想自殺。但他想到自己有一件極重要的工作沒有完成，不應該死。因為當時他正在用全部精力寫一部書，這就是我國古代最偉大的歷史著作——《史記》。
原來，司馬遷的祖上好幾輩都擔任史官，父親司馬談也是漢朝的太史令。司馬遷十歲的時候，就跟隨父親到了長安，從小就讀了不少書籍。
為了搜集史料，開闊眼界，司馬遷從二十歲開始，就遊歷祖國各地。他到過浙江會稽，看了傳說中大禹召集部落首領開會的地方；到過長沙，在汨羅江邊憑弔愛國詩人屈原；他到過曲阜，考察孔子講學的遺址；他到過漢高祖的故鄉，聽取沛縣父老講述劉邦起兵的情況……這種遊覽和考察，使司馬遷獲得了大量的知識，又從民間語言中汲取了豐富的養料，給司馬遷的寫作打下了重要的基礎。
以後，司馬遷當了漢武帝的侍從官，又跟隨皇帝巡行各地，還奉命到巴、蜀、昆明一帶視察。
司馬談死後，司馬遷繼承父親的職務，做了太史令，他閱讀和搜集的史料就更多了。
在他正準備著手寫作的時候，就為了替李陵辯護得罪武帝，下了監獄，受了刑。他痛苦地想：這是我自己的過錯呀。
現在受了刑，身子毀了，沒有用了。
但是他又想：從前周文王被關在羑里，寫了一部《周易》；孔子周遊列國的路上被困在陳蔡，後來編了一部《春秋》；屈原遭到放逐，寫了《離騷》；左丘明眼睛瞎了，寫了《國語》；孫臏被剜掉膝蓋骨，寫了《兵法》。還有《詩經》三百篇，大都是古人在心情憂憤的情況下寫的。這些著名的著作，都是作者心裡有鬱悶，或者理想行不通的時候，才寫出來的。我為什麼不利用這個時候把這部史書寫好呢？
於是，他把從傳說中的黃帝時代開始，一直到漢武帝太始二年（公元前95年）為止的這段時期的歷史，編寫成一百三十篇、五十二萬字的巨大著作《史記》。
司馬遷在他的《史記》中，對古代一些著名人物的事跡都作了詳細的敘述。他對於農民起義的領袖陳勝、吳廣，給予高度的評價；對被壓迫的下層人物往往表示同情的態度。他還把古代文獻中過於艱深的文字改寫成當時比較淺近的文字。人物描寫和情節描述，形象鮮明，語言生動活潑。因此，《史記》既是一部偉大的歷史著作，又是一部傑出的文學著作。
司馬遷出了監獄以後，擔任中書令。後來，終於鬱鬱不樂地死去。但他和他的著作《史記》在我國的史學史、文學史上都享有很高的地位。