司馬遷出生於夏陽（今陝西韓城），父親司馬談曾任太史令。很小的時候，司馬遷就隨著父親來到長安，在父親的教導下讀書。司馬遷讀書非常認真，每一本書都要看好幾遍才放下，遇到看不懂的地方，他就刻苦鑽研，或者請教長輩，不弄清楚不罷休。
到了二十歲，單一的閱讀已經不能滿足司馬遷的求知慾了，他決定周遊全國，收集各地資料，進一步豐富自己的閱識。司馬遷去過浙江會稽郡，看到了傳說中大禹召集部落首領開會的地方；來到長沙，站在汨羅江邊緬懷愛國詩人屈原；在山東曲阜看到了孔子講學的遺址；又在沛縣百姓的述說中得到了很多關於漢高祖劉邦起義的事情。司馬遷遊歷了很多地方，認真記錄下每個地方的名人和發生過的重大事情，無形中，他的閱歷得到了增長，也獲得了不少書本上學不到的知識，這為他以後的寫作打下了堅實的基礎。
回到長安後，司馬遷被漢武帝封為郎中官，多次隨漢武帝外出巡遊，後來又被武帝派去出使雲南、貴州、四川等地，視察當地的民情，途中又收集了不少第一手資料。
公元前108年，父親司馬談去世，司馬遷便繼承了太史令的職位，這麼一來，司馬遷能接觸到的書籍越來越多，學到的知識也越來越多。經過多年的積累和收集，司馬遷決定把手中的資料整理編排，寫一部從黃帝時代開始，到漢武帝時期為止的史書。在此之前，他先要完成「太初歷」的制定。
公元前104年，司馬遷和天文學家鄧平等人終於完成了「太初歷」。隨後他便馬不停蹄開始整理資料，編寫史書。
就在這個時候，一件事情改變了司馬遷的處境。
公元前99年，漢武帝派李廣利率領三萬人馬和匈奴作戰，結果被匈奴殺得片甲不留，將士們差不多都犧牲了，只有李廣利死裡逃生。李廣的孫子李陵任軍中的騎都尉，當時也一同出征匈奴，漢軍主力被消滅後，李陵沒有回到長安，而是帶領著五千名步兵繼續和匈奴對峙。單于也調集了三萬騎兵，把李陵的騎兵團團圍住。令匈奴沒有想到的是，雖然李陵的騎兵人數不多，但憑藉著出色的箭術和士兵們勇猛的作戰能力，竟也殺死了五六千名匈奴騎兵，單于不由得對李陵刮目相看，同時調集了更多的士兵來增援。單于原以為這下應該能夠把李陵打敗，料不到仍然是李陵佔了上風，照這樣堅持下去的話，匈奴必定會大敗。可是李陵手下的一名將領出賣了他，這個將領把騎兵隊內部的情況全部告訴給單于，還說漢朝不會派兵來增援李陵。單于聽了後非常高興，連忙命人對弓箭進行改造，集中兵力攻打李陵。在匈奴猛烈的進攻下，李陵和騎兵隊寡不敵眾，廝殺到最後，只剩下四百多士兵衝了出來，李陵則被匈奴活捉了。
被抓住沒多久，李陵就向匈奴投降了。這個消息傳到了長安，武帝和大臣都很吃驚，也很憤怒，大臣們紛紛譴責李陵貪生怕死，怎麼能向匈奴屈服。漢武帝聽著眾人的責罵聲，隨即問司馬遷對這件事情的看法。
司馬遷沉思了一會兒，對漢武帝說：「李陵打了敗仗不假，但他僅僅帶著五千人馬深入匈奴腹地，勇敢地和匈奴作戰，還殺死了很多匈奴人，雖然他現在被俘虜了，還投了降，不過他的功績是有目共睹的。李陵不是貪生怕死的人，他之所以選擇投降，而不是以死效忠國家，一定有他的理由。我覺得他的投降是用來迷惑敵人的，他一定是想趁敵人不注意的時候再次反擊。」
武帝聽了這番話，覺得司馬遷表面上是在讚揚李陵，其實是諷刺李廣利不顧剩餘的軍隊，獨自一人逃回長安。要知道，李廣利是漢武帝最寵愛的一位妃子的哥哥。武帝認為司馬遷故意偏袒有罪之人，反對朝廷，下令把他關進大牢，案子交給廷尉審理。
當時漢朝有一個官吏名叫杜周，特別喜歡對犯人使用酷刑。司馬遷恰好落到他手裡，杜周便在司馬遷身上用盡了所有的酷刑，想讓司馬遷認罪，但是他的計謀沒有成功。不管身體遭受怎樣的痛苦，精神受到多麼嚴重的摧殘，司馬遷始終沒有為自己開脫一句話，只是在心裡反覆問著自己：「難道我說出自己的想法也錯了嗎？作為一個國家的大臣，難道我不能把自己心中的真實想法說出來？」漢武帝聽到司馬遷不肯認罪，乾脆一直把他關在牢裡。過了一段時間，突然傳來了李陵帶領匈奴軍隊攻打漢軍的消息，雖然不知道消息是不是真的，不過漢武帝認定這個消息沒有錯。憤怒的武帝下旨殺死了李陵全家，判司馬遷處以腐刑。腐刑是一種特別殘酷的刑罰，不但給受刑人造成難以磨滅的心理恐懼，被旁人恥笑，還會讓受刑人的祖先蒙羞。司馬遷心如死灰，身體殘廢了，官職也沒有了，還有什麼臉面見人呢？司馬遷想到了死，可是自己的理想還沒有完成，他又猶豫了。
周文王在關押期間寫出了《周易》；孔子周遊列國時被困在陳蔡，後來寫出了《春秋》；屈原在放逐途中寫出了《離騷》；左丘明在失明的情況下寫出了《國語》；孫臏被挖掉了膝蓋骨，仍然堅持寫出了《兵法》。一個人在經受磨難的時候，往往能釋放出異於平常的能力，完成偉大的創舉。想到這些，司馬遷更加堅定了完成史書的念頭，雖然現在的情況不利於自己，但只要心中有信念，就不怕艱難險阻。
公元前96年，漢武帝改元太始，大赦天下，這時候司馬遷已經50歲了。出獄後的司馬遷重新被任命為中書令，很多人都不服氣，認為他倚老賣老。司馬遷一點兒也不在意別人惡意的言語，一心一意編寫史書。
公元前91年，司馬遷終於完成了《史記》的編寫和修改。
《史記》分為一百三十篇，包括十二本紀、十表、八書、三十世家和四十列傳，共約五十二萬字，是後代瞭解史前到漢武帝時期歷史的重要途徑，被稱為「實錄、信史」，還被魯迅先生譽為「世家之絕唱，無韻之《離騷》」，與後世的《資治通鑒》並稱為史學「雙壁」。
《史記》詳細記載了古代一些著名人物的生平事跡，以及重大的歷史事件。司馬遷對很多事情的看法和理解已經超越了當時社會的思想，例如他在記敘對農民起義領袖陳勝、吳廣的時候，就高度肯定了他們做出的貢獻，對其他被壓迫的社會下層人民也給予了深深的同情和歎息。《史記》中的人物描寫和情節描述的語言生動活潑，塑造的人物形象鮮活。司馬遷也因此被後世尊稱為史遷、史聖，而且和司馬相如合稱為「西漢文章兩司馬」。