劉元海，新興匈奴人，是漢時匈奴領袖冒頓的後裔，他的名與唐高祖李淵相同而犯忌諱，所以只叫他的字。
當年，漢高祖將一位同宗的女兒封為公主，嫁給冒頓，並與冒頓相約為兄弟，所以，冒頓的子孫都以劉氏為姓。建武初年(25)，烏珠留若革是單于的兒子右奧革建日逐王比自稱南單于，進入西河的美稷定居，現在離石的左國城就是單于遷移的宮廷。中平年間(184～190)，單于羌渠派兒子於扶羅率兵援助漢朝，討伐、平定黃巾軍。當時正碰上羌渠被國人所殺，於是，於扶羅將所率的兵眾留駐在漢朝，自稱為單于。緊接著董卓叛亂，於扶羅率兵攻擊、劫掠太原、河東，最後駐紮在河內。於扶羅死後，他的弟弟呼廚泉繼位，任命於扶羅的兒子劉豹為左賢王，劉豹就是劉元海的父親。後來，魏武帝將呼廚泉的兵眾分為五部，任命劉豹為左部帥，其餘部帥也都由劉姓擔任。太康年間(280～290)，改變舊制，設置都尉，匈奴各部中，左部居住在太原的茲氏，右部居住在祁地，南部居住在蒲子，北部居住在新興，中部居住在大陵。劉姓雖然分居在五部，但是，從大的範圍上看，他們都是居住在晉陽的汾水和澗水一帶。
劉豹的妻子呼延氏，魏嘉平年間(249～254)，曾在龍門祈求神賜給她兒子，不一會兒，有一條頭上長有兩隻角的大魚，擺動著鰭，晃動著鱗游到祭神的地方，很長時間以後才遊走。巫師們見到這種情景都感到非常奇異，他們說：「這是好的徵兆。」當天晚上呼延氏夢見白天所看見的那條魚變成了人。他左手拿著一樣東西，約有半個雞蛋大，景象誘人。他交給呼延氏說：「這是太陽的精華，吃了它就能生下貴子。」醒後，呼延氏講給劉豹聽，劉豹說：「這是好的徵兆。以往，我讓邯鄲張礒的母親司徒氏給我看相，她說我會有顯貴的子孫，三代後我們家一定非常昌盛，司徒氏的話與現在發生的事情是相符的。」此後，過了十三個月，呼延氏生下了劉元海。劉元海生下時，左手上有淵字的紋路，於是，劉豹就以淵作他的名。小的時候，劉元海非常聰慧，七歲時，他母親去世，他捶胸頓足，嚎啕大哭，鄰居們都被他的悲傷所感動，宗族、部落的人都讚賞他的孝順。當時，太原人司空王昶等人聽說後也非常讚賞劉元海，並且，派人前去弔唁。劉元海幼年愛好學習，拜上黨人崔游為老師，學習《毛詩》、《京氏易》、《馬氏尚書》，他尤其愛好《春秋左氏傳》、《孫吳兵法》這兩部書，大致都能誦讀，而《史記》、《漢書》、諸子的著作，沒有不閱讀的。劉元海曾經對一起學習的同學朱紀、范隆說：「我每次看書傳的時候，往往禁不住要鄙棄隨何、陸賈的缺乏武功，周勃、灌嬰的缺少文才。道是由人來發揚光大的，一個方面的知識不瞭解，本來就是君子所看不起的。隨何、陸賈遇上高皇而不能夠建立起封侯的功業，周勃、灌嬰跟隨太宗而不能開創教化的大業，可惜啊！」於是，開始學習武學知識和技能，精妙出眾，他臂長而善於射箭，體力超過一般人。姿態、儀表魁梧，身高八尺四寸，鬍鬚長三尺多，心口上有三根紅色的毫毛，長三尺六寸。當時，屯留人崔懿之、襄陵人公師..等都善於給人看相，見到劉元海，他們都非常驚奇，並且相互轉告說：「這人的形體、相貌不一般，是我從來沒見到過的。」於是，他們對劉元海都非常崇敬，彼此間按照名分建立起了恩情。太原人王渾像對待朋友一樣虛心地對待他，並且讓他的兒子王濟拜見他。
鹹熙年間(264～265)，劉元海作為人質住在洛陽，文帝非常友好地對待他。泰始(265～275)之後，王渾又多次在武帝面前推薦他，於是，武帝召見他，與他交談，非常賞識。武帝對王濟說：「劉元海的容顏、儀表，即使是春秋的由余、漢代的金日石單也不能高出他。」王濟接著說：「元海的外在儀表、容顏，實在如陛下您所說，然而，他的文武才幹又超出由余、金日石單很遠啦。陛下您若能委任他統領東南地區的事務，那麼，吳會地區就不愁不能平定。」武帝欣然讚許。可是，孔恂、楊珧又進言說：「依我觀察，劉元海的才幹現在恐怕沒有人能與他相比，陛下您若是不重用他，他就成不了大氣候，若是授予他權力，樹立他威望，那麼，平定吳地之後，恐怕他就不再向北渡江回師了。劉元海與我們不是一個民族，他必然會有異心。現在，委任他治理本部的事務，我們已為陛下您感到寒心，若是還要將天然險阻之地賜給他，恐怕是不行的。」武帝默然不語。
後來，平定秦州、涼州的晉軍潰敗了，武帝訪求將帥們收復失地的辦法，上黨人李..說：「陛下您若是真的能夠征發匈奴五部的兵眾，授予劉元海一個將帥的封號，讓他們向西部進軍，那麼，西部的秦州、涼州便指日可定。」孔恂說：「李公的話，不完全符合消除禍患的情理。」李..勃然大怒道：「憑匈奴人的強悍，劉元海的熟悉兵法，讓他們奉命去顯示皇上的聖武，有什麼不能得到！」孔恂接著說：「劉元海若是能夠平定涼州，斬殺樹機能，恐怕涼州境內又有亂了。蛟龍得到雲雨，就不再是池塘中無法施展能耐的小東西了。」武帝於是放棄任用劉元海的打算。後來，王彌從洛陽回東邊，劉元海在九曲河濱為王彌餞行，流著淚對王彌說：「王渾、李..因為同鄉的緣故而對我有所瞭解，他們常常稱道、推薦我，可是，一些人也乘機向皇上大進讒言，這一些，都不是我所希望的，相反，剛好足以對我構成危害。我本來並沒有做官的想法，這一點，只有您明瞭。恐怕我會死在洛陽，永遠與您訣別了。」於是情緒激昂，盡情地喝酒，大聲地慨歎，大聲地呼叫，聲音嘹亮，在坐的人禁不住因此而流淚。齊王司馬攸當時正在九曲，聽說這件事派人快馬去察看，看見劉元海正在那裡，於是對武帝說：「陛下您如果不除掉劉元海，恐怕并州就不能夠長久地安定。」王渾又進言道：「劉元海是長者，我王渾替君王擔保講明這件事。況且大晉正要向少數民族表明用誠信相待，用德政使遠方的人歸附，怎麼能夠憑連萌芽狀態都沒有的嫌疑殺戮別人送來伺候的人質，以表明晉朝恩德不廣呢？」武帝說：「王渾說得對。」
當時，正碰上劉豹去世，於是，任命劉元海代理左部部帥。太康末年(290)，晉武帝又封劉元海為北部都尉。劉元海在任期間，嚴明刑法，禁止各種邪惡的行為，他不看重財物，愛好施捨，與他人相交，推誠相見。這樣，五部的豪傑都紛紛投奔到了他的門下，幽州、冀州知名的儒生，後學中傑出的人士，不遠千里，也都來此遊歷。楊駿輔助朝政時，任命劉元海為建威將軍、五部大都督，封為漢光鄉侯。元康末年(300)，劉元海因為部人叛逃出塞而被免官。成都王司馬穎鎮守鄴城，上表推薦劉元海做寧朔將軍、監五部軍事。
晉惠帝時，皇室漸漸失去了對國家政權的控制，賊寇、強盜大批地出現。劉元海的堂祖父，原來的北部都尉、左賢王劉宣等人秘密地商議說：「以往，我們的先人與漢朝約為兄弟，憂和喜共同享有。漢朝滅亡以來，魏、晉繼而興起，我們單于，雖然有一個空虛的名號，可是，不再擁有哪怕一尺土地的基業，從王侯慢慢下降到同平民差不多了。現在司馬氏親骨肉間相互殘殺，天下一片動盪，我們建立國家、復興祖業，大概就在這時了。左賢王劉元海的姿貌、風儀和才能超人絕世，上天倘若不是要光大單于，不就虛生這種偉人了嗎？」於是，秘密地共同推舉劉元海為大單于，並且派他們的黨羽呼延攸到鄴城，將秘謀的內容告訴給劉元海。劉元海請求回故地會合行送葬之禮，司馬穎沒有答應。於是，劉元海讓呼延攸先回去，告訴劉宣等人招集五部人眾，會同宜陽的諸多胡人，表面上宣稱響應司馬穎，實際上是要反叛司馬穎。
司馬穎做皇太弟，任命劉元海為太弟屯騎校尉。晉惠帝討伐司馬穎，駐紮在蕩陰，司馬穎任命劉元海代理輔國將軍，負責北城防守諸事務。等到惠帝六軍戰敗的時候，司馬穎又任命劉元海為冠軍將軍，封為盧奴伯。不久，并州刺史東贏公司馬騰、安北將軍王浚，起兵討伐司馬穎，劉元海勸司馬穎說：「現在二鎮的人驕橫、強暴，兵眾十萬，恐怕不是宿衛軍以及都城附近的兵士所能抵抗得了的，我請求回去為殿下您勸說五部的人馬來赴國難。」司馬穎說：「五部的人馬可以擔保前來不？即使能夠前來參戰，鮮卑、烏丸之人強勁、快捷如同風雲，是那麼容易抵擋的嗎？我想護送皇上回洛陽，以避開他們的鋒芒，接著再慢慢地告示天下，以叛亂的名義，名正言順地制服他們。您認為怎樣？」劉元海回答說：「殿下是武皇帝的兒子，對王室有突出的功勞，有威望、恩澤廣，天下人都欽佩您的風範，誰不想為殿下您赴湯蹈火、獻出生命呢？這種情況下，征發士兵有什麼困難呢？王浚是個小人，東嬴公只是個偏遠的旁枝，他們哪能與殿下您抗衡！殿下您如果一離開鄴宮，就等於向他人示弱，這樣，洛陽到達得了嗎？縱然到達洛陽，恐怕威望、權力就不在殿下您的手裡。一紙檄文，一尺書信，有誰肯去為他人尊奉這些！況且東胡的強悍不能超過五部之人，希望殿下您鼓勵、安撫兵眾，平定混亂，鎮守住鄴城，我當為殿下您以二部的兵力摧毀東嬴公，以三部的兵力斬殺王浚，兩個小人的首級指日就可懸掛在鄴城城頭。」司馬穎非常高興，於是封劉元海為北部單于、參丞相軍事。
劉元海到左國城後，劉宣等人尊奉他大單于的封號，二十天之內，兵眾已達五萬，他們在離石建都。
王浚派將軍祁弘率領鮮卑兵眾進攻鄴城，司馬穎戰敗，於是，挾持天子向南朝洛陽奔逃。劉元海說：「司馬穎不聽我的話，自己向相反的方向潰逃，真是奴才。然而我與他有言在先，不能不去救他。」於是，命令右於陸王劉景、左獨鹿王劉延年等人率領步兵騎兵二萬人，將去討伐鮮卑人。劉宣等人堅決勸阻道：「晉朝昏庸無道，他們像對奴隸一樣對待我們，所以右賢王劉猛非常憤怒，承受不了心裡的怨恨，想有所作為，當時正碰上晉朝綱紀還未鬆弛，大事還沒有成就，右賢王就被殺戮，這是單于的恥辱啊。現在，司馬氏父子兄弟互相殘殺，這是上天厭惡晉朝的德行，將天下授予我們。單于積德在身，連晉人都佩服，現在，正應該振興我們國家和民族，恢復呼韓邪的基業，這樣，鮮卑、烏丸可以作為我們的援助力量，怎麼可以阻擋他們而去拯救仇敵呢！現在，上天借我們的手來消滅晉朝，不能夠違背天意。違背天意就不吉祥，違背眾人的意願就不能成就事業。上天賜予了而不接受，反過來就會受到上天的責備。希望單于不要遲疑了。」劉元海聽後，說道：「說得對。應該做高山峻嶺，怎麼能甘心做低矮的小土丘呢！天下的帝王也不是固定不變的，大禹出自西戎，周文王出生在東夷，誰該做帝王，只是按德行的高低授予。現在，我們有兵眾十多萬，而每個人都相當於晉朝十個人，如果我們擊鼓進軍、摧垮晉朝，必將如同摧枯拉朽。這樣，最理想的，可以成就漢高祖一樣的基業，最差的，也不失做一個魏氏。雖然結果將是這樣，但是晉朝的百姓不一定贊同我們。漢朝統治天下的時間久長，他們的恩澤深入人心，所以，昭烈帝僅在一州的土地上奔馳，就可以與天下相抗衡。我又是漢朝劉氏的外甥，我們的祖先曾與漢朝相約為兄弟，兄長滅亡了，弟弟來繼承，不也是應該的嗎？況且，我們還可以稱漢，追認、尊奉後主，以此來使天下人的期望歸向我們。」於是，遷都到左國城。不久，遠方來歸附的人達到數萬。
永興元年(304)，劉元海在南郊築壇設祭，僭位就任漢王之職，他下令說：「以往，太祖高皇帝憑借他的英明、勇武而應天時，開闢偉大的事業，太宗孝文皇帝又以賢明聖德，使漢朝太平、興盛，世宗孝武皇帝擴展疆土，驅逐東夷，疆土超過唐堯時期，中宗孝宣皇帝，器重、招納傑出的人才，士人們大多集聚在朝中。以上這些表明，我們的祖宗，在道義方面超過了三王，在功績方面高過五帝，所以，用占卜預測享國的年數，是夏商的一倍，用占卜預測傳國的世數，超過了周代。然而，元帝、成帝多信邪僻，哀帝、平帝享國短暫，賊臣王莽，罪惡地篡奪政權，給漢朝帶來了巨大的災難。我世祖光武皇帝，天生資質勇武，恢復了漢朝宏大的基業，他祭祀神靈，使漢朝重配上天，恢復以往的一切，使昏暗的三光器再現光輝。神器沒而復顯，顯宗孝明皇帝、肅宗孝章皇帝，歷代重放光輝，光芒再現。然而，從和帝、安帝以後，國家的綱紀日漸衰敗，政事步履艱難，國家瀕臨於滅亡。黃巾軍在九州氾濫，眾宦官在天下橫行，董卓因此而極盡猖狂，曹操父子則凶殘叛逆相繼。所以，孝愍帝棄置萬國，昭烈帝流亡岷蜀，希望否極泰來，最終返回舊京。哪裡想到上天不追悔已造成的禍亂，蜀漢後主窘迫受辱。從國家淪喪到現在，漢朝的宗廟沒有血祭已經四十年了，現在，上天改變了原來的初衷，開始追悔皇漢造成的禍亂，使司馬氏父子兄弟輪番相互殘殺。百姓困苦，無處控告。現在，我被公卿推舉，繼續建立三祖的事業。一想到此重任，便不免擔心、害怕，甚至不知所措。但是，因為大恥還未洗刷，國家沒有君主，所以我斗膽接受這個位置，盡力聽從大家的決定。」於是，赦免境內囚犯，定年號為元熙，追尊劉禪為孝懷皇帝，建造漢高祖以下三祖五宗的神位進行祭祀。妻子呼延氏為王后，設置百官，任命劉宣為丞相，崔游為御史大夫，劉宏為太尉，其餘的人授官各有等差。
東嬴公司馬騰派將軍聶玄討伐劉元海，在大陵展開大戰，聶玄軍大敗，司馬騰害怕了。於是，率領并州二萬多戶百姓逃到山東，到處侵犯、騷擾。劉元海派遣建武將軍劉曜進攻太原、泫氏、屯留、長子、中都，這些地方都被攻下。元熙二年(307)司馬騰又派司馬瑜、周良、石鮮等人率軍討伐劉元海，他們駐紮在離石的汾城。劉元海派遣武牙將軍劉欽等六軍迎戰司馬瑜等人。四次交戰，司馬瑜都被擊敗，於是，劉欽整頓軍隊，凱旋回師。這一年，離石大鬧饑荒，劉元海遷居黎亭，以便食用邸綁屯積的糧食。劉元海留太尉劉宏、護軍馬景守離石，派大司農卜豫運送糧食供給他們。接著，任命前將軍劉景為使持節、征討大都督、大將軍，在版橋截擊并州刺史劉琨，被劉琨擊敗，於是，劉琨進據晉陽。侍中劉殷、王育規勸劉元海道：「殿下您從起兵到現在已經一週年了，然而，只據守在偏遠的地方，威望還未遠震，如果真的能夠命令將士四出攻擊，抓住機會，大膽地決戰，斬殺劉琨，平定河東，建立皇帝的名號，向南大舉進軍，攻克長安，並將它作為國都，再率領關中的兵眾席捲洛陽，就像轉動指掌一樣容易。這也是高皇帝之所以能開創宏基、消滅強楚的策略。」劉元海高興地說道：「這就是我所想的啊。」於是進據河東，攻擊蒲阪、平陽，都被攻陷。接著，劉元海進入蒲子，並將它作為都城，河東、平陽屬縣的各壘壁都投降了他。當時，汲桑在趙魏起兵，上郡四部鮮卑陸逐延、氐族酋長單于征、東萊人王彌以及石勒等人都相繼投降劉元海，劉元海都給他們封了官爵。
永嘉二年(308)，劉元海僭位做皇帝，大赦境內囚犯，改年號為永鳳。任命大將軍劉和為大司馬，封為梁王，尚書令劉歡樂為大司徒，封為陳留王，御史大夫呼延翼為大司空，封為雁門郡公，宗室中以親疏為等級，都封為郡縣王，異姓中以功勞、謀略為等級，都封為郡縣公侯。太史令宣於修之對劉元海進言道：「陛下您雖然如龍騰起，如鳳翱翔，接受大任，然而，晉朝餘部尚未消滅，皇族居室窄陋，紫宮星座的變化，還指向晉氏，不出三年，必定能夠攻克洛陽。蒲子地域崎嶇狹小，不可長久安身。平陽有天子之氣，又兼是陶唐的舊都，希望陛下您上合天象之變，下合地理之祥。」於是遷都至平陽。有人從汾水中得到玉璽，上面的文字是「有新保之」，大概是王莽時的玉璽，得到的人順便增加了「淵海光」三字，劉元海認為是自己的好徵兆，於是大赦境內囚犯，改年號為河瑞。又封他的兒子劉裕為齊王，劉隆為魯王。
不久，劉元海命令兒子劉聰和王彌進攻洛陽，劉曜和趙固等人作為後繼。東海王司馬越派平北將軍曹武、將軍宋抽、彭默等人迎戰，晉軍大敗。劉聰等率軍迅速到達宜陽。平昌公司馬模派將軍淳於定、呂毅等率軍從長安討伐劉聰軍，在宜陽決戰，淳於定等大敗。劉聰依仗連續的勝利，沒有設防，弘農太守垣延假稱投降，乘夜偷襲，劉聰軍大敗而回，劉元海穿著白衣服前來迎接。
這年冬天，再次征發士卒，派遣劉聰、王彌與劉曜、劉景等人率領精銳騎兵五萬去進攻洛陽，派呼延翼率步兵接應，結果，在黃河南面將晉軍打敗。劉聰進軍，駐紮在洛陽西明門，晉朝護軍賈胤乘夜接近他們，在大夏門大戰，斬殺劉聰的將領呼延顥，呼延顥軍潰敗。劉聰向南撤退，在洛水構築壁壘，不久，又進駐宜陽門，劉曜駐紮在上東門，王彌駐紮在廣陽門，劉景攻擊大夏門，劉聰親自到中岳嵩山求神，命令將領劉厲、呼延朗等負責指揮留守的士兵。東海王司馬越命令參軍孫詢、將軍丘光、樓裒等人率領手下勇士三千，從宜陽門攻擊呼延朗，斬殺了他。劉聰得到消息後快馬趕回，劉厲因害怕劉聰給自己治罪，於是投水而死。王彌勸劉聰說：「現在既然失利，而洛陽又非常牢固，殿下您不如回師，以後再慢慢地圖謀。我當在兗州、豫州之間招募兵士，收聚糧食，以等待進攻的日期。」宣於修之又勸劉元海說：「辛未那一年，當攻下洛陽。現在晉朝的紫氣還很盛，大軍不回，必定失敗。」劉元海派黃門郎傅詢快馬召劉聰等回師。王彌從頧轅撤出，司馬越派薄盛等人率兵追擊，雙方在新汲大戰，王彌軍大敗。於是整頓蒲阪的防守，回到平陽。
劉元海任命劉歡樂為太傅，劉聰為大司徒，劉延年為大司空，劉洋為大司馬，赦免境內囚犯。又立妻子單氏為皇后，兒子劉和為皇太子，封兒子劉砬為北海王。
劉元海臥病，準備囑托後事，任命劉歡樂為太宰，劉洋為太傅，劉延年為太保，劉聰為大司馬、大單于，並且統領尚書事務，在平陽西部建造單于台，任命他的兒子劉裕為大司徒。劉元海病重，召劉歡樂和劉洋等人到宮禁中接受遺詔，輔助朝政。永嘉四年(311)，劉元海病筆，共在位六年，偽謚光文皇帝，廟號高祖，墓叫永光陵。他的兒子劉和繼位。