劉琨字越石，中山國魏昌縣人，是漢朝中山靖王劉勝的後裔。祖父劉邁，有經國濟世之才，任過相國參軍、散騎常侍。父親劉蕃，為人清高簡約，性格恬淡，位至光祿大夫。劉琨年少時便得到時議好評，稱為俊傑，他和范陽人祖逖都有雄豪之名。年方二十六歲，就任司隸從事。當時征虜將軍石崇在河南金谷澗中有座別墅，富麗堂皇無與倫比，常常招致四方文人雅士，來此吟詩作賦。劉琨當時就參預其間，其詩歌文章為大家所推許。秘書監賈謐執掌朝政大權，京師之人無不盡力奉迎傾心結交。石崇、歐陽建、陸機、陸雲這些人，都以各自的文才降格屈尊侍奉賈謐，劉琨兄弟也置身於其中，號稱「二十四友」。太尉高密王司馬泰將劉琨闢為掾，屢遷著作郎、太學博士、尚書郎等職。
趙王司馬倫執政，以劉琨為記室督，再轉為從事中郎。司馬倫之子司馬罶，是劉琨的姐夫，因此劉琨父子兄弟都受到司馬倫的重用。司馬倫篡位時，立司馬罶為皇太子，劉琨則任司馬罶的詹事。當齊王司馬礒、河間王司馬..、成都王司馬穎一起起兵討伐司馬倫時，司馬倫以劉琨為冠軍、假節，與孫秀的兒子孫會同率宿衛兵三萬來抵擋成都王司馬穎的軍隊。兩軍戰於黃橋，劉琨大敗而退，燒燬黃橋以自保。到齊王司馬礒入朝輔政時，因劉琨父兄都有極高的聲望，特別的予以寬恕，拜劉琨之兄劉輿為中書郎，劉琨為尚書左丞，後轉司徒左長史。司馬羉失敗後，范陽王司馬羉鎮守許昌，又讓劉琨在他部下任司馬。
晉惠帝西幸長安，東海王司馬越謀劃迎惠帝，以控制朝政，任命劉琨的父親劉蕃為淮北護軍、豫州刺史。劉喬向許昌的范陽王司馬羉發起攻擊，劉琨和汝南太守杜育等人領兵前去救援，還未趕到，司馬羉已經被打敗，劉琨和司馬羉一起出奔河北，劉琨父母於是都成了劉喬的俘虜。劉琨在河北勸說冀州刺史溫羨，使溫羨將刺史之位讓給司馬羉。司馬羉得到冀州刺史的職位後，派劉琨前往幽州，向王浚請求支援，得到了王浚的精銳騎兵八百人，就和司馬羉一起渡過黃河，在廩丘打敗了東平王司馬懋，向南推進趕走了劉喬，營救出了被俘的父母。接著又斬殺石超，降服了呂朗，因而統率各路人馬到長安迎奉惠帝聖駕。以這次的戰功被封為廣武侯，食邑二千戶。
懷帝永嘉元年(307)，劉琨任并州刺史，加振威將軍，領匈奴中郎將。劉琨在赴任途中上表說：
「臣本來冥頑陋閉，志向也不高，由於遭逢動亂歲月和一些機遇，承擔了超過我能力的重任。九月下旬啟程赴并州，崇山峻嶺道路險阻，敵人到處堵住了道路，我們只能以少敵眾，冒危險而進軍。我們置身於危難境地之中，嘗夠了艱辛困苦，即日到達壺口關。臣自從進入并州地界，看到無法生存的百姓，四外逃亡，十家不剩兩家，他們扶老攜幼，絡繹不絕地奔波在流亡的路上。那些沒有離家的人，賣妻賣子，有些婦幼，活生生地被拋棄，處在死亡的威脅之下，野外到處是白骨，那哀哭之聲，令人悲傷。胡兵數萬，遍佈四山之中，人們邁開腳上路，就馬上會遭到搶劫，人們一睜開眼，看到的便是賊寇。惟有壺口關這個地方，還可以買到一些糧食。而這兩條通道，為九州之險，只要有幾個人把住路口，那麼一百個人也不敢近前，公私官差商旅往返此道，喪命的很多。我們守著一座孤城，得不到糧草供給，耕牛已被殺盡，也找不到農具從事屯墾。我自己才智短淺，面對這樣的重重困難，憂思無窮無盡，寢食不安。臣認為此州雖地處偏遠朔方，但也靠近皇都，南通河內郡，東達司、冀二州，北邊抗擊著異族，西方防禦著強大的敵寇，這裡是出產寶弓駿馬、產生壯士猛將的地方。朝廷應當給予一些資助，以成全我們完成使命。現今以此表章上呈尚書，請為此州撥發谷米五百萬斛，絹五百萬匹，棉五百萬斤。希陛下能及時批發臣下之表，迅速予以決斷。」
朝廷同意了他的請求。
當時東嬴公司馬騰從晉陽移鎮鄴城，并州由於土地荒廢，百姓無食，於是跟隨司馬騰南遷，留下來的還不到兩萬戶。由於盜賊四起，橫行鄉里，以致道路阻絕無人行走。劉琨招募了一千多人，一路轉戰來到晉陽。晉陽城內，府衙寺院焚燬已盡，橫屍遍地，倖存者由於疾病飢餓而面無人色，滿城荊棘叢生，豺狼亂竄。劉琨率人清除荊棘，收葬屍骨，建造府第，修繕市場牢獄。賊寇輪番前來侵襲，他們經常以城門作為戰場。百姓們耕田時帶著盾牌，耨地時背著弓箭。劉琨親自慰勞安撫返回家園和前來投奔的民眾，得到人民的擁護愛戴。劉元海當時駐紮在離石，相隔僅有三百里左右。劉琨派人悄悄地潛入，離間不同種族部落之間的關係，拆散其聯盟，前來歸降的有萬餘伙。劉元海非常驚慌，只好在蒲子建城而居。劉琨任并州刺史不到一年，流亡的人返回增多，村落之間又可聽到雞犬之聲了。劉琨之父劉蕃也從洛陽趕來，一些無主可依的士人也多來投奔劉琨。劉琨善於懷柔安撫，而不會管理控制，一天之中，雖歸來的人達到上千，可離去的人也接連不斷。然而劉琨素來喜奢華豪放，愛聲色之樂，雖自己一時有所控制，可不時又恢復本性放縱自己。
河南人徐潤，以懂音律的特長自薦結友，常出入權貴之門，劉琨很喜歡他，讓他擔任了晉陽令。徐潤倚仗劉琨的寵信驕橫一世，干預劉琨的政事。奮威護軍令狐盛性情正直坦率，多次因這事進諫，並勸劉琨除掉徐潤，劉琨沒有採納。當初，單于猗..曾經救過東嬴公司馬騰，因為這一功勞，劉琨上表任猗..之弟猗盧為代郡公，與劉希合兵管理中山國。王浚認為劉琨侵佔了他的領地，數次來攻打劉琨，劉琨抵抗不住，因此實績名聲都受到了影響。徐潤又上讒言說令狐盛的壞話：「令狐盛要勸你叛逆稱帝。」劉琨被蒙蔽，就殺了令狐盛。劉琨母親對他說：「你不能經略大業，任用豪傑，專門除掉本領比你高的人以求自安，這怎麼成得了大事！像這樣下去，必會牽連我們一起遭殃。」劉琨還是不聽勸告。令狐盛的兒子令狐泥投奔到劉聰部下，詳細講了劉琨方面的情況，劉聰大喜，以令狐泥為嚮導。當時正值上黨太守襲醇投降了劉聰，雁門烏丸也反叛了，劉琨親率精兵討伐他們。劉聰便派遣兒子劉粲和令狐泥乘虛而入偷襲晉陽，太原太守高喬獻出城池投降了劉聰，劉琨的父母因此遇害。劉琨借來猗盧的兵一起奮力攻打劉粲，劉粲大敗，死者十之五六。劉琨乘勝追擊，但一時也不能消滅他。猗盧看到劉聰一時不會被消滅，送給一些牛羊車馬後離去，留下箕澹、段繁等將領幫助守晉陽。劉琨立志為父母報仇，但苦於力量單薄，只好悲哭泣血，祭祀死者，撫慰傷病，移居於陽邑城，以招集散失的舊部。
愍帝即位，拜劉琨為大將軍，都督并州諸軍事，加散騎常侍、假節。劉琨上表謝恩(表文略)。
愍帝建興三年(315)，派遣兼任大鴻臚的趙廉持節來并州，拜劉琨為司空，都督並、冀、幽三州諸軍事。劉琨上表推辭了司空之銜，接受了都督之位，商定時間與猗盧共討劉聰。當時猗盧父子之間相爭，猗盧和他哥哥的兒子普根都被殺死，部落人馬四散。劉琨的兒子劉遵先前在猗盧處為人質，這時無主的民眾士兵都歸附了劉遵。這樣，劉遵和箕澹等人率領原猗盧的三萬人、馬牛羊十萬歸附劉琨，劉琨由此又壯大了力量，親自帶數百騎從平城趕來安撫慰問接納了他們。值石勒攻打樂平，太守韓據向劉琨請求救援，劉琨認為新得到這些士卒，準備以其銳氣威逼石勒。箕澹勸諫說：「這些士卒雖說都是晉人，但久居荒野邊遠之異域，還不熟悉朝廷的恩信，一時難以以法管理。現在內收鮮卑留下的餘糧，外收胡人殘部的牛羊，應閉關憑險而守，發展農墾，休養生息，等民眾因教化而知感恩忠義，然後再使他們盡力，則大功可成。」劉琨不聽勸告，出動全部人馬，命箕澹領步騎二萬人為前鋒，自己帶大軍隨後進發。石勒首先佔據了險要的地勢，設下伏兵以攻擊箕澹，箕澹之軍被打得大敗，全軍覆沒，整個并州為之震動，驚駭不安。接著又是大旱，劉琨陷於困境不能自保。幽州刺史鮮卑人段匹石單數次寫信派人來邀請劉琨，要和他一起共扶王室。劉琨因此率領部眾投奔段匹石單，他們從飛狐口進入薊縣。段匹石單見到劉琨，非常敬重，和他結姻親，約為兄弟。
當時西都長安淪陷，元帝在江南稱晉王，劉琨讓長史溫嶠勸晉王即帝位，於是河朔各地的將領守宰各族部落首領一百八十人聯名上表勸進，其文在《元帝紀》中。晉王回答說：「豺狼肆意橫行，傾覆了祖宗社稷，億萬百姓在盼望，抬頭放眼卻無所依憑。因為這些我才登上晉王之位，以答謝天下的重托，只是要重新扶持起聖主，掃蕩敵人以雪國恥，怎麼能隨意登上皇帝的大位呢？這是我的一片誠心，遠遠近近都明白我的本意呀。你受朝廷代代恩寵，位極人臣，忠貞正直誠實仁義，使天地為之感動。現在要依靠你的深慮遠謀，我們共同度過這艱難時期。南北相隔，心心相印，雖在萬里之外，我們的心卻連在一起。你在那裡安撫各族民眾，討伐賊寇，有什麼動靜及時告知。」
建武元年(317)，劉琨與段匹石單約定討伐石勒，段匹石單推舉劉琨為大都督，歃血為誓，血書為盟，傳檄各地首領，齊聚襄國。劉琨、段匹石單率部進駐固安，以等待各地義師。段匹石單的從弟末波接受了石勒的豐厚的賄賂，獨獨不肯出發，破壞了這次計劃。劉琨、段匹石單因勢力單薄只好退兵。這一年，元帝轉任劉琨為侍中、太尉，其餘職務不變，同時又贈送寶刀給劉琨。劉琨答謝說：「我恭敬地親自佩帶此刀，並要用它割下石勒、劉聰二賊之首。」
段匹石單之兄去世，他前去奔喪，劉琨派長子劉群護送前往，而末波則帶兵於途中襲擊他們，段匹石單逃走了，劉群卻被末波所俘。末波盛情禮待劉群，許諾讓劉琨任幽州刺史，共同結盟來對付段匹石單。派人帶著劉群的書信來找劉琨，請劉琨為內應，送信使者被段匹石單的巡邏騎兵抓獲。當時劉琨獨自駐紮在過去的征北府小城，不知道這事，來會見段匹石單，段匹石單將劉群的書信拿給劉琨看，段匹石單說：「我並不是懷疑你，是將此事告訴於你。」劉琨回答：「我與你結為同盟，志在扶佐王室，依仗你的威望和力量，希望能雪洗國家之恥。如果我兒子的書信秘密送到我手裡，我也不會因一個兒子的緣故而忘義背叛。」段匹石單敬重劉琨，開始並沒有加害之意，準備讓他返回駐地。段匹石單一個弟弟叔軍好學有智謀，平素得到段匹石單的信任。他對段匹石單說：「我們是胡人，能夠被晉人尊重，是因為他們害怕我們勢力大。現在我們骨肉兄弟自相殘殺，正是晉人起事的好時機，如果有人推舉劉琨起兵攻打我們，我們就難以存活了。」段匹石單就把劉琨留了下來。劉琨的庶長子劉遵害怕段匹石單加害於自己，與劉琨的左長史楊橋、并州治中如綏閉門防守。段匹石單勸諭他們，他們不聽，於是派兵攻打。劉琨部將龍季猛迫於無食，只好殺了楊橋、如綏投降了段匹石單。
當初，劉琨去晉陽，考慮到國家危亡而大恥未雪，也知道夷狄之人難以以義服之，希望以自己一片至誠之心，求僥倖於萬一之中。他每次會見部下將佐，言辭慷慨，悲傷自己到了窮途末路，想率屬下衝入敵陣於敵同歸於盡。這一想法還未實行，就被段匹石單扣押了。他知道自己必死無疑，神色自如。作五言詩一首贈給別駕盧諶，詩云：
手中有一塊美玉，原本出產於南方的荊山。那姜太公呂望，也曾垂釣於渭水河邊。鄧禹為什麼那樣感激，不遠千里把劉秀來見。劉邦困白登有陳平救援，鴻門宴上靠張良保全。晉文公依仗五位賢良，齊桓公用管仲不計射鉤之嫌。兩位霸主這樣興盛，由於他們能放棄個人恩怨。半夜裡我扶枕長聲歎息，多麼想和這些人一起懇談。可惜我已是無能為力，夢中也見不到周公一面。誰說聖人能通達節操，樂天知命沒有煩惱？孔子聽說西狩獲麟，不也是流下眼淚悲傷難言？功業還來不及建立，夕陽就要下山。時間不再等我，我將逝去如飄散的雲煙。紅果被狂風吹落，鮮花凋謝在秋天。我的車子翻倒在狹路上，傷了馬也斷了車轅。沒想到百煉而成的精鋼，竟變成柔軟無用的線團。
劉琨的詩句有著深刻的內容和寄托，抒發了壯志難酬的幽憤，以遙遠的歷史往事為例，用張良在鴻門宴，陳平在白登解救劉邦的事來激勵盧諶。盧諶素來沒有過人的智慧才華，只當作一首普通的詩作予以酬和，和劉琨的願望相差甚遠，於是劉琨重新寫一首贈送給他後，他才對劉琨說：「前一首詩表現的是帝王之志，不是普通做人臣的所敢談論的。」
劉琨忠於晉室，素來有崇高的威望，被段匹石單拘禁一個多月，遠近之人為之憤慨歎息。段匹石單任命的代郡太守辟閭嵩，和劉琨部下的雁門太守王據、後將軍韓據一起謀劃，秘密製造攻城器具，準備偷襲段匹石單。而韓據的女兒被段匹石單的兒子納為妾，她得知這一情況後報告了段匹石單，於是段匹石單逮捕了王據、辟閭嵩並殺了其他同黨。正好此時王敦密令段匹石單殺劉琨，段匹石單害怕部下因劉琨事反叛，遂宣稱有詔書命他收捕劉琨。開頭，劉琨聽說王敦的使者到了，對兒子說：「王處仲的使者來了卻不讓我知道，是要殺我呀。生死自有天命，只是恨大仇未報，怎麼去見九泉之下的雙親。」因而感歎悲泣不能自勝。段匹石單縊殺了劉琨，時年四十八歲。子侄四人一起被害。朝廷考慮到段匹石單力量還較強，可以替朝廷討伐石勒，所以不為劉琨舉哀祭奠。
大興三年(320)，劉琨舊部從事中郎盧諶、崔悅等上表為劉琨辯冤。(表文略)
太子中庶子溫嶠又上疏為劉琨申訴，元帝這才下詔說：「已故太尉、廣武侯劉琨忠誠堅貞，輔佐朝廷，救濟民眾，傾心王室，不幸遇難，壯志不遂，朕甚為哀悼。過去在戰亂之中，未能予以弔祭。現在幽州事畢，便依舊禮予以弔祭。」贈劉琨為侍中、太尉，謚號為「愍」。
劉琨從小就懷大志，有縱橫天下之才，善於結交才能比自己強的人，但喜歡說誇張的大話。他和范陽祖逖是朋友，聽說祖逖被朝廷任用，在給親友的書信上寫道：「我每日枕戈待旦，立志剿滅逆賊，常常擔心祖逖趕到了我前面。」其昂揚的意氣和自信就是這樣。在晉陽時，曾被胡人騎兵包圍數重，城中無計可施，劉琨乘著月色登上城樓，舒聲清嘯，城下敵人聽到後，都為他淒然長歎。半夜時又奏胡笳，敵人聽到都噓口希流淚，有思家之念。天亮時再次吹奏，敵軍撤圍而去。其子劉群承襲了他的爵位。