晉元帝即位的第二年，匈奴族的漢國國主劉聰病死。漢國內部也發生分裂。劉聰的侄兒劉曜接替了國主的地位。他覺得用漢朝的名義並不能欺騙人民，在公元319年，改國號為趙。漢國大將石勒在反晉戰爭中擴大了兵力，不願再受劉曜的統治，也自稱趙王。
石勒是羯族人，他家世代是羯族部落的小頭目。年輕的時候，并州地方鬧饑荒，他和部落失散了，曾經給人家做過奴隸、傭人。有一次，石勒被亂兵捉住，關在囚車裡。正好他的囚車旁邊有一群鹿跑過。亂兵紛紛去追捕鹿群，石勒才趁機會逃走。
石勒受盡苦難，沒有出路，就招集一群流亡的農民，組成了一支強悍的隊伍。劉淵起兵以後，石勒投降漢國，在劉淵部下當了一員大將。
羯族人的文化比匈奴人要低。石勒從小沒有像劉淵那樣受過漢族文化教育，不識字。他擔任大將以後，漸漸懂得要成大事業，光靠武力不行，就依靠一個漢族士人張賓，採取了許多政治措施。他還收留了一批北方漢族中的貧苦的讀書人，組織了一個「君子營」。
由於石勒驍勇善戰，加上有了張賓一批謀士幫他出謀劃策，石勒的勢力更加強大。到了公元328年，終於消滅了劉曜。過了兩年，石勒在襄國自稱皇帝，國號仍是趙。歷史上把劉氏的趙國稱為「前趙」，把石勒建立的趙國稱為「後趙」。
石勒自己沒有文化，但是卻十分重視讀書人。他做了後趙皇帝後，命令部下，凡捉到讀書人，不許殺死，一定要送到襄國來，讓他自己處理。
他聽從張賓的意見，設立學校，要他部下將領的子弟進學校讀書。他還建立了保舉和考試的制度。凡是各地保舉上來的人經過評定合格，就選用他們做官。
石勒嚴禁部下提到「胡」字、「羯」字。但是為了安撫漢族士人，有時候也沒有執行禁令。
有一次，有個漢族官員樊坦被任用做官。樊坦進宮朝見的時候，穿了一身破破爛爛的衣服。石勒吃驚地問他：「你怎麼窮到這步田地？」
樊坦忘記了禁令，回答說：「剛剛碰到一批羯賊，把我的家當都搶走，家裡連一件像樣的衣服都沒有了。」
石勒知道他吃了虧，就安慰他說：「羯賊這樣亂搶東西，太不應該！我來替他們賠償吧！」
樊坦忽然想起了觸犯了禁令，嚇得渾身發抖，連忙向石勒請罪。
石勒笑著說：「我這個禁令，是對付一般百姓的。你們這些老書生，我不怪你們。」
說著，真的賠給樊坦一些衣服錢財，還賞給他一輛車，一匹馬。
石勒挺喜歡讀書。他自己不識字，就找一些讀書人把書講給他聽，一邊聽，一邊還隨時發表自己的見解。
有一次，他讓人給他讀《漢書》，聽到有人勸漢高祖封舊六國貴族的後代的歷史。他就說：「唉！劉邦採取這樣錯誤做法，還怎麼能夠得天下呢？」講書的人馬上給他解釋，後來由於張良的勸阻，漢高祖並沒有這樣做。石勒點頭說：「這才對啦。」
又有一次，石勒舉行宴會招待大臣，宴席上，他問一個大臣，說：「你看我可以比得上古代什麼樣的帝王？」
大臣吹捧說：「陛下英明神武，比漢高祖還強，別人更比不上了。」
石勒笑了笑說：「你說得太過分了。我要是遇到漢高祖，只能做他的臣下，大概跟韓信、彭越差不多。要是我生在漢光武帝那個時候，倒可以和他並駕齊驅，還說不定誰勝誰負呢。」
由於石勒重用人才，在政治上比較開明，後趙初期出現了興盛的氣象。