劉聰攻下長安後，南方還在晉朝官員手裡。晉愍帝在被俘前留下詔書，要鎮守在建康（原名建業，今江蘇南京市）的琅琊（音ｌaｎｇｙa）王司馬睿（音ｒｕi）繼承皇位。
司馬睿在西晉皇族中，地位和名望並不高。晉懷帝的時候，他被派到江南去鎮守。他帶去了一批北方的士族官員，其中最有名望的是王導。司馬睿對王導言聽計從，把他看作知心朋友。
司馬睿剛到建康的時候，江南的一些大士族地主嫌他地位低，不怎麼看得起他，也不來拜見他。為了這個，司馬睿心裡不踏實，要王導想個辦法。
王導有個堂哥王敦，當時在揚州做刺史，很有點勢力。王導把王敦請到建康，兩個一商量，想出一個主意來。這年三月初三，按照當地的風俗是禊（音ｘi）節，百姓和官員都要到江邊去「求福消災」。這一天，王導讓司馬睿坐上華麗的轎子到江邊去，前面有儀仗隊鳴鑼開道，王導、王敦和從北方來的大官、名士，一個個騎著高頭大馬跟在後面，排成一支十分威武的隊伍。
這一天，在建康江邊看熱鬧的人本來很多。大家看到這種從來沒見到過的大排場，都轟動了。
江南有名的士族地主顧榮等聽到這個消息，從門縫裡偷偷張望。他們一看王導、王敦這些有聲望的人對司馬睿這樣尊敬，大吃一驚，怕自己怠慢了司馬睿，一個接一個地出來排在路旁，拜見司馬睿。
這一來，提高了司馬睿在江南士族地主中的威望。王導接著就勸司馬睿說：「顧榮、賀循是這一帶的名士。只要把這兩人拉過來，就不怕別人不跟著我們走。」
司馬睿派王導上門請顧榮、賀循出來做官，兩個人都高興地來拜見司馬睿。司馬睿慇勤地接見了他們，封他們做官。
打那以後，江南大族紛紛擁護司馬睿，司馬睿在建康就站穩了腳跟。
北方發生大亂以後，北方的士族地主紛紛逃到江南來避難。王導又勸說司馬睿把他們中間有名望的人都吸收到王府來。司馬睿聽從王導的意見，前前後後吸收了一百零六個人，在王府裡做官。
司馬睿聽從王導的安排，拉攏了江南的士族，又吸收了北方的人才，鞏固了地位，心裡十分感激王導。他對王導說：
「你真是我的蕭何啊！」
公元317年，司馬睿在建康即位，重建晉朝。這就是晉元帝。在這以後，晉朝的國都在建康。為了和司馬炎建立的晉朝（西晉）相區別，歷史上把這個朝代稱為東晉。
晉元帝登基的那天，王導和文武官員都進宮來朝見。
晉元帝見到王導，從御座站了起來，把王導拉住，要他一起坐在御座上接受百官朝拜。
這個意外的舉動，使王導大為吃驚。因為在封建時代，是絕對不允許有這樣的事的。王導忙不迭推辭，他說：「這怎麼行。如果太陽跟普通的生物在一起，生物還怎麼能得到陽光的照耀呢？」
王導這一番吹捧，使晉元帝十分高興。晉元帝也不再勉強。但是他總認為他能夠得到這個皇位，全靠王導、王敦兄弟的力量，所以，對他們特別尊重。他封王導擔任尚書，掌管朝內的大權；又讓王敦總管軍事。王家的子弟中，很多人都封了重要官職。
當時，民間流傳著一句話，叫做「王與馬，共天下」。意思就是王氏同皇族司馬氏共同掌握了東晉的大權。
王敦掌握軍權，自以為了不起，把晉元帝不放在眼裡。晉元帝也看出了王敦的驕橫，另外重用了大巨劉隗和刁協，對王氏兄弟漸漸疏遠起來。這樣，剛剛建立的東晉王朝內部就出現了裂痕。