自從晉愍帝即位以來，西晉的局勢每況愈下。長安城幾乎每年都要遭到漢將劉曜軍隊的進犯。雖然劉曜每次都被擊退，但是長安的形勢卻在慢慢變壞。石勒已經佔領關東大部分地區，位於漢中一帶的李雄的成國盤踞在長安以南地區，距離長安較遠的洛陽附近地區和山西南部地區已經被漢國控制，遠在江南的琅邪王司馬睿也有一定的實力。
在西晉王朝危機四伏的局面下，琅邪王司馬睿打起了自己的小算盤。他很清楚，長安已經危如累卵，難逃被攻克的命運，而長安城一旦被攻克，那麼他就非常有機會坐上皇帝的寶座。因此，他根本不想出兵救長安。儘管有一些像祖逖這樣身處江南的晉朝人主張北伐，但是司馬睿只給他們開一些空頭支票，讓這些人徒呼奈何。
公元316年，晉愍帝成為俘虜，統治三十六年的西晉王朝滅亡。
晉愍帝在被俘之前，曾寫下一份由司馬睿來繼承皇位的密詔。弘農太守宋哲把這份密詔藏在身上，悄悄地逃出了長安，經過長途跋涉，終於趕到建康（今江蘇南京），與琅琊王司馬睿相見。
司馬睿的祖父司馬胄是司馬懿的庶出之子，在曹芳統治時期被封為南安亭侯。後來，司馬懿發動高平陵政變，成功地控制了曹魏政府的實權。為了消滅魏國，為登基稱帝做好充分的準備，司馬懿讓自己幾個兒子分別擔任境內幾個重要地區的都督。司馬懿對司馬胄頗為重視，將曹魏時期囤兵囤糧的重鎮鄴城交給他鎮守。西晉建國後，司馬胄先擔任尚書右僕射、撫軍將軍、鎮東大將軍、假節、都督徐州諸軍事等職，後來被封為東莞郡王，後又被封琅邪王。司馬胄死後，他的長子司馬覲繼承了琅邪王的爵位。司馬覲是司馬睿的父親。司馬覲死後，司馬睿便繼承了琅邪王的爵位。
司馬睿看到密詔後非常高興，立即準備登基。他戴上皇冠，穿上龍袍，坐到龍椅上。文武百官跪到地上，山呼萬歲。司馬睿宣佈，他登基之後國號仍然為晉，定都建康，年號為大興。這一年是公元318年，也就是大興元年，司馬睿被稱為晉元帝。歷史上將這個政權稱為東晉，以便與已經滅亡的西晉區分開。
東晉政權在建立和鞏固的過程中，得到了多方面的支持。首先得到了江南本地的地主豪強的支持。
這些地主豪強的勢力雖然弱於南遷的北方士族，但是在地方上依然有著非常重要的影響。在這些地主豪強中，社會聲望最大的是周氏。周札一門五侯，周玘三次平定江南，他們兄弟二人是江南士族的首領。此外，陸曄、紀瞻、顧榮、賀循、華譚等人也都是江南重要的士族。他們大多擔任文職官員，在東晉政權建立初期發揮了非常重要的作用。
劉琨、段匹磾、張軌、慕容廆、邵續、陳安等邊將，對東晉政權的建立也有著非常重要的作用。儘管他們中的大部分在戰爭中犧牲，但是他們表現出了忠肝義膽，非常令人欽佩。如果沒有他們在北方艱苦作戰，阻擋北方少數民族勢力向江南發動攻勢，那麼東晉根本不可能順利地建立政權。
僑民在鞏固東晉政權過程中，也發揮出了非常重要的作用。由於受到中原戰亂的影響，很多無家可歸的北方百姓逃到南方。東晉政府接納了這些流亡的百姓，在江淮地區建立了很多的僑置郡縣來安置他們。這些僑民是保護東晉政權的屏障，後來，這些僑民與江南當地的百姓進一步融合，對南北方的經濟、文化、社會交往起到了加強作用。