苻堅經過十多年的苦心經營，使得前秦發展成一個強大的國家。這個時候，他變得有些志得意滿，決定領兵攻打東晉。前秦的大臣們聽到這個消息後，紛紛勸說苻堅不要這樣做。可是，苻堅一意孤行，於公元383年，親自率領大軍從長安出發，浩浩蕩蕩地向南挺進。一個月之後，苻堅主力部隊到達項城（今河南沈丘南），由黃河以北趕來的部隊也到達了彭城（今江蘇徐州），位於益州的水軍沿江向東進發。前秦水陸兩軍一齊向東晉進發，東晉面臨著前所未見的災難。
這個消息在建康城內掀起了巨大的波瀾。晉孝武帝和文武百官們都非常焦慮，擔心東晉會被兵強馬壯的前秦消滅。這個時候，他們把所有的希望都寄托在宰相謝安身上，希望謝安能夠盡快想出對付前秦軍隊的辦法。
謝安出身於名門，他的祖先是非常有名望的士族。他四歲的時候，便受到過東晉名士桓彝的稱讚。桓彝覺得他「風神秀徹」，長大之後一定會大有作為。西晉滅亡後，他從北方來到了南方，與王羲之、孫綽、支道林等一批當時的名士結交為好朋友，整天在東山玩樂，飲酒誦詩，談論玄理。朝廷知道他是一個非常有才能的人後，多次徵召他入朝為官，可是他只當了一個月的官，便辭官不幹，返回東山了。他的妻子劉氏看到他不思進取，便對他說：「出仕做官，光宗耀祖，才是大丈夫應該做的事！你為什麼多次拒絕朝廷的徵召呢？」謝安對她說：「到朝廷做官並不是我的本意，但我恐怕那一天遲早會到來。」
謝安說得沒錯，很快他就不得不出山做官了。公元359年，謝安的堂弟豫州刺史謝萬被貶為百姓，豫州這塊陳郡謝氏經營多年的地盤也因此被別人奪去了。這件事使得謝氏經濟、政治地益及家族的威望都受到非常大的影響。這個時候，謝安為了整個謝氏家族的利益，不得不走出東山，入朝為官。他很快就接受了征西大將軍桓溫的徵召，擔任桓溫的軍司馬。雖然這只是一個八品小官，卻能夠因此修復謝氏家庭與掌握朝政大權的桓溫的關係，這正體現出了謝安的深謀遠慮。
謝安在剛去桓溫的幕府報到時，就遭到了別人的冷嘲熱諷。有人故意給桓溫送去一包草藥。在草藥中，有一味名為「遠志」的藥。桓溫看到之後對謝安說：「這味草藥也真奇怪。同一味草藥，它的根叫遠志，而它的苗叫小草，這到底是為什麼呢？」桓溫的參軍大聲回答說：「這個問題實在是太簡單了，根長在土裡，沒有出來就叫遠志，苗長在土外，出來了就叫小草了。」桓溫聽後大聲地笑了起來。那個參軍的話完全是在諷刺謝安，說謝安未出山前被人稱為賢人，出山之後就什麼也不是了。謝安知道，這是他們兩個人合力演出的一場好戲，目的就是要讓他難堪，所以便什麼也沒有說。
謝安在桓溫的幕府任職不久後，謝萬便去世了。謝安以服喪為由辭去了幕府的職務。可是沒過多久，丞相司馬昱又把他推舉為吳興太守。在吳興，謝安充分展示了他的才能，幾年時間便把吳興治理得井井有條，百姓安居樂業。幾年之後，他被提拔為侍中，成為朝廷重臣。由於謝安長時間在東山隱居，因此後人把重新出來做官稱為「東山再起」。
前秦在苻堅和王猛的努力之下強大起來後，經常派兵騷擾東晉北面邊境。東晉朝廷不堪其擾，想要派一個有才幹的將軍去那裡鎮守，徹底解決邊防危機。這個時候，謝安舉薦自己的侄子謝玄去邊境鎮守。
謝安之所以舉薦謝玄，並不只是因為謝玄是他的侄子，還因為謝玄的確是一個文武雙全的將領。謝玄從小就非常聰明，深得謝安器重。謝安曾經拿一個問題考他的子侄們，當時在場所的人只有謝玄一個回答上來了，而且回答得非常巧妙，讓謝安非常開心。長大之後，謝玄顯示出了非凡的軍事才能，被朝廷委以重任。正是因此，謝安才能不避嫌疑，推薦謝玄去完成了這個艱巨的任務。
當然，謝玄也沒有讓謝安失望。謝玄到達廣陵之後，立即開始擴充軍隊。他對當時的形勢進行了仔細地分析，覺得晉軍戰鬥力不強，便招募了一批從北方逃來的農民，組成「北府兵」。這些農民全都經歷過非常多的磨難，特別希望能夠恢復北方，重返家園。因此，他們的戰鬥意願要比由南方人組成的晉軍更加強烈。經過一段時期的嚴格訓練，「北府兵」的戰鬥力有了顯著的提升。
在前秦數十萬大軍來襲之際，晉孝武帝和文武百官們都知道，只有謝安才能夠保全東晉。謝安也非常清楚，這將是自己人生中最嚴峻的挑戰。經過深思熟慮之後，他制定出一套非常完備的禦敵方案，自己親自坐鎮建康，派自己家族的謝石及謝玄前往江北迎戰。
謝玄在出發之前去找謝安，向謝安請教如何才能打敗數倍於自己的敵人。謝安卻非常平靜地告訴他：「你就儘管放心好了，我已經安排好了。」
謝玄以為在自己離開之前，謝安一定有話對他說，於是就一直等著謝安說話。可是等了半天，謝安一句話都沒有說。謝玄回到家後，心裡一直忐忑不安。第二天，他就請朋友張玄去謝安那裡打探消息。張玄見到謝安後，還沒有開口說話，就被謝安拉著下起了圍棋。下完棋後，謝安又拉著很多人一起遊山玩水，一直玩到天黑才返回家中。
大家都以為謝安不懂軍事，卻不知道他早已成竹在胸。他把對戰事的分析講給謝石、謝玄等人聽，又對他們的任務做了部署。眾將士聽從謝安的指揮，最後成功地擊退了前秦軍隊的進攻。