謝玄，字幼度。年少時便聰慧過人，與堂兄謝朗皆為叔父謝安所器重。謝安曾訓誡約束子侄們，說：「你們怎樣參與世事，而且做得讓人滿意？」眾子侄都不知如何回答。謝玄答道：「譬如芝蘭玉樹，我會盡力使它們生長在自家的堂前階下。」謝安十分高興。謝玄年少時喜歡佩帶紫羅香囊，謝安為此憂慮，而又不想傷害謝玄的心，便採用賭博的方式贏得香囊，立即焚燬，自此謝玄就戒掉了這一嗜好。
年長後，有治國才略，朝廷屢次徵召而不應。後來與王王旬一同被桓溫召為屬官，並受到禮遇和器重。轉任征西將軍桓豁司馬、領南郡相、監北征諸軍事。當時前秦苻堅強大，多次侵犯東晉邊境，東晉朝廷尋求可以鎮守北方邊境的文武良將，謝安便舉薦了謝玄。中書郎郗超素來與謝玄不和，聞知此事卻加以讚歎，說：「謝安不顧眾人指責而舉薦親屬，是明智的。謝玄必定不辜負舉薦，因為他確有才幹。」當時眾人都不以為然。郗超說：「我曾與謝玄在桓公府裡共事，見他施展才能，即使在穿著木屐時也能幹大事，所以瞭解他。」於是謝玄被召回朝，任命為建武將軍、兗州刺史、領廣陵相、監江北諸軍事。
其時苻堅派兵圍攻襄陽，車騎將軍桓沖率軍抵抗。朝廷詔令謝玄征發三州人丁，派彭城內史何謙率兵在淮水、泗水間流動作戰，以減輕襄陽的威脅。襄陽陷落後，苻堅部將彭超進攻據守彭城的龍驤將軍戴..。謝玄率東莞太守高衡、後軍將軍何謙駐紮在泗口，打算派使者伺機報知戴..，好讓他知道救兵已到，可是無法通過敵兵防線。小將田泓請求前往，於是田泓潛水而行，將至彭城時，被敵兵抓獲。敵兵厚禮賄賂田泓，讓他向城內喊話，說「援軍已敗」。田泓假意應許。不久來到彭城外，向城內大喊道：「救兵已到，我獨自來送消息，被賊兵抓獲，你們努力吧！」於是田泓遇害。當時彭超把輜重安置在留城，謝玄便揚言派何謙等人去攻打留城。彭超聽說，急忙回留城保護輜重。何謙乘勢猛攻，解除了彭城之圍。彭超又率部南侵，苻堅部將句難、毛當從襄陽趕來與彭超會合。彭超將幽州刺史田洛圍困在三阿，兵力有六萬。東晉朝廷詔令征虜將軍謝石率水軍進駐塗中，右衛將軍毛安之、游擊將軍河間王司馬曇之、淮南太守楊廣、宣城內史丘准進駐堂邑。不久盱眙城陷落，高密內史毛藻戰死，毛安之等大驚失色，便各自率部回撤，朝廷為之震動。謝玄於是從廣陵向西進軍討伐句難等。何謙解除田洛之圍，進軍佔據白馬，與賊軍大戰，擊潰賊軍，斬殺偽將都顏。又乘勝進攻，再次擊敗賊軍，斬殺偽將邵保。彭超、句難率部潰退。謝玄率何謙、戴..、田洛乘勢追擊，與賊軍戰於君川，又大敗賊軍。謝玄屬下參軍劉牢之破毀賊軍浮橋及戰船，督護諸葛侃、單父縣令李都又破毀賊軍運輸船隻。句難等相繼率殘部北逃，僅以隻身逃脫。於是東晉完全解除了前秦軍隊對彭城、下邳二城的威脅。朝廷詔令殿中將軍前往慰勞謝玄，封謝玄為冠軍將軍，兼徐州刺史，回鎮廣陵，論功封為東興縣侯。
後苻堅親率大軍進駐項城，號稱百萬，而涼州之師剛剛抵達咸陽，蜀漢之軍順流而下，幽州并州之軍接踵而來。苻堅先派苻融、慕容日韋、張蠔、苻方等進至穎口，梁成、王顯等駐紮洛澗。朝廷詔令謝玄為前鋒、都督徐兗青三州揚州之晉陵幽州之燕國諸軍事，與叔父征虜將軍謝石、堂弟輔國將軍謝琰、西中郎將桓伊、龍驤將軍檀玄、建威將軍戴熙、揚武將軍陶隱等迎戰，共八萬之眾。謝玄先派廣陵相劉牢之率五千精兵直搗洛澗，臨陣斬殺梁成及梁成之弟梁雲，敵步兵騎兵全線崩潰，爭渡淮水。劉牢之率兵猛追，活捉苻堅部將梁他、王顯、梁悌、慕容屈氏等，繳獲其軍械糧草。苻堅進駐壽陽，面臨淝水列陣，謝玄軍馬無法渡水。謝玄派人對苻融說：「足下遠道來我晉地，而臨水列陣，這是不打算速戰速決。請諸位稍稍後撤一步，好讓我方將士有一塊周旋之地，鄙人與諸君騎馬緩步從容觀賞士卒渡水，難道不快樂嗎？」苻堅的部從都說：「應當封鎖淝水，不讓晉軍上岸。敵寡我眾，一定要掌握萬全之局勢。」苻堅說：「只管後撤一步，讓晉軍渡水，我軍可以乘機以數十萬鐵騎殺向淝水，一舉殲滅晉軍。」苻融也以為然，便命令士卒後撤，一後撤軍心慌亂無法控制。於是謝玄與謝琰、桓伊等率八千精銳士卒渡過淝水。謝石率兵抗擊張蠔，稍有不利。謝玄、謝琰繼續前進，與敵決戰淝水之南。苻堅身中流矢，苻融陣前被斬。苻堅部眾倉惶潰逃，自相踐踏投水溺死者不可勝計，淝水為之阻塞不流。殘餘兵士棄甲夜逃，聽到風聲鶴唳，都以為晉軍已到，行軍露宿於荒野，加上飢寒交迫，死者達十之七八。謝玄等繳獲了苻堅的乘輿雲母車，儀服、器械、軍資、珍寶堆積如山，牛馬驢騾駱駝達十餘萬隻。朝廷派遣殿中將軍前往慰勞，晉封謝玄為前將軍、假節，謝玄堅辭不受。朝廷又賜給謝玄錢百萬、彩絹千匹。
不久謝安上奏朝廷，認為苻堅新近敗喪，應乘有利時機，以謝玄為前鋒都督，率冠軍將軍桓石虔直指渦、穎，經略舊都。於是謝玄又率部進駐彭城，遣參軍劉襲攻打苻堅的兗州刺史張崇於鄄城，趕走張崇，派劉牢之據守鄄城。兗州平定後，謝玄憂患水道險阻不通，運糧艱難，便採納督護聞人..的建議，築土壩攔截呂梁之水，樹立柵欄，合七埭為一支流，承接兩岸的流水，以利於漕運，從此公私兩便。又進軍討伐青州之敵，所以將這一工程稱之為青州派。遣淮陵太守高素率三千人馬出擊廣固，迫使苻堅的青州刺史苻朗投降歸順。又進軍討伐冀州之敵，遣龍驤將軍劉牢之、濟北太守丁匡據守..石敖，濟陽太守郭滿據守滑台，奮武將軍顏雄渡過黃河建造營壘。苻堅之子苻丕遣部將桑據進駐黎陽。謝玄命劉襲夜襲桑據，桑據逃走。苻丕惶恐不安，打算降晉，謝玄答應請求。苻丕告饑，謝玄送給苻丕二千斛軍糧。又遣晉陵太守滕恬之渡過黃河據守黎陽，三魏之地皆歸降東晉。朝廷因兗、青、司、豫四州均已收復，便任命謝玄都督徐、兗、青、司、冀、幽、並七州軍事。謝玄上疏朝廷，認為剛平定河北之地，幽州冀州必須專設總督，司州遼遠，應歸豫州統管。朝廷論功封謝玄為康樂縣公。謝玄請求把他先前所封東興侯的爵位賜予侄兒謝玩，朝廷許可，並加封謝玩為豫寧伯。謝玄又遣寧遠將軍寮演討伐佔據魏郡的申凱，擊敗了申凱。謝玄打算讓豫州刺史朱序鎮守梁國，自己坐鎮彭城，北可以鞏固河北之地，西可以援救洛陽，內可以捍衛朝廷。朝臣議論認為征戰已久，應當設置戍守邊關，然後休兵養息，派謝玄回鎮淮陰，朱序鎮守壽陽。適逢翟遼叛亂，佔據黎陽，拘捕滕恬之，又加上泰山太守張願率全郡反叛，河北之地騷動不安。謝玄自認為處置不當，便上疏朝廷，奉還符節，請求解除全部職務。朝廷下詔慰勞謝玄，命令他暫且回鎮淮陰，以朱序代鎮彭城。
謝玄回到淮陰後，患上疾病，又上疏請求解除職務，詔令不許。謝玄又自陳述，說既然不能履行職責，恐怕會荒廢軍務。詔令又讓他移鎮東陽城。謝玄便奉命上路，途中病重，上疏朝廷申述報國之忠心及壯志未酬的遺恨，並以病重懇求解職(原文略)。
朝廷為謝玄派了一名醫術高明的醫士，並讓他好自調養休息，又讓他回京口治病。
謝玄奉詔回京口，病長期不見好轉，又上疏道：「臣兄弟七人，都先後凋謝殞滅，惟有臣一人，孑然獨存。經歷的艱難困苦，誰可與臣相比！臣之所以含悲忍痛，希求繼續苟活人世，是因為滿懷無窮忠心，欲上報朝廷恩德，或許能恢復康健，便可以完成此志。況且臣家中遺孤甚多，想起他們，心中就不勝悲傷，為此求生之心，不能即刻付與塵土。臣一片勤懇之情，實可哀憐。懇求陛下憐憫臣的忠訴，霈然降恩，不使臣含恨九泉。」所上奏疏被扣住不予答覆。謝玄前後上了十餘道奏疏，過了好久，朝廷才改任謝玄為散騎常侍、左將軍、會稽內史。當時吳興太守晉寧侯張玄之也以才學顯名，從吏部尚書任上與謝玄同年到會稽郡做官，而張玄之的名望亞於謝玄，時人稱為「南北二玄」，論者以此予以美譽。
謝玄抱病登車去會稽郡任職，十三年後，死於任職上，終年四十六歲。朝廷追贈為車騎將軍、開府儀同三司，謚號為獻武。
謝玄之子謝王奐承襲封爵，官至秘書郎，早死。謝王奐之子謝靈運承襲爵位。謝王奐從小就顯得不聰慧，而謝靈運文辭艷麗氣勢縱橫，謝玄曾讚賞道：「我即生了愚笨的謝王奐，愚笨的謝王奐怎麼會生出聰明的靈運呢！」永初年間(420～422)，謝靈運為劉裕太子左衛率。
最初跟隨謝玄東征西伐的有何謙、戴..等。何謙字恭子，東海人。戴..字安丘，隱士戴逵之弟，驍勇果斷多謀略。戴逵貞靜有操行，隱居東山，而戴..以武勇顯名。謝安曾對戴..說：「你們兄弟二人志趣為何如此不同？」戴..說：「下官不堪國家之憂，家兄不改隱逸之樂。」戴..以軍功封為廣信侯，官至大司農。