王玄謨字彥德，太平郡祁縣人。六世祖王宏，官至河東太守，封爵綿竹侯，因為堂叔司徒王允遇亂，辭官回家在新興居住。後又繼續當新興雁門兩郡太守，這是王玄謨自己說的。祖父王牢，在慕容氏那裡做上谷太守。後被慕容德攻陷俘虜，住在青州，父親王彥，早逝。
玄謨小時候便與眾不同，族父王蕤頗會相人之術，常常微笑著對人說：「這孩子氣概不凡，有我們家祖中的太尉王允的風格。」宋武帝巡察徐州。選他為從事史，和他談話時覺得他氣概不凡。少帝末年，謝晦當荊州刺史，請求他當南蠻行參軍，武寧太守。謝晦造反失敗，因為他不是主帥而被原諒，元嘉年中，補任長沙王劉義欣鎮軍中兵參軍兼任汝陽太守。
當時魏人攻陷滑台，俘虜朱修之而去，王玄謨上了一道奏章說：「國家的土地剛開拓，馬上便淪陷了，不僅有天時的原因，更是人力之故，虎牢、滑台的失守，不僅僅是將軍的無能，更是因為國家根基不牢。國家根基不牢，則是因百姓害怕遠方的征役。臣下請求從西陽的魯陽、襄陽的南鄉徵調武器和士兵，分為兩路，直接攻崤山，澠池，軍隊沒有遠距離運輸的擔心。將士們有經常休息的快樂。如果讓我國東方部隊來攻取虎牢和洛陽，道路遙遠，攻克就更難了。」王玄謨多次呈進北伐的計策。文帝對殷景仁說：「聽到王玄謨上來的奏策，讓人有封狼居胥的氣概。」以後他當義安侯劉義賓輔國司馬，彭城太守。義賓死後，王玄謨上疏說由於彭城正當水路陸路的中心，請求讓皇帝的兒子鎮撫徐州，於是文帝讓武帝劉駿來此鎮守。
到了大舉北伐的時候，朝廷讓王玄謨做寧朔將軍，率前鋒進入黃河，接受輔國將軍蕭斌的指揮，王玄謨率兵攻向石高石敖，敵人戍守的將領逃走。於是進圍滑台，好幾十天還沒攻下，魏國皇帝拓跋燾正率領大軍號稱百萬向南進攻。軍鼓的聲音，震動天地。王玄謨率領的軍隊也很嚴肅整齊，武器精銳，但王玄謨剛愎自用經常殺人立威。剛開始包圍石高石敖時城內有很多茅屋，將領們請求用火矩綁在箭上射進去燒燬它們。王玄謨怕減少我們戰利品的數量，沒有聽從。而城中的人馬上便把這些茅屋撤掉。魏國諸將的救兵將到的時候，將領們請求用兵車築成堡壘自保，王玄謨又不聽從，將士們很有怨言。他撈取鎊種錢財一匹布要求調換人家八百隻梨子，因為這些大失人心。到拓跋燾的軍隊來時，於是迅速退兵，他手下的士兵逃亡死亡光了。蕭斌要殺掉他，沈慶之說：「拓跋燾威震天下，率百萬大軍南來，王玄謨怎麼能抵擋，殺掉自己的將領削弱自己，不是好計策！」蕭斌才沒有殺。當初王玄謨剛要被殺，夢到人家告訴他：「朗頌觀音經一千遍便可以免除這個災難。」醒了，朗頌它正好一千遍，明日他將被處決，仍然朗頌不停。突然有人傳呼停止行刑。他被派代替別人戍守石高石敖。江夏王義恭，當征討都督，認為石高石敖不能防守，召他回來，他被魏軍追擊，王玄謨大敗敵軍，飛箭射中他的肩膀。元嘉八年(431)正月回到歷城，劉義恭給王玄謨寫的信說：「我聽說你反敗為勝，肩膀上的金瘡，未必不是金印的前兆！」
劉邵殺文帝時，王玄謨當冀州刺史。孝武帝討伐劉邵。王玄謨派洛南太守垣護之率兵參加討伐行動大事平定，調他當徐州刺史，加都督號，在南郡王劉義宣和江州刺史臧質造反時，朝廷暫任王玄謨輔國將軍，拜官豫州刺史和柳元景共同向南討伐。他的軍隊駐守梁山。夾著大江修成彎月形的堡壘。
不久又當豫州刺史，淮河流域的亡命之徒，司馬黑石推舉夏侯方進當皇帝，改他的姓為李弘，用此蠱惑眾人。王玄謨攻打並消滅他們，陞官寧蠻校尉，雍州刺史加上都督，雍州的人多是北方遷來的僑居者，王玄謨請求以當地的地界為線劃這些人為當地人。當時的百姓不願屬於當地籍貫，此事作罷，當年，王玄謨又叫九品以上的官員上交租稅，縮小窮富之間的距離。雍州境內的官員無不怨恨，民間謠傳王玄謨想造反，當時柳元景正掌權，元景的弟弟僧景做新城太守，柳僧景借助元景的聲望，下令南陽、順陽、上潘新城各郡同時調集軍隊討伐王玄謨。王玄謨叫他手下的人安靜不動，以解除眾人的懷疑，又派人迅速向孝武帝報訊。陳述事情的來龍去脈，孝武帝知道真情，迅速派主書吳喜公安慰他，又寫信談梁山的問題，「開始時我並不在乎，君臣之間正應相互保護，你姑且開心一笑，讓你眉頭開朗」。王玄謨性格嚴肅，從未輕笑，當時的人說王玄謨眉眼從來沒有舒暢過。所以孝武帝用這來戲答，以後他又當金紫光祿大夫。兼任太常官職，創建明堂時，又以本官兼起部尚書。再領北方人的選拔工作。
孝武帝親近和侮辱群臣，根據各人的相貌安排每人的外號，須多的人稱他為羊，顏師伯缺幾顆牙齒，稱他為齒彥。劉秀之吝嗇，稱為老慳。黃門侍郎宗靈秀身體肥胖，朝拜起立不方便，每到君臣集會時，總是賜給他很多物品。想叫他謝恩。拜跪時翻倒在地，作為笑話。又刻畫木頭做宗靈秀父親光祿勳宗叔獻像，送到他家廳堂正中樹立起來，柳元景垣護之都是北方人。而只王玄謨被稱為老傖。孝武帝的稱謂在下給各地的文告都照樣，有次孝武帝替王玄謨作了一首四時詩說：「堇荼花供應春季的飲食，細粟的漿當做夏天的餐食，瓞瓜醬當做秋天的菜羹，白醋解除冬天的寒涼。」孝武帝又寵愛一個山昆山侖奴隸，名叫白主，常常安排在左右，叫他拿枴杖打眾大臣，從柳元景以下都遭到毒打。
王玄謨，不久陞官平北將軍，徐州刺史加上都督號。當時北方正在發生饑荒。於是他散發自家的穀物十萬鬥，牛一千頭用來拯救饑民。又兼官領軍將軍。
孝武帝逝世，他和柳元景都接受臨終托付。外面的軍事事務委託王玄謨。當時朝廷權力出自好幾個人。王玄謨因為嚴肅剛正不被容納。轉官青州、冀州二州刺史，加都督號，前廢帝已屠殺了顏師伯、柳元景等。犯亂一天比一天狠，又用領軍將軍的職號徵調王玄謨。他的兒子侄兒都勸他稱自己有病，王玄謨說：「我蒙受先帝的大恩，怎麼能怕災難。」於是即日起程。到後多次上書進諫勸說。又當面流淚請求緩和刑罰不要屠殺，來安定天下人民，前廢帝大怒。
明帝即位，對他待遇很好，當時四方反叛，朝廷讓王玄謨做大元帥率領水軍向南討伐，因為腳有病，允許他乘車出入。不久被調為車騎將軍，江州刺史，在赭圻做建安王的副將。並賜給他諸葛亮的緊袖鎧甲。不久，做左光祿大夫、開府儀同三司，兼護軍將軍。再任南豫州刺史。