王衍字夷甫，神態俊秀，風姿高雅。兒時曾到山濤家，山濤見了感歎良久，王衍離去時，山濤望著他的背影說：「哪個老婦，生出這樣可愛的孩子，然而給天下百姓留下禍害的，未必不是此人。」父親王砬，為平北將軍，曾經有公事要見皇帝，讓傳遞表奏的官列表上報，沒有得到批復。王衍十四歲，當時在京師，就去拜訪僕射羊祜，陳述此事的情狀，言辭清晰善辯。羊祜德高名重，而王衍尚是幼年，無屈下怯弱之色，眾人都覺奇異。楊駿想把女兒嫁給他，王衍以楊駿品德不好為恥辱，假裝瘋癲，才推脫此事。武帝聽說王衍的名聲，問王戎道：「王夷甫可以和當世的哪個人相比？」王戎說：「當今還沒有看到能和他相比的人，應當從古人中去找。」
泰始八年(272)，武帝下詔推薦有奇才可以安定邊郡的人，王衍開始就喜歡談論縱橫之術，所以尚書盧欽就推薦他做遼東太守。王衍辭不就職，於是不再談論世事，只是吟詠玄虛。曾因在宴會上惹怒了一個族人，族人舉起盤子，甩在王衍臉上。王衍沉默無言，拉著王導共坐一輛車子離去。然而心中總覺不平，在車中拿出鏡子照了照，對王導說：「你看我的目光卻在牛背上了。」父親死於北平，安葬甚厚，加之親戚朋友向他借的債也都放棄不收，數年之間，家中資產用盡，便移往洛陽城西田園中居住。後為太子舍人，遷為中書郎。又出補元城令，終日清談，也處理政務。入京為中庶子、黃門侍郎。
魏正始年間(240～249)，何晏、王弼等繼承發揚《老子》、《莊子》思想，提出論點認為：「天地萬物皆以無為本，無這東西，可以揭開萬物的規律，使人事各得其宜，它是無處不存在的。陰陽依賴它以化成萬物，萬物依賴它以生成有形之體，賢者依賴它以修成自己的美德，不肖者依賴它可以免除災禍。所以無大有用於人，無爵即可以大貴了。」王衍很推崇這種理論。只有裴危頁認為這種理論是錯誤的，寫文章加以駁難諷譏，而王衍不予理睬，我行我素。王衍既有盛才，又有美貌，聰敏若神，常自比子貢。加之聲名狼藉，為當世人所注目，擅長玄言，只以談《老》、《莊》為事。常常拿著玉柄塵尾，手與玉柄同色。對《老》、《莊》中他認為不妥的義理，隨口加以更改，世人號稱「口中雌黃」。朝野多有趨附者，稱為「一世龍門」。王衍屢次居顯要官職，後進之士，莫不仰慕倣傚。被推薦登朝入仕的，第一個被稱道的就是王衍。矜持清高，虛浮荒誕，遂成為一代風氣。王衍曾有一幼子夭折，山簡前去弔唁，王衍悲痛得無法克制，山簡說：「懷抱中的小孩，何必這樣悲痛呢？」王衍說：「聖人會忘掉情，下等人不知道什麼是情，這樣看來，情都集中在我們這些人身上了。」山簡很佩服這話說得好，自己也悲痛起來了。
王衍的妻子郭氏，是賈後的親戚，倚仗賈後的權勢，剛愎貪婪，聚斂財富，從無滿足的時候，又好干預他人之事，王衍深為憂慮，但又無法禁止她。有個出身鄉里做過幽州刺史的人叫李陽，當時是京師的大俠，郭氏平素很怕他。王衍對郭氏說：「不但我認為你這樣做不對，李陽也認為你不對。」郭氏這才收斂了些。王衍憎惡郭氏貪鄙，所以從來不提錢字，郭氏故意試驗他是否說錢，令婢女用錢串圍繞於床前，使他下床不能走路。王衍早晨起來見床下都是錢，對婢女說：「把阿堵物拿開！」他對錢就是這樣避而不言。
後來歷任北軍中侯、中領軍、尚書令。他的女兒是愍懷太子妃，太子為賈後誣陷迫害，王衍怕災禍及身，上表請求離婚。賈後被廢之後，有司上奏彈劾王衍，奏文說：「王衍曾給司徒梁王司馬肜寫信，抄寫報送皇太子親手給太子妃及王衍寫的信，信中陳說自己被誣陷的情狀。司馬肜拜讀，詞意懇切悲痛。王衍位為大臣，這種不義的行為應當受到指責。太子被誣陷而得罪，王衍不能為正義獻身守節，馬上要求離婚，接到太子的親筆信，又隱藏起來不敢拿出。意在苟且免禍，無忠直之操。應嚴厲追查他的責任，以勸戒為臣之節。王衍應受禁錮終身之處分。」皇帝聽從了這個意見。
王衍向來輕視趙王司馬倫的為人。司馬倫篡位後，王衍裝瘋砍死婢女，才得免禍。司馬倫被殺，王衍拜為河南尹，轉為尚書，又轉為中書令。當時齊王司馬礒有匡救國家的功勞，然而專權恣肆，公卿都向他下拜，只有王衍向他作個長揖而已。後因病辭職。成都王司馬穎以王衍為中軍師，多次遷升為尚書僕射，兼管吏部，後拜尚書令、司空、司徒。王衍雖身居宰輔重位，然而不把治國放在心中，所考慮的只是如何保全自己。勸東海王司馬越說：「中國已經大亂，應當依賴地方各鎮將領，選擇那些文武兼備的人才加以任命。」於是以其弟王澄為荊州刺史，堂弟王敦為青州刺史。王衍對王澄王敦說：「荊州有長江漢水之固，青州有背海之險，你們兩個在外，我留京師，這就是保證安全的三窟啊。」有見識的人都認為他這種言行是鄙劣的。
石勒、王彌侵擾京師時，皇帝以王衍為都督征討諸軍事、持節、假黃鉞以抗敵。王衍使前將軍曹武、左衛將軍王景等擊賊，打退了賊軍，截獲敵軍輜重。遷為太尉，尚書令如故。封為武陵侯，王衍辭封不受。當時洛陽形勢危急，很多人想遷都以避難，而王衍獨賣掉車牛，表示不遷，以安定眾人之心。
司馬越討伐苟日希時，王衍以太尉身份為太傅軍司。司馬越死，眾人共推王衍為元帥，王衍認為賊寇鋒芒正銳，害怕不能敵擋，就推辭說：「我從少年起便無作官的願望，為朝廷文牒所迫，沉浮於官場，才弄到今天這個地步。當前抗敵之事，怎能讓沒有軍事才能的人去擔當。」不久全軍被石勒擊破，石勒邀王衍會面，稱他為王公，並向王衍詢問晉失敗的原因。王衍向石勒陳說了晉發生禍敗的原由，說軍事計謀不出於自己。石勒很喜歡，和他談了很長時間。王衍又說自己從小就不願干預世事，想避免禍害，因而又勸石勒稱帝。石勒大怒說：「君名冠四海，身居重位，少壯時即登朝做官，直到白首，怎能說不干預世事呢！破壞天下，正是你的罪。」使左右衛士將他扶出。石勒對近臣孔萇說：「我走遍天下，還不曾見過這種人，應當讓他活否？」孔萇說：「他是晉的三公，一定不會為我們盡力，有什麼值得把他看作貴重之人。」石勒說：「只是不能用刀殺他。」於是使人夜間推倒牆把他壓死了。王衍將死時，望著旁邊的人說：「唉！我們這些人雖不如古人，往日若不崇尚虛浮，努力匡扶天下，還不至於有今日之事發生。」死時五十六歲。
王衍俊秀有美名，傾心於玄虛高遠之道，從不言利。王敦過江後常稱讚王衍說：「王夷甫處在眾人中，如珠玉放在瓦石間。」顧愷之作畫贊，也稱頌王衍如高巖青峰，聳立千仞。他就是這樣為人們所推崇。