王彪之，字叔武。二十歲時鬢髮鬍鬚皆變白，當時人稱他王白鬚。最初拜官為佐著作郎、東海王文學。堂伯王導對他說：「吏部打算讓你任尚書郎，你有希望做諸王的佐吏呀！」王彪之說：「職位的高低不足計較，自當在當朝任職。至於超格陞遷，並非我的願望。」於是王彪之就做了尚書郎。鎮軍將軍、武陵王司馬日希召他做司馬，累遷為尚書左丞、司徒左長史、御史中丞、侍中、廷尉。
當時永嘉太守謝毅，在皇帝大赦天下後殺了同郡人周矯，周矯的堂兄周球上揚州告狀訴冤。揚州刺史殷浩派從事捉拿了謝毅，交付給廷尉。王彪之以為周球作為案件控告者，身無爵位，不屬廷尉所管轄，不肯受理此案，與州相反覆推辭。晉穆帝下詔令王彪之受理此案。王彪之又上疏堅持照章辦事，時人將他比作西漢的張釋之。朝廷將於南郊祭天，簡文帝當時為撫軍大將軍，執掌朝政，詢問王彪之是否應赦免天下罪人。王彪之回答說：「中興以來，南郊祭祀往往要實行大赦，愚臣以為不宜赦免。為什麼呢？百姓不明其用意，都將以為郊祀必有大赦，到此時，兇惡愚頑之徒又會抱僥倖心理為非作歹了。」於是簡文帝聽從了王彪之的意見。
王彪之轉任吏部尚書。簡文帝下令以秣陵令曲安遠補任句容令，殿中侍御史奚朗補任湘東郡太守。王彪之堅決不從，說：「秣陵是三等縣而已，殿下從前任用曲安遠，輿論竟嘩然。句容靠近京城，是三等佳縣，怎能交付給以卜術惑眾的無才庸人呢！湘東郡雖然偏遠狹小，但歷任太守還沒有像奚朗這樣的人，輿論將認為奚朗兼好卜術才得以晉陞。殿下如果破格起用那些貧賤者，應使有用之才得以選拔。奚朗等是庸才，實不足以擔當此職。」
太尉桓溫想舉行北伐，朝廷屢次不准許。桓溫便憤然離開京師去武昌，朝裡朝外人情震恐。有人勸說殷浩引身告退，王彪之對簡文帝說：「這不是為保國家社稷為殿下著想，都是為自己打算而已。假如殷浩離職引退，朝廷人心將會崩潰，天子孤立無助。到那時，該擔當其責任的，不是殿下又是誰呢？」又對殷浩說：「桓溫違抗君命興師問罪，足下將首當其衝。事到如此，猜忌對立已經形成，再想做平民百姓避禍，哪裡還有可能呢？為今之計只有冷靜地等待。請丞相會稽王給桓溫寫封親筆信，表示誠意，陳述成敗利害關係，桓溫必定會退兵。如不順從，就給他下皇帝手詔。如再不奉命，就以正義之師予以制裁。平白無故自己慌亂，將會帶來不好的後果。」殷浩說：「決策大事正感到難辦，近日來使人煩悶不安，聽足下一番謀劃，心胸豁然開朗。」桓溫也遵奉皇帝之命，果然不進兵問罪。
其時朝廷官員日漸眾多，而且遷職頻繁，王彪之上疏議論道：
為政之道，以選拔賢才為當務之急，不要認為滿朝儀態溫文的百官，僅僅是個標誌而已，百官任職要有助於時務，要盡職盡責，憂慮天下。選拔賢才，在於看他到官任事；為官任職，要能長久；百官長久盡職盡責，天下自會教化成功。因此三年一次考績，三次考績才予以升降，不希望一下子就有收穫，不指望短期內建立聲譽。因此大賢之才將會功齊北斗，道通四海，風範流播遠近，聲名傳頌千古。平庸之輩多，賢能之士少，天下賢才少而朝廷官多，豈能不使賢愚混雜，清濁同流！辟員多則失職的也多，失職多則官吏遷職也快，前去後來，互相交換替補，並非故意要這樣做，而是這樣做順理成章罷了。這是授官制度不完善，朝廷風氣不清明的原因。完善授官制度，在於減少官員；澄清朝廷風氣，在於合併職務。官員減少便於公正地選拔人才，而且能長久任職，職務合併可以使人事簡易且風俗清靜；公正地選拔人才可以使賢能之士長期在職位上盡心盡力，能長期在職分上盡心盡力，即使中等才幹者也可有所成就。
現在朝廷內外官職，比較算來，有些本該合併或撤消。六卿之職，太常聲望高職權大，然而所掌管的意義重大而事務簡單。宗正所統轄的事少，可以併入太常。保衛宮廷的責任，由東西兩宮衛尉擔負，其次有驍騎、左軍各有所領，凡是無兵的軍校都應廢除。四軍都廢除，左軍之名就不能單獨設立，應改設游擊與驍騎對應。宮廷內務官自侍中以下，舊制都是四人，中興初期，只設二人。二人司職，有時有不周密之處，愚臣以為改設三人，在處理事情上不會出過失。凡是餘下的官員，不管實事的，可讓主管官吏根據才位來兼任。若這些官職不能馬上廢除，可視其有空缺的減去一些。對在職的官員劃定其職分，責成他們有所建樹，賢能與否通過考察其政績而顯露，清濁好壞隨著進退而分明。雖不能達到聖明、昌盛的堯舜、文王之世，但使百官的選用大體公正，任職的時間相對長久，不虛費朝廷的俸祿，簡化官府煩勞的瑣事，還是可以做到的。
永和末年(356)，多發傳染病。按舊例，朝中大臣之家有傳染病，家中傳染三人以上的，即使自身無病，百日內也不得進宮。此時，文武百官多稱家有時疾而不入朝理事。王彪之又進言道：「瘟疫之年，沒有哪一家不傳染。如果因此就不入宮，那恐怕連近侍也無人充當，皇宮將會空無一人了。」朝廷聽從了王彪之的進諫。
不久長安人雷弱兒、梁安等詐稱殺苻健、苻眉，請晉出兵接應。當時殷浩鎮守壽陽，便率部進駐洛陽，準備修復皇陵。適值王彪之患病回家，給簡文帝寫信，陳述雷弱兒等形跡可能有詐，殷浩不應輕舉冒進。不久果然發現雷弱兒有詐，姚襄反叛，殷浩大敗，退守譙城。簡文帝笑著對王彪之說：「果然如您所言。近來，足下謀劃準確無誤，張良、陳平又怎能超過您呢！」
王彪之改任領軍將軍，遷尚書僕射，因病不就。遷太常，兼崇德宮衛尉。其時，有人對簡文帝說：「武陵王府第中大修器杖，將圖謀不軌。」簡文帝詢問王彪之。王彪之說：「武陵王的志趣盡在騎馬打獵而已。請冷靜對待，聽聽不同看法。」有人又向簡文帝說了與王彪之同樣的看法，簡文帝十分高興。
王彪之又改任尚書僕射。其時豫州刺史謝奕去世，簡文帝就讓王彪之舉薦可以代替謝奕的人。王彪之回答說：「當今賢才，都被有鑒賞力的人選拔完了。」簡文帝說：「有人舉薦桓雲，您以為如何？」王彪之說：「桓雲未必無才，但桓溫據守長江的上流，佔有天下的一半，其弟又去鎮守西藩，兵權盡為一門所掌，這絕不是鞏固朝廷的辦法。人的才能不可預先衡量，只是應當選拔不與殿下作對的人才好。」簡文帝說：「您說得對。」
後來朝廷以王彪之為鎮軍將軍、會稽內史，加任散騎常侍。居會稽郡八年，豪強不法之徒紛紛斂跡，逃亡人丁回歸的有三萬餘口。桓溫鎮守姑孰，威勢脅迫天子，四方官員敬畏他，都派遣高級官佐或主簿去進見送禮。王彪之獨說：「大司馬的確富貴，朝廷既然有宰相，行動止息自應與朝廷宰相稟告諮詢。敬重大司馬如果派遣主簿，那麼向天子朝貢還有什麼更高的禮儀呢？」竟不派遣進見之人。桓溫以山陰縣賦稅折合布匹糧米不能按時繳納，而會稽郡不予彈劾檢舉為罪狀，上表免去王彪之的職務。王彪之離開會稽郡時，將郡裡被加罪而未上報州府的犯人，全部赦免釋放。桓溫又以此為罪狀，用囚車將王彪之送去治罪。適逢大赦，免罪，降職為尚書。
不久，王彪之又為尚書僕射。此時桓溫準備廢除海西公，百官震恐，桓溫也情緒激動，眾人不知如何舉措。王彪之知道桓溫想當皇帝的跡像已顯明，用說理是阻止不了的，便對桓溫說：「桓公主持朝政，應當依照前代的例子行事。」說罷令人取來《霍光傳》。禮儀法度，片刻間制定，毫無懼色。桓溫歎道：「作輔佐大臣不應如此麼！」當時，廢立的儀式許久以來未曾使用，朝廷大臣沒有人知道從前的法典。王彪之神情果斷，身穿朝廷官服，當階而立，文武禮儀一概由他擬定，朝廷百官因此都佩服他。桓溫又決定廢除武陵王司馬遵，以事由示意王彪之。王彪之說：「武陵王至親尊貴，沒有大罪，不能僅憑猜疑，便加以廢黜。桓公扶立天子，遠近歸順，應當尊重獎勵王室成員，做當代的伊尹、周公。這樣的大事，應該慎重思考。」桓溫說：「此事已定，你不要再說了。」
及至簡文帝駕崩，朝廷百官疑惑不安，不敢立嗣君。有人說，應當請大司馬處置。王彪之嚴肅地說：「天子駕崩，太子繼位，大司馬豈容變更！若先去請示，肯定反為大司馬所責怪。」於是太子繼位才議定下來。及至孝武帝即位，太皇太后因孝武帝年幼，加上正處在居喪期間，便命令桓溫依周公舊例代理朝政。事情已經施行，王彪之說：「這是異常大事，大司馬必定會堅決辭謝，這樣做會耽誤處理國事，延遲皇陵的修建，不敢奉命。請太后收回成命。」於是桓溫攝政一事告吹。
桓溫患病，暗示朝廷給他加九錫。袁宏為他起草奏表，拿給王彪之看。王彪之看罷，讚歎其文辭優美，對袁宏說：「足下本是大才之士，怎麼能拿這種奏表給人看呢？」當時謝安見表文，又再三讓袁宏更改內容，袁宏猶豫不決。屢次拖延日期，便向王彪之請教。王彪之說：「聽說桓溫的病一天比一天重，也支持不了多久，我們就這樣拖下去吧。」袁宏聽從了王彪之的指教。桓溫不久便病死了。
其時謝安與桓沖共輔朝政，謝安以為新喪輔國大臣，天子年幼不能親理政務，因而太皇太后應當臨朝聽政。王彪之說：「先朝前代，天子在母襁褓中，母子一體，因此許可臨朝聽政。太后也不能決定政事，終究是問愚臣與足下等人而已。如今天子年過十歲，接近舉行婚禮和冠禮的年齡，反要讓其堂嫂臨朝聽政，顯示天子幼弱，這豈是忠心輔翼揚威立德的做法？二位宰臣一定要這樣做，愚臣也不能阻止，所痛惜的乃是國家大局啊。」當時謝安不想把輔佐大權交給桓沖，所以讓太后臨朝聽政，朝政決策皆聽於自己。王彪之不明白謝安的用意，因而說了這番話。謝安堅決不依從。
不久王彪之陞遷尚書令，與謝安共掌朝政。謝安常說：「朝中大事，眾人不能決斷的，請教王公無不迎刃而解。」王彪之以年老為由，上疏請求退職，詔令不許。改任護軍將軍，加散騎常侍。謝安打算重新營造修建宮室，王彪之說：「中興之初，先帝在江東即位，極為簡陋，元帝、明帝也不曾改變建制。蘇峻之亂時，成帝止息起坐於蘭台，幾乎無法避寒暑，因此才修建宮殿。與漢魏相比，確定顯得狹小儉約，但還不至於破陋不堪，大體介於豪華與簡陋之間，現在只需根據情況增添修補就行了。強寇未滅，正是休兵養士的時候，怎可以大興土木，攪擾百姓呢！」謝安說：「宮殿不富麗豪華，後世會說今人無能。」王彪之說：「擔負天下重任，當以國家大事為重，政治公正清明，豈能以建造屋宇來顯示才能呢！」謝安無法改變他的主張。因此在王彪之逝世之前，晉室宮殿始終未加改造。
朝廷加封王彪之為光祿大夫、儀同三司，王彪之不受。病重，孝武帝派黃門侍郎問其病痛，賜錢三十萬以求取良醫妙藥。太元二年(377)，王彪之病逝，終年七十三。朝廷便以光祿大夫作為封贈，謚號為簡。王彪之有二子：長子王越之，為撫軍參軍；次子王臨之，官至東陽太守。