王儉，字叫仲實，生下來以後他的父親王僧綽就遇害了，被叔父王僧虔所收養。幾年後世襲爵位豫寧縣侯。拜祭接受茅土的時候，流下眼淚，哭聲嗚咽。年幼時努力學習，手不釋卷。賓客中有的加以稱頌讚美，王僧虔說：「我不擔心這孩子將來沒有名聲，正是怕他名聲太大呀。」於是親手寫了崔子玉的《座右銘》贈給他。丹陽尹袁粲聽到了他的名聲，等見了他以後說：「這是宰相的家門。松柏豫章雖然還小，但是已經有棟樑的氣象了，終究要擔當國家大事。」便告訴了宋明帝，選他與陽羨公主結婚，任命為駙馬都尉。皇帝認為王儉的母親武康公主參與了太初年(453)的巫蠱之事，不可以做婆母，打算挖掘墳墓分開埋葬。王儉托人代自己表達意見，秘密地以死相請，所以事情沒有辦成。
十八歲時，除去平民布衣出任秘書郎、太子舍人，越級升任秘書丞。依照《七略》寫成《七志》四十卷，上表獻給朝廷。又寫成《元徽四部書目》。母親去世服喪三年，服喪結束後，擔任司徒右長史。按照晉朝的法令，公府中的長史也穿朝服，宋朝大明(457～464)以來穿朱紅衣服。王儉上書說明應該恢復舊制，當時朝中討論沒有批准。後來蒼梧王暴虐，王儉告訴袁粲請求外出任職，援引晉朝新安公主的丈夫王獻之任職吳興為例，補任他為義興太守。
升明二年(478)，擔任長兼侍中，因為他的父親是在這個職位上去世的，所以堅決辭讓。在此以前，齊高帝做宰相，打算援引當時的賢者參與共創大業，那時候謝擔信任長史，高帝夜間召見謝籫，支開別人和他談了很久，謝籫沒有說話。只有兩個小童在玩弄蠟燭，高帝顧慮謝籫為難，便拿了蠟燭讓小童走開，謝籫還是沒有說話，高帝於是呼喊左右來人。王儉平時知道高帝雄奇異常，後來請求在閒暇的時候告訴給高帝說：「功勞高的人不給獎賞，自古以來並非一人。以您今日的地位，想要面朝北方而做別人的臣子，難道可以嗎？」高帝嚴肅地將他打斷，而神采和悅。王儉於是又說：「王儉蒙受您的特殊看待，所以才說出了難以說出的話，為什麼卻這樣深深地拒絕？宋朝景和、元徽時代的皇帝那麼荒婬暴虐，如果不是您怎麼能夠平安地渡過？但是人情淡薄，不能持久，您如果再略微地加以推脫，那麼在世人中的威望就失去了，難道只是大業永遠毀掉，就是七尺之軀哪裡可以保全？」高帝笑著說：「您的話不是沒有道理。」王儉又說：「您有現在的名位，所以是經常宰相，應該禮貌地拒絕各地諸侯，微微作些變革的表示。應當先讓褚公知道，我請求領命前往。」高帝說：「我應當自己前往。」過了不兩天，高帝自己去找褚彥回，長談了許久，才對他說：「我做了個夢說是應當得官。」褚彥回說：「現在授的官剛剛這樣，恐怕一二年間不能就給提升。而且吉利的夢未必就立即實現。」高帝回來告訴了王儉，王儉說：「褚彥回這是沒有明達事理。」虞整當時是中書舍人，對文辭十分精通，王儉便自己告訴了虞整，讓他寫作詔書。等到高帝做了太尉，任用王儉為右長史，不久轉為左長史，專門受到任用。重大慶典將要舉行，禮節儀式詔令策書，都出自王儉，褚彥回只寫祭祀詔書，又讓王儉參與謀慮制定策略。
齊台建立，王儉升為尚書右僕射，兼管吏部，當時年齡二十八歲。提拔了許多人。當時有個姓譚的士人，去拜見王儉請求做官，王儉對他說：「齊桓公消滅了譚國，怎麼還會有您？」回答說：「譚子逃奔到莒國，所以自然有我。」王儉讚賞他善於引證，終於得到了官職。高帝曾經從容地對王儉說：「我現在應當以青溪作為鴻溝。」王儉答道：「上天相應，人民歸順，恐怕不會有楚、漢相爭的事情。」
當時朝廷禮儀剛剛在創立，衣服的規則，還沒有固定的標準，王儉提議說：「漢景帝六年，梁王入朝，前來拜謁的中郎身穿金貂衣服出入殿門。左思《魏都賦》說『陪伴的人非常眾多，金貂服飾一齊閃光』，這是藩國的侍臣穿貂皮衣服的明文。晉朝的《百官表》上說『太尉參軍四人，上朝穿戴武冠』，這又是關於宰相府的明文。」又懷疑百官敬奉齊王的禮儀，王儉又說：「晉王接受天命，勸進的表章中說，『沖等情意眷眷』，直稱名字就應該盡到禮儀。」而世子的禮制沒有定下來，王儉又說：「《春秋》記載曹國的世子來朝見，以上公的禮儀來對待，比他的國君低一等。現在齊公的爵位是九命，禮儀居各藩國之首，世子也應該與眾不同。」全都照他說的執行。世子鎮守石頭城，仍然把它作為世子宮，王儉又說：「魯國有靈光殿，是漢朝以前的例子，處理政事為崇光殿，外面的房舍為宣德殿，以散騎常侍張緒為世子詹事，軍馬服飾全部依照東宮的制度。」
高帝登上帝位，與王儉議論輔佐承受天命的功臣，從容地對他說：「卿的謀劃之功，沒有人可以相比，卿只有二千戶，我心裡覺得太少。趙充國還能自己薦舉去西陵任職，何況卿和我友情不同尋常！」王儉說：「過去宋太祖創業，輔佐接受天命的各位大臣，封爵不過二千戶，拿我和他們相比，只覺得超過了他們。」皇上笑著說：「張良推辭封侯，哪能超過這呢！」
建元元年(479)，改封他為南昌縣公。當時都城雜亂，而且有很多奸人盜賊，皇上打算立符編伍，家家互相檢查。王儉勸諫說：「京城繁盛，四方彙集，如果一定要拿符信，事情既煩瑣，道理上也不夠開通，正如謝安所說的『不這樣怎麼能成為京師』。」於是便停止了。這一年，有關部門奏請制定盛大郊祭的禮儀，王儉認為應該在今年十月對宗廟進行大祭，從此以後，過五年再作大祭。建元二年正月初四，在南郊祭天，就在這一天回來在明堂舉行了祭禮；又在十四日在北郊祭天，都沒有其他配享。高帝聽從了他的建議。第二年轉任左僕射，像從前一樣兼管人才選拔。
起初，宋明帝的紫極殿用的是珍珠簾幕綺羅柱子，上面裝飾著金玉，是江東所沒有的，高帝打算用這些材料築造宣陽門，王儉與褚彥回以及叔父王僧虔聯名上表進諫，皇上親手撰寫詔書採納了他們的意見。宋朝時代，宮門外六門牆上設有竹籬，這年年初，有人發掘出了一個白虎樽，上面有字說「白門三重門，竹籬穿不完」。皇上對這些話頗有感觸，便改造另立宮牆。王儉又進諫，皇上回答說：「我想讓後世的人無以復加。」朝廷剛剛建立，制度正在創建，王儉對所有的咨詢無不作出決斷。皇上常說：「《詩經》上說『嵩岳之神顯靈聖，呂侯申伯降人間』，今天則為我生了王儉啊！」這年他堅決請求解除選拔人才的職務，被批准。
高帝駕臨樂游苑的宴會，對王儉說：「卿愛好音樂，為什麼和朕相同？」王儉說：「沐浴著唐堯時代的風氣，則家家都有德行，而既然同在齊國聽《韶》樂，則都會不知肉味。」高帝稱讚回答得妙。後來駕臨華林園宴會，讓各人發揮自己的技藝。褚彥回彈琵琶，王僧虔、柳世隆彈琴，沈文季唱《子夜來》，張敬兒跳舞。王儉說：「臣什麼也不會，只知道背誦書本。」於是跪在皇上前面背誦了司馬相如的《封禪書》。皇上笑著說：「這是歌頌盛德的事情，我怎麼可以承當！」後來皇上讓陸澄背誦《孝經》，從「仲尼居」開始，王儉說：「陸澄可以說是淵博而缺乏要領。臣請求背誦一段。」於是背誦了《君子之事上章》。皇上說：「很好，這樣張子布就不再讓人覺得奇特了。」這時侯王敬則脫掉朝服裸露著上身，用大紅絲紗纏上髮髻，揮舞著胳膊表演拍張雜技，叫喊聲震動左右。皇上不高興地說：「哪見過三公這個樣子！」回答說：「臣依靠拍張，所以得了三公的職位，不可忘了拍張。」當時認為是著名的對答。
王儉不久以本官兼做太子詹事，增加衛兵三百人。當時皇太子妃去世，左衛將軍沈文季原來是她的宮中官員，不清楚是否應該服喪。王儉論證說：「漢、魏以來，宮中的臣僚要首先具備僕人的品質，具體表現在三個方面。生前既然盡力敬奉，死後哪能不給服喪？從前庾翼死了妻子，王允、滕含還說府中官吏應有如對諸侯的妻子『小君』的服喪，何況是宮中臣僚的重要名分，應該依照禮數為舊時君上的妻子服『齊衰』三月而後除去。」皇上逝世，遺詔指示以王儉為侍中、尚書令、鎮軍。每次上朝，令史總有三五十人隨同，咨詢辨析，不曾阻滯。褚彥回當時做司徒、錄尚書，笑著對王儉說：「觀看讓他們分析評判十分快樂。」王儉說：「他們之所以能夠合乎我的心意，實在是由於具備明公您不用言語的自然教化。」武帝即位，配給他儀仗二十人，晉陞封號為衛將軍，掌管選拔人才的事情。當時有關部門認為前代繼承皇位，有的仍藉以前的郊祭祭天祈年，有的另外進行郊祭重新開始，晉、宋兩朝以來，不曾劃一。王儉說：「晉明帝太寧三年(325)在城南郊祭，當年九月逝世；漢成帝即位，第二年改元，也進行郊祭。簡文帝鹹安二年(372)在城南郊祭，當年七月逝世；孝武帝即位，第二年改元，也進行了郊祭。宋朝元嘉三十年(453)正月在南郊祭天，二月逝世；孝武帝繼承皇位，第二年又進行了郊祭。這是兩代的明確例子，大略可以仿照。現在聖明的君主繼續大業，幽明兩界眾心歸依，要講教化，則頻繁郊祭也不嫌多，要論事務，則國家年號剛剛改換，祭天並以祖宗配享，孝、敬兩者兼求。看來明年正月適於在南北二郊奉酒食祭天，並虔誠地在明堂祭祖。從此以後，依舊是隔一年一次。」有關部門又提出，明年正月上旬的辛日應在南郊祭天，而立春在上旬的辛日之後，郊祭在立春以前，這是值得懷疑的。王儉說：「宋朝的景平元年(423)正月初三辛丑在南郊祭天，這月的十一日立春。元嘉十六年(439)正月初六辛未在南郊祭天，這月的初八立春，這些都是近代的明顯例證。」都遵從了他的說法。
永明二年(484)，他兼任丹陽尹。三年，兼任國子祭酒，又兼任太子少傅。舊時太子以同樣的禮節敬重太、少二傅，到現在朝廷議論以賓客朋友的禮節接待少傅。宋朝時代國家學校廢毀，沒有機會修復，宋明帝泰始六年(470)，設置總明觀以聚集學士，有的稱之為東觀，設置了東觀祭酒一人，總明訪舉郎二人；儒、玄、文、史四科，每科設置學士十人，其餘令史以下的職位各有差別。這一年，因為國家學校已經建立，撤銷了總明觀，在王儉的宅院裡開設了學士館，以總明觀的四部圖書充實進來。又詔令王儉以家為府衙。四年，以本官兼管吏部。在此以前宋孝武帝喜愛文章，天下都以文章相比高，不以專攻經書為正業。王儉幼年就留意《三禮》，尤為擅長《春秋》，發言講論，即使倉促必合儒教，因此官紳紛紛趨附，都很推尚經學，儒教由此大興。何承天《禮論》三百卷，王儉謄抄為八帙，又另外抄錄條目為十三卷。朝廷儀式、舊時典章，晉、宋以來施行的舊制度，依次記錄，熟練回憶，沒有遺漏掉的。因此在朝值班處理事情，決斷有如流水。常常廣博議論多方引證，先前的儒者很少有這樣的例子，朝廷的各級官員，沒有能超過的。令史詢問事情，賓客滿席，王儉應接講解，毫無停滯。十天回來一次，監考學生，戴著頭巾站在庭堂中，並有帶劍的侍衛和令史，儀容很盛。他鬆散開頭巾，斜插著簪子，朝廷中和社會上的人們都很羨慕，群起倣傚。王儉常常對人們說：「江東的風流宰相，只有謝安。」大概是用來比喻自己的。武帝非常重用和信賴他，在對士人的選用上，他的奏議沒有不批准的。
永明五年(487)，王儉在本職基礎上加封開府儀同三司，他堅決推讓。六年，重申以前的任命。在此以前詔令王儉每三天回朝一次，尚書令史要出外去向他咨詢事情，皇上覺得往來很麻煩，詔令王儉回到尚書下省，每月允許十天外出。王儉啟奏請求解除選拔人才的職務，皇上不答應。七年，他又上表堅持請求，被批准了，改為兼管中書監。參與掌管選拔人才的事情。這年他生了病，皇上親自前去探望。後來去世，年齡三十八歲。詔令禁衛軍的文武官員以及台閣配備的兵士儀仗，都參加陪葬。又詔令追贈他為太尉，加賜褒羽、樂隊，增加儀仗為六十人，葬禮依照太宰文簡公褚彥回的舊規模。加謚號為文獻公。
王儉很少嗜好和慾望，專以治理國家為自己的事業，車馬衣服樸素隨便，家中沒有遺留的財物。他的撰著和批示，為當時的人們所重視。他少年時代便有成為宰相的志向，曾寫詩說：「稷契匡虞夏，伊呂翼商周。」生了兒子，字叫玄成，取仍然世代為宰相的意思。寫有《古今喪服集記》和文集，一起流行在世上。梁武帝接受禪讓，詔令為王儉立碑，封為侯爵。
王儉的弟弟叫王遜，宋朝升明年間(477～479)擔任丹陽丞，由於劉彥節的事情被告發，沒有受到封賞。建元初年，擔任晉陵太守，曾說過怨恨的話。王儉恐怕招來禍患，通過褚彥回把這事上報，中丞陸澄據實奏表檢舉。詔令讓王儉盡忠報效朝廷，特發判決書寬免王遜，把他流放到遠方的永嘉郡，他在路上被朝廷殺死。
長子王騫繼承了王儉的爵位。