衛馞字伯玉，河東安邑人。高祖衛詗，漢明帝時因精於儒學自代郡徵召，行至河東安邑死於途中，皇帝將他死的地方賜給他做安葬的墓地，子孫也就在此地安家。父親衛覬，是魏尚書。衛馞十歲喪父，盡孝道超過常人。性格正直沉靜善辨事理，以明智多識清廉公允而著稱。繼承了父親的爵位閿鄉侯。二十歲為魏尚書郎。當時魏法苛嚴，母親陳氏為他擔心，經衛馞自己請求，轉徙為通事郎，又轉為中書郎。當時權臣專政，衛馞在權臣之間周旋，不親不疏，為傅嘏所看重，認為可比於春秋時的寧武子。在官位十年，以勝任職守被稱讚，累遷至散騎常侍。陳留王即位，拜為侍中，持節到河北慰勞。因參與決定大事，增食邑戶數。幾年後轉為廷尉卿。衛馞明習法理，每次處理訟獄，無論大小案件都能判得合情合理。
鄧艾、鍾會伐蜀時，衛馞以廷尉卿身份持節監督伐蜀軍，執行鎮西軍司的權力，撥給士兵千人。平蜀以後，鄧艾即承魏主旨意，封蜀君臣。鍾會心懷不軌，利用鄧艾專權的缺點，秘密與衛馞上奏鄧艾在蜀作為。皇帝下詔用檻車將鄧艾送往京城，鍾會派遣衛馞先去逮捕鄧艾。鍾會認為衛馞兵少，想讓鄧艾殺掉衛馞，然後給鄧艾加上罪名。衛馞知道鍾會想害自己，然而又沒有理由拒絕，即夜間來到成都，通知鄧艾所統率的將領，說皇帝有詔逮捕鄧艾，其餘人一概不問。若到官軍軍營來的，爵位賞賜和原來一樣，敢有不來者，誅滅三族。到雞叫時，諸將都被衛馞召來，只有鄧艾還在帳內。天亮開門，衛馞坐著使者的車，逕直來到成都殿前。鄧艾還在床上未起，父子一起被捕。鄧艾部下將領謀劃要救鄧艾，各持兵器奔赴衛馞營前。衛馞不帶衛兵出來迎接，假裝為皇帝寫好了表章，將羅列鄧艾罪行上報，諸將信以為真，即退去。
不久鍾會也到了，鍾會請諸將胡烈等出來議事，趁機逮捕了他們，關押在益州官府，遂即發兵反叛。當時士卒思歸，內外騷動，人情憂懼。鍾會留住衛馞，商量對策，在木板上寫上「欲殺胡烈等」幾個字，舉起來讓衛馞看，衛馞不同意，兩人因而互相猜疑。衛馞到廁所去，看到胡烈原來的給使，使他到三軍中宣傳，說鍾會要造反。鍾會逼衛馞決定大計，二人一夜未睡，各人將刀橫放在膝上。外面諸軍已暗地準備攻擊鍾會，因衛馞沒有出去，不敢動手。鍾會使衛馞出去慰勞諸軍。衛馞心裡很想出去，為消除鍾會的疑慮，故意說：「您是三軍之主，應親自去慰勞。」鍾會說：「您是監司，暫且先去，我隨後出去。」衛馞便下了殿。鍾會後悔使衛馞出去，使人呼喚衛馞轉回。衛馞以頭暈病發作推辭，並故意倒在地上。等走出閣門時，數十個使者又追來，衛馞到外面解捨，喝些鹽湯，大量嘔吐。衛馞平時身質瘦弱，便像得了重病，鍾會派親信和醫生去探視，都說臥病不起，鍾會因此便無所忌憚。天黑以後，殿門關閉，衛馞作檄文將鍾會謀反事宣告於諸軍。諸軍本已打算舉兵攻打鍾會，於是黎明時，一齊向鍾會進攻。鍾會率左右士卒抵抗，被諸軍擊敗。只有帳下數百人隨著鍾會繞殿奔走，全被諸軍殺死。衛馞於是部署諸將，軍心這才安定。
鄧艾本營將士又追上押送鄧艾的檻車，救出鄧艾，轉回成都。衛馞覺得與鍾會共同陷害過鄧艾，怕鄧艾回成都後發生變故，又想獨得殺鍾會的功勞，於是派遣護軍田續到綿竹，夜間在三造亭襲擊鄧艾，把鄧艾和他兒子鄧忠都殺了。當初鄧艾進入江由時，因田續遲疑不進，準備處斬，以後又赦免了他。衛馞派田續殺鄧艾時對他說：「這回可以報江由的恥辱了。」
滅蜀平叛以後，朝廷議論封衛馞。衛馞自以為平蜀是諸將帥的功勞，鄧、鍾二將專橫跋扈，自取滅亡，自己雖出計獻謀，而無拔旗斬將之功，堅決辭讓不受封。最後授予使持節、都督關中諸軍事、鎮西將軍等職銜。不久遷為都督徐州諸軍事，鎮東將軍，增封..陽侯，以余爵封衛馞的弟弟衛實為開陽亭侯。
泰始初年(265～274)轉為征東將軍，晉爵為公，都督青州諸軍事、青州刺史，加征東大將軍、青州牧。在各任上都有政績，又拜為征北大將軍、都督幽州諸軍事、幽州刺史、護烏桓校尉。到鎮以後，上表設立平州，平州軍事由衛馞兼管。當時幽、並二州東有烏桓，西有力微，一起危害邊疆。衛馞離間二虜，使他們之間產生矛盾，於是烏桓投降而力微憂愁而死。朝廷嘉獎其功，封他的一個兒子為亭侯。衛馞請求封給弟弟，弟弟未受封而死。弟弟之子衛密受封為亭侯。衛馞六個兒子無爵，把爵位讓給兩個弟弟，受到遠近人的稱讚。衛馞多次要求入朝，入朝以後，武帝很好地寬待了他，不久又使他回鎮。
咸寧初年(275～280)，徵召回京拜為尚書令，加侍中。衛馞為人嚴肅而整齊，以法駕御下屬，把尚書當作自己的助手，尚書郎當作屬吏。學問淵博，擅長文藝，與尚書郎敦煌人索靖都善作草書，當時人稱為「一台二妙」。漢末張芝也善草書，論書者以為衛馞得伯英之筋，索靖得伯英之肉。
太康初年(280～289)，遷為司空，侍中、尚書令不動。為政清廉，在朝野甚有聲譽。武帝令衛馞第四子衛宣與繁昌公主為婚。衛馞以為自己出身士人庶族，婚對一向為平民，上表堅意辭讓，武帝不許。又兼任太子少傅，加千兵百騎鼓吹之府。因為那年發生日蝕，衛馞與太尉汝南王司馬亮、司徒魏舒都請求退位，武帝沒有答應。
衛馞以為魏建立九品中正制，是權宜之計，非常規通用之道，應恢復古代由鄉里選拔推薦的制度。於是與太尉司馬亮等向皇帝上疏說：「昔聖王崇尚賢者，舉拔善者以教化萬民，因而使朝廷之人有德讓，鄉野之人無邪行。以鄉閭之政績，確實可以檢驗一個人的才德，察其事考其言，必能得到善者。人們知道名譽不是憑空求得，會轉來修養己身。因而崇賢則民俗會更加和順，逐惡則人們行為更加忠厚。所以從鄉里選拔推薦人才，成為先王好的制度。以後此法衰敗不行。魏氏處在天下大亂，國家顛覆之際，士人流徙不定，無固定考核之地，所以建立九品之制，姑且作為當時選用人才的依據。這種制度開始執行時，鄉邑人品評清議，不拘於爵位高低，對人們的褒貶，足以起到勉勵作用，還有重視鄉里輿論的風氣。中間漸漸變化，遂按資格地位定品級，天下賢士只能觀望，只有在位的官宦為貴，使人們放棄品德修養，忽視對理想事業的追求，而在細微末節上爭執計較，損傷風俗，弊端不小。當今天下一統，王化開始大行，臣等以為應廢除九品制度，一律倣傚古制，以地域劃分，自公卿以下，皆以所居地為推薦渠道，不須到處流徙客遊於遠方異土。這樣，則同鄉鄰居，皆為邑里知情之人，郡縣長官，都是主持推薦的長者。廢除中正九品制度，使推舉善良進用賢才之事，由各地鄉里輿論裁決。如此則下敬其上，人人安守教化，民俗與施政皆可清廉，教化與法制皆可完善。人們知道善與不善之名，不在於交遊，則浮華競爭之風自息，各人都會從自身作起。今天如果廢除九品，則應以古制為準，使朝臣共同薦舉賢者，這樣發現選用人才的路子既廣，也可以鼓勵推重人才的公心，考核在位官吏的明暗，實在是一種好制度。」武帝以為這個意見很好，但終於沒有革除九品制度。
惠帝定為太子，朝臣都認為太子智力單純質木，不能親理政事。衛馞多次想向武帝陳奏廢除太子，但未敢開口，後逢與武帝宴飲於陵雲台，衛馞假托酒醉，跪在武帝床前說：「臣有話要說。」武帝說：「公所言是何事？」衛馞三次要說而終於忍住沒有說，最後用手撫摸著御床說：「這個座位可惜啊！」武帝明白了他的意思，故意裝著不懂說：「你真是醉了。」衛馞於是不再提此事。由此也引起了賈後對他的怨恨。
衛宣娶公主，多次有好酒貪色的過錯。楊駿平素與衛馞不和，又想獨攬大權，以為如果衛宣與公主離婚，衛馞必然辭職引退，於是遂與黃門等共同譭謗誣陷衛宣，啟示武帝召回公主。衛馞慚愧害怕，告老辭職。武帝下詔說：「司空衛馞未到致仕的年齡，而歷年請求退位，欲在神志未衰時離職，以保持晚節，真誠之風實感吾心。現聽從本人要求，晉位為太保，以公爵回府第。給親兵百人，置長史、司馬、從事中郎掾屬；大車、官騎、麾蓋、鼓吹等威儀，一律按舊典辦理。撥給廚田十頃、園五十畝、錢百萬、絹五百匹；床帳席褥，主事者務要優厚齊備，以符合我尊崇賢者之意。」有司又上奏逮捕衛宣交廷尉判罪，免除衛馞爵位，武帝不許。武帝后來知道衛宣的事是黃門虛構誣陷，想讓衛宣與公主復婚，而衛宣病死。
惠帝即位，又給衛馞千兵。楊駿被殺，以衛馞掌尚書事，加綠戾綬，帶劍穿履上殿，入朝不趨走，給騎司馬，與汝南王司馬亮共輔朝政。司馬亮奏請諸王各回封地，與朝臣商議此事，無人敢應和，只有衛馞贊成，楚王司馬瑋因此怨恨衛馞。賈後平時也怨恨衛馞，並憎惡他為人正直，使自己不能肆意暴虐；又聽說衛馞與司馬瑋有衝突，遂譭謗衛馞與司馬亮欲效伊尹、霍光行廢立之事，讓惠帝作手詔，使司馬瑋免除衛馞等人官爵。黃門將詔書交給司馬瑋，司馬瑋做事輕狂冒險，欲發洩私怨，夜間使清河王司馬遐逮捕衛馞。衛馞左右侍衛懷疑司馬遐是假借皇帝之名，都勸說道：「禮製法律規定對待台輔大臣不會如此，且請抗拒來者，待親自上表，得到皇帝答覆，再死未晚。」衛馞不聽從，遂與兒子衛恆、衛岳、衛裔及孫等共九人一同被害，終年七十二歲。衛恆兩個兒子衛..、衛..當時在醫生家裡，得免於難。
當初，杜預聽到衛馞殺鄧艾的消息，對眾人說：「伯玉以後也難免遭難，身為名士，位居總帥，既無德聲，又不以正直之道駕御下屬，行小人之事而虛有君子之名，如何負其責呢？」衛馞聽說後，不待車駕而去向杜預道謝。其結局果如杜預所言。當初，衛馞家裡人做飯，飯粒掉在地上都變成螺，過了一年多遭禍。太保主簿劉繇冒險收屍安葬了衛馞。
當初，衛馞為司空，帳下督榮晦有罪，被衛馞斥逐。司馬瑋捕衛馞時，榮晦隨兵報怨，故衛馞子孫皆被殺。
楚王司馬瑋被殺後，衛馞之女給大臣上書說：「先公死後沒有爵位謚號，無異於平民，國人輕蔑而無仗義之言，令人奇怪。《春秋》褒貶之義不存，過錯在誰？悲憤感慨，故以此意相告。」於是劉繇等執黃鏣，敲響朝門外的登聞鼓，向皇帝上言說：「當初矯詔者來到衛公宅，衛公受詔當免官，立即送出印綬，雖有衛士兵仗，未動一刀一槍，按詔命單車出府第。按詔書之文只免去官爵，而右軍以下之人即借詔命行其詐偽，違背詔書本意，殺害宰輔，不再上表請示，蠻橫地逮捕衛公子孫輒皆行刑，殺害大臣父子九人。伏見處理此事的詔書說『為楚王所誑誤不是本有同謀者都寬免遣去』，按詔書之意，這些殺人者好像是被驅逼的手持白杖的鄉里人。按法律，受教唆殺人，也不得免死。何況害死功臣，殘殺忠良，雖說不是主謀，理應不可赦免。今元兇雖死，而殺人兇手還在。臣怕有不知事實詳情，或有漏網，兇手不能盡誅，使公父子仇人不滅，冤魂永恨，訴於蒼天，苦痛之臣，悲於人世。臣等身被創傷，殯殮剛完。謹條列衛馞前任司空時，帳下給使榮晦因偽詐被黜，知道衛馞家中人數，子孫名字。榮晦後轉為右軍給事，捕衛馞那天夜裡，榮晦在門外高聲大呼，宣詔書免公官爵還府宅。門開後，榮晦來到中門，又宣讀所帶偽詔，親手取掉衛公的印綬和貂蟬冠，催公出府第。又按次序登記搜捕衛馞家人及其子孫，皆用兵仗押出，停在東亭道包圍看守，並在一時之間全部殺死。衛公子孫被害實由於榮晦。帶人偷盜搶劫府庫，都是榮晦所為。考問榮晦一人，眾奸人都會供出。請驗證事實，加以滅族之罪。」皇帝下詔同意劉繇等人的處理意見。
朝廷因衛馞全家無辜受害，追念衛馞伐蜀之功，封為蘭陵郡公，增邑三千戶，謚號為「成」，贈假黃鉞。