曹操在世的時候，重視司馬懿，曾兩次請他來朝廷做官，第一次司馬懿裝病拒絕了，曹操疑心他不是真的生病，派人暗中去打探消息，司馬懿及時應對，總算沒有露陷。司馬懿知道曹操不會善罷甘休，裝病也躲不了一輩子，就等上一段時間，然後對外宣佈身體痊癒了，應曹操邀請入朝為官。
曹操先後幾次提拔司馬懿，最後任命他為太子中庶子，專職輔佐曹丕。曹丕對司馬懿十分信賴，曹操也經常和他商討國家大事，大多採用司馬懿的對策。沒過多久，司馬懿就因為功績顯赫而被提升為丞相軍司馬。
曹操去世後，司馬懿主持喪葬，一切都安排得井井有條，令曹丕十分感動。後來曹丕繼位成為魏王，立刻升司馬懿為河津亭侯，兼任丞相長史。曹丕即位後一直謀劃著篡權奪位，自立為皇帝，司馬懿當然很清楚他的想法，於是給他提出了很多建議。曹丕成功稱帝后，司馬懿被任命為尚書，沒多久又轉為督軍，隨後升任御史中丞、侍中、尚書右僕射，並被封為安國鄉侯。
曹丕去世前，把太子曹叡托付給司馬懿和曹真、曹休、陳群三位大將軍。曹叡即位後，史稱魏明帝，司馬懿被封為舞陽侯並驃騎將軍。
自從街亭失守後，諸葛亮多次帶兵北上伐魏，司馬懿親率大軍與之對抗。公元229年，諸葛亮出兵攻打魏國的武都、陰平兩個郡縣，司馬懿作為大將軍帶兵前去迎戰，另有曹真率主力軍從長安出發增援，左將軍張郃帶領一隊人馬從斜谷出發，司馬懿則從荊州渡漢水來到西城（今陝西安康西北），三支部隊在漢中會合。司馬懿從水路和陸路進攻蜀郡，一直打到新豐，蜀軍大敗。後來連日大雨，司馬懿見天氣不利於作戰，蜀軍損失慘重，料想諸葛亮也不會再有反撲的機會，便班師回朝了。
公元231年，經過一段時間休整後，諸葛亮又一次揮軍北伐，包圍了祁山地區。司馬懿立刻帶兵駐守長安，其他部將各自做好抗擊蜀軍的準備。這一仗打得十分激烈，蜀軍搶在魏軍之前收穫了佔據地的麥子，使軍隊的糧食不至於短缺，讓蜀軍有足夠的時間和精力與魏軍抗衡。然而諸葛亮在一次決策上的失誤導致蜀軍佔了下風，而諸葛亮也在不久後因病去世。
公元234年，諸葛亮病死在五丈原（今陝西岐山五丈原），七年北伐隨之結束，這場漫長的戰役最後是魏軍取得了勝利，司馬懿因功被升任為太尉，他本來還想乘勝進攻蜀漢，可是被魏明帝制止了。
公元235年，佔據遼東的地方軍閥公孫度引起了司馬懿的注意，公孫度對魏國的態度始終搖擺不定，一會兒同意歸降，一會兒又舉兵造反，到後來態度越來越惡劣。公孫度的孫子公孫淵成為遼東太守後，一點兒也不把魏國放在眼裡，到了公元237年，公孫淵公開宣佈脫離魏國，自立為燕王，定都襄平（今遼寧遼陽）。
在得到魏明帝的准許後，司馬懿帶著騎兵和步兵共四萬人，浩浩蕩蕩從京城出發，歷時幾個月時間來到遼東邊境。公孫淵得知魏軍來襲，慌得連忙讓大將軍卑衍等人帶兵在邊境佈置下20里長的防線。
然而公孫淵的防禦沒能抵擋住魏軍的進攻。司馬懿故意在南邊豎了很多旗幟，作出準備進攻的樣子，公孫淵的軍隊便把主力全部集中到南邊防守，而魏軍主力早已在掩護下度過遼水，不攻打遼軍軍營，而是直接襄平奔去。這完全出乎公孫淵的意料，慌亂之間，駐紮遼水的軍隊匆忙趕回襄平，可是他們抵不過早有防備的魏軍，三次交鋒都以失敗而告終。最後，司馬懿順利取得遼東戰役的勝利，一舉攻克下襄平。
可是就在這個時候，京城卻送來了魏明帝的急信，要求司馬懿接到信件後立刻趕回洛陽。司馬懿猜到朝廷一定發生了很重要的事情，於是日夜兼程往回趕。到了洛陽後，司馬懿才得知魏明帝已經病入膏肓，在床榻上奄奄一息。司馬懿連忙進宮，魏明帝只剩下最後一口氣了，他把司馬懿和皇親曹爽叫到床邊，命他們二人好生輔佐太子曹芳，說完這些，明帝就去世了。
太子曹芳登基成為魏少帝，司馬懿任太尉，曹爽任大將軍，兩人實力不相上下，各自擁有兵權。曹爽一開始對司馬懿很尊重，有什麼事情都和司馬懿商量，久而久之，他覺得有些厭煩了，加上親信們在一旁慫恿，曹爽慢慢地有了專權的想法。曹爽想方設想哄騙少帝把司馬懿降為太傅，這樣一來，司馬懿手上沒有一點實權，也沒有兵力，對曹爽構不成威脅。司馬懿知道曹爽的想法，他表面上不動聲色，其實心裡早就有了盤算。
大將軍曹爽掌握了魏國全部的兵力，不免驕傲自大起來，他不管司馬懿的勸阻，強行領兵攻打蜀漢，結果被蜀軍大將王平擊敗，幾乎全軍覆沒，只得狼狽逃回洛陽。
公元247年，曹爽採納親信的計謀，和曹羲一起把太后囚禁到永寧宮，並逼迫魏少帝曹芳任用自己的親戚和心腹，一時之間，朝廷內外全是曹爽的手下。曹爽還幾次修改律法，到處橫行霸道，唯我是尊，引起其他大臣的強烈不滿。
司馬懿表面上不願和曹爽正面衝突，他上奏少帝，辭去太傅一職，回家養病去了。曹爽不放心，派人去調查司馬懿的病情，得知司馬懿真的病入膏肓後，心裡懸著的石頭才放了下去。從這之後，曹爽更加肆意妄為。其實司馬懿表面上是在養病，暗地裡集結了很多有勢力的大臣，準備尋找機會消滅曹爽。
公元249年，魏少帝帶著曹爽、曹羲和一些大臣去給魏明帝掃墓。司馬懿聽到消息後，立刻精神抖擻地穿上盔甲，進宮面見太后，請太后下令罷免曹爽等人的職位。曹爽和他的手下在城外接到了太后的懿旨，嚇得不知所措，他們苦苦哀求魏少帝，可是魏少帝也不敢違背太后的命令，回朝後就下令出去曹爽及其弟的官職和兵權，那些被曹爽安插在朝廷的心腹也被司馬懿全部除掉了。
曹爽被廢後，只能呆在自己的府裡，司馬懿派兵把府外圍了個水洩不通，防止曹爽逃跑。後來司馬懿以謀反的罪名判處曹爽死刑，他的弟弟和幾名心腹也被判處死刑，並誅滅三族。從這之後，魏國政權落入了司馬家手中。
司馬懿死後，他的兒子司馬師繼承了他的職位，繼續專權。公元254年，司馬師得知李豐、張緝等人密謀策劃廢黜自己，便毫不猶豫地除掉了他們，魏少帝也受到牽連，被司馬師廢了皇帝身份，貶為齊王，隨後，十四歲的曹髦被立為皇帝，大權全部被司馬師所掌控。