公元229年四月，吳王孫權正式即位稱帝。蜀漢大臣大多數認為孫權稱帝是僭號，要求跟東吳斷絕盟好關係。諸葛亮卻認為，蜀漢眼前主要對手是魏國。他堅持和東吳保持聯盟，繼續準備北伐。
公元231年，諸葛亮第四次北伐，出兵祁山。魏國派了一個大將司馬懿和張郃等一起率領人馬趕往祁山。諸葛亮把一部分將士留在祁山，自己率領主力攔擊司馬懿。
司馬懿知道諸葛亮的戰略。他認為諸葛亮孤軍深入，帶的軍糧不多，所以在險要的地方築好營壘，叫將士只守不戰。
魏軍將領以為司馬懿害怕諸葛亮，一再請戰，說：「您怕蜀軍像害怕老虎一樣，難道不怕天下人笑話嗎？」
司馬懿硬著頭皮，帶兵趕上去跟諸葛亮大戰一場，結果被蜀軍殺得一敗塗地。但是蜀軍由於後方的運糧官員失職，糧草供應不上，只好主動撤兵。大將張郃帶兵緊緊追趕，趕到木門一帶山谷地帶，被諸葛亮預先佈置好的伏兵用亂箭射殺了。
諸葛亮幾次出兵，往往因為糧食供應不上退兵。他接受這個教訓，設計了兩種運輸工具，叫做「木牛」、「流馬」（兩種經過改革的小車），用它們把糧食運到斜谷口（在今陝西眉縣西南）囤積起來。
公元234年，諸葛亮作好充分準備，發動十萬大軍進行最後一次北伐。他派使者到東吳，約孫權同時發起攻勢，南北策應，使魏國兩面受敵。
諸葛亮大軍出了斜谷口，到了渭水南岸的五丈原。為了作長期打算，他派一部分兵士構築營壘，準備作戰；另派一部分兵士在五丈原屯田，跟當地老百姓夾雜在一起耕種。蜀軍紀律嚴明，百姓和兵士相處得很好。
魏明帝派司馬懿率領魏軍渡過渭水，也築起營壘防守，和蜀軍對峙著。
孫權接到諸葛亮的信，馬上三路出兵進攻魏國。魏明帝也厲害，他一面親自率領大軍到南面抵擋東吳的進攻；一面通知司馬懿在五丈原堅持，只守不戰。
諸葛亮等待東吳方面的消息，但是結果使他很失望：孫權的進攻失敗了。他想跟魏軍決戰，但是司馬懿始終穩守營壘，諸葛亮幾次三番向他挑戰沒有用。雙方在那裡相持了一百多天。
要使魏軍出來打，只有想法子激怒司馬懿。諸葛亮利用當時輕視婦女的風俗，派人給司馬懿送去一套婦女的服飾。意思就是司馬懿這樣膽小怕戰，還是回去做個「閨房小姐」吧。
魏軍將士看到主將受到嘲弄，氣惱得嚷著要跟蜀軍拼。司馬懿知道這是諸葛亮的激將法，並不發火。他安慰將士說：「好，我向皇上上個奏章，請求准許我們跟蜀軍決戰一場。」
過了幾天，魏明帝派了一個大臣趕到魏營，傳達命令，不許出戰。
蜀軍將士聽到消息，感到失望。只有諸葛亮懂得司馬懿的用意，說：「司馬懿上奏章請求打仗，這是做給將士們看的。要不然，大將率領軍隊在外，哪有千里迢迢去請戰的道理。」
諸葛亮料到司馬懿的心理，司馬懿也在探聽諸葛亮的情況。有一次，諸葛亮派使者到魏營去挑戰，司馬懿挺有禮貌地接待使者，跟使者聊天，說：「你們丞相公事一定很忙吧。
近來身體可好？胃口怎麼樣？」
使者覺得司馬懿問的都是些客套話，也就老實回答說：「丞相的確很忙，軍營裡大小事情都要親自抓。他起得早，睡得很晚。只是近來胃口不好，吃得很少。」
使者走了以後，司馬懿就跟左右將士說：「你們看，諸葛孔明吃得少，事務又那麼繁重，能支撐得長久嗎？」
不出司馬懿所料，諸葛亮由於過度辛勞，終於在軍營裡病倒了。
後主劉禪得到諸葛亮生病的消息，趕快派大臣李福到五丈原來慰問。李福跟諸葛亮談了一些軍國大事，就走了。
過了幾天，李福返了回來。他看到諸葛亮病勢轉重，哭了起來。諸葛亮睜開眼睛，對李福說：「我懂得您回來想問些什麼。您所要問的人，我看就是蔣琬吧。」
李福說：「丞相說的是。皇上正要我問丞相萬一身子不好，由誰來繼任您的工作。那末請問蔣琬之後，誰可以繼任呢？」
諸葛亮說：「可以由費褘（音ｙī）接替。」
李福還想再問下去，諸葛亮閉上眼睛不回答了。沒幾天，這個年紀才五十四歲的丞相終於在軍營裡去世。
按照諸葛亮生前的囑咐，蜀軍將領沒有把他去世的消息透露出去。他們把屍體裹著放在車裡，佈置各路人馬有秩序地撤退。
魏營的探子聽到諸葛亮病死的風聲，報告司馬懿。司馬懿立刻帶領魏軍追趕上去，剛過五丈原，忽然蜀軍的旗幟轉了方向，一陣戰鼓響，兵士們轉身掩殺過來。
司馬懿大吃一驚，趕快撥轉馬頭，下命令撤退。
蜀軍將領等魏軍離得遠了，不慌不忙地把全部人馬安全撤出五丈原。
這件事傳到老百姓耳朵裡，百姓編個歌謠嘲笑司馬懿，說：「死諸葛嚇走了活仲達（仲達是司馬懿的字）！」
司馬懿聽了也不生氣，說：「我只能料到活的諸葛，怎麼能料到死的呢！」後來，他又親自跑到蜀軍原來紮營的地方，觀察了諸葛亮佈置的陣勢，讚歎悅：「諸葛孔明真是天下奇才啊！」
諸葛亮想統一中原的願望並沒有實現，但是他的智慧和品格，一直被後代的人讚揚。在民間傳說中，諸葛亮往往成為智慧的化身。在一篇相傳是他寫的《後出師表》裡，有兩句話，叫做「鞠躬盡瘁（原文是『盡力』，後來寫成『盡瘁』，瘁音ｃｕi），死而後已」，人們認為這正是對他一生的評價。