太平興國二年(公元977年)，呂蒙正被錄取為進士第一名，任命為將作監丞、升州通判。向皇帝辭行時，皇帝命令，政事如果有不便處理的，允許騎驛馬前來上告，賜給他錢二十萬。待調回到京師，遇上皇帝親征太原，召他到行宮晉見，任為著作郎、直史館，加任左拾遺。
太平興國五年(公元980年)，皇帝親自任命他為左補闕、知制誥。
當初，其父呂龜圖內眷很多，與嫡妻劉氏不和，把劉氏及呂蒙正一併趕出，呂蒙正母子非常窮困窘迫，劉氏發誓不再嫁人。呂蒙正做官後，迎接父母親同住，父母親住在一個屋子裡但不同房間，呂蒙正對他們奉侍得非常周到。呂龜圖不久死去，朝廷詔令起復呂蒙正。不久，升為都官郎中，入朝任翰林學士，擢升為左諫議大夫、參知政事，賜給他麗景門的住宅一棟。
幾度拜相
李日方被罷免宰相後，呂蒙正被任命為中書侍郎兼戶部尚書、同平章事、監修國史。呂蒙正為人厚道寬容，有很高名望，以堅守正道自律。遇事敢出來講話，每次討論時政，有不公允的，一定堅持反對意見，皇帝讚許他能無所隱瞞。趙普是開國元老，呂蒙正是後來提升的官員，歷任各種官職十二年，於是同任宰相，趙普很讚許他。不久，遭母喪，守喪未滿三年，被重新起用。
先前，盧多遜任宰相時，他的兒子剛出仕就授官水部員外郎，後來就被當作常例。就此，呂蒙正上奏說：「臣出身進士及第，出仕時只授為九品京官。況且天下有才能的人，終身隱居於山林，沒有得到朝廷絲毫俸祿的人多得很。現在，臣兒子剛成年，獲此寵任，恐怕遭到上天譴責，請求以臣剛出仕時的官職補任他。」從此宰相的兒子只授給九品京官，成為法定制度。
淳化年間，左正言宋沆上奏疏違逆皇上旨意，宋沆是呂蒙正妻子的族人，因此而罷免呂蒙正吏部尚書一職，又任用李日方為宰相。
淳化四年(公元993年)，李日方被罷免宰相，呂蒙正又以本官任宰相。與皇帝奏對時，談到征伐之事，皇上說：「朕近來的征討，是為百姓剪除凶暴，如果好功黷武，那麼天下百姓都滅盡了啊。」呂蒙正回答說：「隋、唐數十年中，四次征討遼碣，百姓疲乏不堪。隋煬帝全軍覆沒，唐太宗運去土木攻城，這樣都最終沒有成功，況且治理國家的重點，在於國內勤修政事，那麼遠方之人必來歸服，自然會得到安寧。」皇帝同意他的意見。
至道初年(公元995年)，詔令呂蒙正以右僕射身份出任河南府通判兼西京留守。呂蒙正到洛陽後，常常招引親戚故交歡宴，政事主張寬靜，委任僚屬，政事自己只總體裁決而已。
宋真宗即位，進遷呂蒙正為左僕射。遇到朝廷營建奉熙陵，呂蒙正追憶感戴先朝所給予的優厚的恩遇，貢獻家財三百多萬作為營建經費的補充。宋太宗下葬那天，呂蒙正伏地哭泣極盡悲哀，人們認為合大臣之禮。
鹹平四年(公元1001年)，朝廷詔令呂蒙正以本官同平章事、昭文館大學士。本朝以來三次任為宰相的，只有趙普和呂蒙正兩人。郊祀禮後，加封為司空兼門下侍郎。鹹平六年(公元1003年)，授給他太子太師一職，封為萊國公，改封徐國公，又封為許國公。
辭官歸隱
景德二年(公元1005年)春天，呂蒙正上表請求辭官回洛陽。到朝廷告辭那天，坐轎到東園門，命令他的兒子扶著他到宮殿，對皇帝說：「對遠方的人要和平共處，停止戰爭節省財用，是古往今來的治國上策，希望陛下經常替百姓著想。」皇上讚許並採納他的意見，於是升任他的兒子呂從簡為太子洗馬，呂知簡為奉禮郎。呂蒙正在洛陽，有園亭花木，每天與親戚朋友宴會，子孫環列，經常向他敬酒祝壽，怡然自得。大中祥符以後，皇上朝拜永熙陵，封禪泰山，祀祠后土，經過洛陽，兩次到他家，賞賜給他很多財物。皇上對呂蒙正說：「卿的幾個兒子誰可以重用？」呂蒙正回答說：「我的幾個兒子都不足任用。臣有個侄兒叫呂夷簡，現任穎州推官，具有宰相的才能。」呂夷簡從此被皇帝垂注。
許國公的封命剛下來，呂蒙正就逝世了，終年六十八歲。追贈中書令，賜謚號為文穆。
1、宰相氣度
宋初名臣呂蒙正在太平興國二年（公元977年）考中進士第一名（即狀元）。他先是被授將作監丞，通判升州，從地方官做起，因政績顯著，不斷陞遷。
當他剛到京城任職時，有個朝士很瞧不起他，公然輕蔑地指著他說，「此子亦參政耶？」意思是說，就這樣的人也有資格擔任參知政事（副相）嗎？呂蒙正裝作沒聽見，若無其事地徑直走過去，有個同僚很為他抱不平，準備上去問那個人的姓名，
呂蒙正馬上勸阻說：「算了吧！不值得計較，如果一旦知道了他的姓名，則終身不能忘，還不如不知道呢」。這件事傳開後，人們都稱讚他度量大，修養好。
2、寸步不讓
有一次，宋太宗準備派人出使北方，交代有關部門選拔對象，要注意選「可責以事者」。呂蒙正鄭重地推薦了一個人，宋太宗沒有同意。呂蒙正不肯罷休，第二天又再三地推薦這個人。太宗很不耐煩，便批評說：「我說不行就是不行，你這人怎麼這樣固執呢！」
呂蒙正也不客氣，正色回道，「不是我固執，是您根本就不瞭解情況。」並且語氣異常堅定地說：「如果讓我推薦的話，只有這個人可以，其餘任何人都不行，我不屑用媚道妄隨他人主意，以害國事。」同僚們見呂蒙正如此直言，悚然失色。
在呂蒙正的一再堅持下，宋太宗最終同意派其所推薦的人出使。事後證明，呂蒙正推薦這人非常稱職，不辱使命。宋太宗因此對左右說，「蒙正氣量，我不如！」