太平兴国二年(公元977年)，吕蒙正被录取为进士第一名，任命为将作监丞、升州通判。向皇帝辞行时，皇帝命令，政事如果有不便处理的，允许骑驿马前来上告，赐给他钱二十万。待调回到京师，遇上皇帝亲征太原，召他到行宫晋见，任为著作郎、直史馆，加任左拾遗。
太平兴国五年(公元980年)，皇帝亲自任命他为左补阙、知制诰。
当初，其父吕龟图内眷很多，与嫡妻刘氏不和，把刘氏及吕蒙正一并赶出，吕蒙正母子非常穷困窘迫，刘氏发誓不再嫁人。吕蒙正做官后，迎接父母亲同住，父母亲住在一个屋子里但不同房间，吕蒙正对他们奉侍得非常周到。吕龟图不久死去，朝廷诏令起复吕蒙正。不久，升为都官郎中，入朝任翰林学士，擢升为左谏议大夫、参知政事，赐给他丽景门的住宅一栋。
几度拜相
李日方被罢免宰相后，吕蒙正被任命为中书侍郎兼户部尚书、同平章事、监修国史。吕蒙正为人厚道宽容，有很高名望，以坚守正道自律。遇事敢出来讲话，每次讨论时政，有不公允的，一定坚持反对意见，皇帝赞许他能无所隐瞒。赵普是开国元老，吕蒙正是后来提升的官员，历任各种官职十二年，于是同任宰相，赵普很赞许他。不久，遭母丧，守丧未满三年，被重新起用。
先前，卢多逊任宰相时，他的儿子刚出仕就授官水部员外郎，后来就被当作常例。就此，吕蒙正上奏说：“臣出身进士及第，出仕时只授为九品京官。况且天下有才能的人，终身隐居于山林，没有得到朝廷丝毫俸禄的人多得很。现在，臣儿子刚成年，获此宠任，恐怕遭到上天谴责，请求以臣刚出仕时的官职补任他。”从此宰相的儿子只授给九品京官，成为法定制度。
淳化年间，左正言宋沆上奏疏违逆皇上旨意，宋沆是吕蒙正妻子的族人，因此而罢免吕蒙正吏部尚书一职，又任用李日方为宰相。
淳化四年(公元993年)，李日方被罢免宰相，吕蒙正又以本官任宰相。与皇帝奏对时，谈到征伐之事，皇上说：“朕近来的征讨，是为百姓剪除凶暴，如果好功黩武，那么天下百姓都灭尽了啊。”吕蒙正回答说：“隋、唐数十年中，四次征讨辽碣，百姓疲乏不堪。隋炀帝全军覆没，唐太宗运去土木攻城，这样都最终没有成功，况且治理国家的重点，在于国内勤修政事，那么远方之人必来归服，自然会得到安宁。”皇帝同意他的意见。
至道初年(公元995年)，诏令吕蒙正以右仆射身份出任河南府通判兼西京留守。吕蒙正到洛阳后，常常招引亲戚故交欢宴，政事主张宽静，委任僚属，政事自己只总体裁决而已。
宋真宗即位，进迁吕蒙正为左仆射。遇到朝廷营建奉熙陵，吕蒙正追忆感戴先朝所给予的优厚的恩遇，贡献家财三百多万作为营建经费的补充。宋太宗下葬那天，吕蒙正伏地哭泣极尽悲哀，人们认为合大臣之礼。
咸平四年(公元1001年)，朝廷诏令吕蒙正以本官同平章事、昭文馆大学士。本朝以来三次任为宰相的，只有赵普和吕蒙正两人。郊祀礼后，加封为司空兼门下侍郎。咸平六年(公元1003年)，授给他太子太师一职，封为莱国公，改封徐国公，又封为许国公。
辞官归隐
景德二年(公元1005年)春天，吕蒙正上表请求辞官回洛阳。到朝廷告辞那天，坐轿到东园门，命令他的儿子扶着他到宫殿，对皇帝说：“对远方的人要和平共处，停止战争节省财用，是古往今来的治国上策，希望陛下经常替百姓着想。”皇上赞许并采纳他的意见，于是升任他的儿子吕从简为太子洗马，吕知简为奉礼郎。吕蒙正在洛阳，有园亭花木，每天与亲戚朋友宴会，子孙环列，经常向他敬酒祝寿，怡然自得。大中祥符以后，皇上朝拜永熙陵，封禅泰山，祀祠后土，经过洛阳，两次到他家，赏赐给他很多财物。皇上对吕蒙正说：“卿的几个儿子谁可以重用？”吕蒙正回答说：“我的几个儿子都不足任用。臣有个侄儿叫吕夷简，现任颍州推官，具有宰相的才能。”吕夷简从此被皇帝垂注。
许国公的封命刚下来，吕蒙正就逝世了，终年六十八岁。追赠中书令，赐谥号为文穆。
1、宰相气度
宋初名臣吕蒙正在太平兴国二年（公元977年）考中进士第一名（即状元）。他先是被授将作监丞，通判升州，从地方官做起，因政绩显著，不断升迁。
当他刚到京城任职时，有个朝士很瞧不起他，公然轻蔑地指着他说，“此子亦参政耶？”意思是说，就这样的人也有资格担任参知政事（副相）吗？吕蒙正装作没听见，若无其事地径直走过去，有个同僚很为他抱不平，准备上去问那个人的姓名，
吕蒙正马上劝阻说：“算了吧！不值得计较，如果一旦知道了他的姓名，则终身不能忘，还不如不知道呢”。这件事传开后，人们都称赞他度量大，修养好。
2、寸步不让
有一次，宋太宗准备派人出使北方，交代有关部门选拔对象，要注意选“可责以事者”。吕蒙正郑重地推荐了一个人，宋太宗没有同意。吕蒙正不肯罢休，第二天又再三地推荐这个人。太宗很不耐烦，便批评说：“我说不行就是不行，你这人怎么这样固执呢！”
吕蒙正也不客气，正色回道，“不是我固执，是您根本就不了解情况。”并且语气异常坚定地说：“如果让我推荐的话，只有这个人可以，其余任何人都不行，我不屑用媚道妄随他人主意，以害国事。”同僚们见吕蒙正如此直言，悚然失色。
在吕蒙正的一再坚持下，宋太宗最终同意派其所推荐的人出使。事后证明，吕蒙正推荐这人非常称职，不辱使命。宋太宗因此对左右说，“蒙正气量，我不如！”