呂文顯是臨海人。宋順帝升明初年，為齊高帝蕭道成錄尚書省事，屢次陞遷為殿中侍御史，後來作秣陵縣令，封劉陽縣男。齊武帝永明元年(483)，任中書通事舍人。文顯辦理公事以嚴苛認真而被賞識，永明三年(485)，兼領南清河太守，和茹法亮等人輪流入朝擔任舍人，都受到皇帝的寵幸。各地都給他們送禮，他們各人都堆山挖池修造了大片宅第，當時中書舍人四人分住尚書、中書、門下、秘書四省，世人稱之為「四戶」。他們把持大權，勢壓天下。晉、宋時代的舊制，地方守宰，以六年為期限；後來認為六年時間太長，又規定以三年為期，稱為「小滿」。但實際上變換遷調，並不遵守三年之制，因此官吏們送舊迎新，在道路上疲於奔命。四方守宰向中書舍人饋贈的禮物，每年都有數百萬。舍人茹法亮曾在公眾場合對別人說：「何需求作地方官，光這一戶一年就收入百萬。」這還是只說了個約數。後來天象反常，史官奏稱應祭天以消災。王儉聽說後，對皇上說：「天象失常，禍源就在四戶。」於是上奏文顯等人專斷朝政，破壞人際關係，極力奏明他們所作的壞事。皇帝雖然聽取了他的意見卻不能改變對他們的信任。文顯屢次陞遷到左中郎將，南東莞太守。
按舊時慣例，州府內商討公事，都要記錄下來。前邊直接記錄所議之事，後邊寫上「謹簽」，日月下邊又寫上某官某簽，因此府州設置典簽一職來掌管此事。典簽本是五品官，宋初改為七品。宋代末年，多派年幼皇子出任刺史，皇帝都派自己的左右親信作典簽，典簽的權力逐漸大起來。宋孝武帝大明、明帝泰始年間，成年皇子或庶族出任州刺史的，也都莫不遇事要請示典簽，刺史不能按自己的意見行事。宗愨作豫州刺史時，吳喜公作典簽。宗愨施行什麼行政措施，喜公總要違命行事。宗愨大怒道：「我年近六十，一輩子為國盡力賣命，才得到斗大的一個州，不能再和典簽共同治理！」喜公請罪叩頭直到流血宗愨才作罷。從此以後，皇上給予典簽的權力越來越大。各地典簽們輪流回京，一年都往返幾趟，皇帝常與他們閒聊，詢問地方上的事情。刺史辦事是好是壞，全在典簽一張嘴，因此諸王刺史們無不對典簽卑躬屈節小心侍奉，常怕有什麼不周到之處。於是典簽的威風風行州郡，權力大於藩王刺史。典簽劉道濟、柯孟孫等人因惡跡暴露，雖被明令處死，但典簽們的權力之重卻仍舊不減。宋明帝輔政時，深知典簽的弊端，才開始規定各州的緊要事務應秘密商討，上奏朝廷，不得派典簽還京，典簽的權力才被削弱。
後來又讓呂文顯掌少府，受到重用，經歷明帝建武、東昏侯永元之世，官至尚書右丞，少府卿，死在任上。