唐玄宗以唐太宗為榜樣，任用賢臣，勵精圖治，開創了著名的「開元盛世」。可是，在當了二十多年的太平天子之後，他產生出了懈怠的情緒，逐漸開始縱情聲色，不再理會國家大事。
吏部侍郎李林甫是一個不學無術的人，他沒有什麼本領，卻非常善於拍馬奉承，通過勾結宦官、討好嬪妃的方式瞭解宮裡的動靜。唐玄宗在宮裡的言行舉止全都被他探聽得一清二楚，因此，唐玄宗找他商議事情的時候，他總是能夠按照唐玄宗的想法去回答。此外，他還經常在奏章中奉承唐玄宗，使得唐玄宗越來越喜歡他。
當時楊貴妃還沒有進宮，唐玄宗十分寵幸武惠妃。壽王是武惠妃的兒子，因此深受唐玄宗的喜愛，太子和其他皇子逐漸遭到了唐玄宗的疏遠。李林甫看到武惠妃得寵，便買通宮裡的宦官討好武惠妃，他還向武惠妃表示，他會盡全力保護壽王。武惠妃十分喜歡他，所以經常在唐玄宗面前提起他，並為他說了不少好話。
當時的宰相張九齡是一個非常正直的大臣，經常對唐玄宗說，不要因為取得了一點成績就志得意滿，貪圖安逸。唐玄宗想讓李林甫擔任宰相，找來張九齡商量這件事。張九齡知道李林甫無才無德，根本不適合擔任宰相，所以非常乾脆地對唐玄宗說：「宰相是國家的重要官員，責任重大，關係到國家的安危。李林甫是一個不學無術的人，陛下如果讓他擔任宰相，那麼國家將面臨著巨大的危險。」
李林甫很快就知道了這件事，他非常氣憤，恨不得將張九齡碎屍萬段。冷靜下來之後，他便下定了除掉張九齡的決心，因為他意識到，只要有張九齡在，他就無法當上宰相。於是，他開始利用每一個機會誹謗張九齡。
唐玄宗打算提拔朔方將領牛仙客，但張九齡認為，牛仙客雖然非常善於理財，可是一點兒文化也沒有，不應該受到重用。李林甫摸清了唐玄宗的想法，便對唐玄宗說：「牛仙客是一個非常有才能的人，他才是宰相的最佳人選。張九齡不識時務，根本不應該擔任宰相。」不久之後，唐玄宗再次就提拔牛仙客的事與張九齡商議。張九齡仍然堅持自己的觀點，不同意提拔牛仙客。唐玄宗突然火冒三丈，大聲說道：「我是一國之君，我想提拔誰就提拔誰，你管不著！」
公元736年，蔚州刺史王元淡因為貪污，受到了朝廷的調查。王元淡的妻子是嚴挺之的前妻。嚴挺之不忘舊情，打算為王元淡洗刷罪名，以保證前妻的安全。這件事很快就傳入李林甫耳中，李林甫知道，張九齡與嚴挺之是非常要好的朋友，如果嚴挺之受到查辦，那麼張九齡一定會挺身而出，為嚴挺之辯護。於是，他就把這件事秘密地報告給了唐玄宗。事情的發展果然如李林甫預料的那樣，唐玄宗追查嚴挺之的包庇罪，張九齡聽說後極力為嚴挺之辯護。李林甫就利用這個機會，告張九齡與嚴挺之、裴耀卿等人結黨營私。唐玄宗本來就已經很討厭張九齡了，於是便罷了張九齡的宰相之職，將李林甫提拔為宰相。
李林甫當上宰相之後，為了獨攬大權，他總是讓那些沒有主見、一味順從的人與他一起共事。他推薦的左相牛仙客從來也不插手政事，所有政事任由李林甫一人處理。牛仙客死後，刑部尚書李適之被唐玄宗任命為左相。李適之也很喜歡權力，打算與李林甫爭權，結果卻遭到了李林甫的殘害。此後，李林甫又把沒有主見的陳希烈推薦為左相，一切朝政大權仍然控制在李林甫手中。
李林甫還把朝中大臣與唐玄宗隔絕起來，使得他們無法向唐玄宗提意見。他甚至公開對諫官們說：「我們的皇上非常聖明，他的旨意無不正確，我們這些做臣子的只需要按照他的旨意去辦就行了，你們對他的旨意議論紛紛，根本就沒有必要。皇宮前那些儀仗用的馬匹，你們都應該見過吧！它們吃的飼料非常貴，與三品官的待遇不相上下，但是如果哪匹馬敢叫一聲，就會立即被殺掉，連後悔的機會都沒有。」諫官杜璡根本沒有把李林甫的話放在心上，仍然給唐玄宗上奏本提建議，可沒想到第二天就被貶到外地當縣令了。從此之後，朝中大臣全都懼怕李林甫，再也沒有人敢向唐玄宗進諫了。
一天，唐玄宗想起了在外地當刺史的嚴挺之，他對李林甫說：「嚴挺之現在在哪裡？他是一個很有才能的人，應該受到朝廷的重用。」李林甫說：「我也不知道他在哪裡，但是我可以打聽一下。」之後，他立即派人找來嚴挺之的弟弟，說：「我知道你哥哥現在在外地，非常惦記著皇上，很想回京來見皇上。我這裡有一個非常好的辦法，可以幫助他實現這個願望。」嚴挺之的弟弟聽後非常高興，立即問李林甫該怎麼做。李林甫說：「這還不簡單！你告訴你哥哥，只要他上一道奏折，稱有病在身，需要回京治療，那就行了。」嚴挺之的弟弟覺得這是一個非常好的辦法，所以很快就給他的哥哥寫了一封信。嚴挺之果真按照李林甫的話，給唐玄宗寫了一封奏折。李林甫收到這封奏折後，對唐玄宗說：「嚴挺之現在重病在身，無法繼續為陛下效勞了。實在是太可惜了！」唐玄宗聽罷，只得放棄了重用嚴挺之的想法。公元747年，朝廷舉行科舉考試，李林甫擔心那些有才能的人受到提拔後會對自己不利，所以就利用自己的權勢，使得全國沒有一個人被錄取。他還欺騙唐玄宗說，天下所有的賢能之人都已經在玄宗身邊了。李林甫不僅阻止唐玄宗啟用新人，還誣陷、排擠朝中聲名顯赫的大臣，使得文武官員全都聽命於他。李林甫靠遷就和迎合玄宗的意旨得到唐玄宗的寵信，在唐玄宗時期連續十九年擔任宰相之職，搞得大唐王朝政治黑暗，社會矛盾重重。
李林甫和人交往，總是在表面上顯得很友好，嘴裡說些非常好聽的、善意的話。可實際上，他是一個狡猾陰險，經常出壞主意害人的人，與他的表面態度完全相反。日子久了，大家看清了他的真實面目，都在背地裡說他「口有蜜，腹有劍」，這也正是成語「口蜜腹劍」的來源。