唐玄宗時擔任宰相的人，張九齡以正直著稱。然而，有兩件事使玄宗對張九齡不能容忍，再加上李林甫的挑撥，玄宗最終罷免了張九齡的宰相職務，並貶出朝廷。這就是牛仙客事件和嚴挺之事件。
牛仙客擔任河西節度使時，政績顯著。玄宗很賞識，想給牛仙客加官為尚書。張九齡不同意，他說：「尚書是古代負責向皇帝提建議的大臣，牛仙客出身河湟小吏，一下子提拔為朝廷要職，會影響朝廷的聲譽。」玄宗又問：「只給牛仙客加個爵位可以嗎？」張九齡仍然反對，說：「爵位是對立功者的鼓勵，作為邊將使倉庫充實，器械修整，都是分內事，不算立功。如果陛下認為他工作勤勞，可以賞賜金帛，而分封土地，賜給爵位，極不合適。」玄宗心裡十分不舒服。李林甫跟玄宗說：「牛仙客有宰相之才，給他個尚書稱號有何不可！張九齡所說全是書生之見。」玄宗覺得李林甫說得對。
第二天，玄宗又提起封牛仙客爵位，張九齡仍然極力反對。玄宗說：「你嫌牛仙客出身寒微，你的門第也不高啊！」張九齡說：「我家在嶺南，出身低賤。但是我出入朝廷，職掌誥命已經多年。牛仙客出身邊境小吏，大字不識，如果一下子提拔為高官，眾人會輕視朝廷。」李林甫又跟玄宗說：「只要有才能見識，要什麼學問才華！天子用人，什麼樣的人不能用！」有了李林甫的贊同，玄宗不顧張九齡的反對，賜給牛仙客隴西縣公的爵位。
張九齡與嚴挺之關係好，想舉薦嚴挺之為宰相，曾經告訴嚴挺之，跟李林甫搞好關係。嚴挺之為人清高任性，從不到李林甫門上去。這些都使李林甫懷恨在心。
嚴挺之前妻嫁蔚州刺史王元琰，王元琰犯了貪污罪，朝廷交刑部、御史台和大理寺會審。嚴挺之看在前妻的情分上，為王元琰托人說情，希望能寬大處理。李林甫抓住了把柄，讓手下的人告發此事。
玄宗覺得既然嚴挺之為王元琰說情是事實，那麼張九齡明顯是袒護嚴挺之。考慮到張九齡、裴耀卿和嚴挺之常常互相聲援，認定他們結成了朋黨。開元二十四年（736年）十一月，玄宗罷免了裴耀卿和張九齡的宰相職位。張九齡曾推薦周子諒任監察御史。張九齡罷相後，周子諒彈劾牛仙客不勝任宰相，但理由荒唐。玄宗親自審問，把他流放。張九齡也因用人不當而受到牽連。於是，張九齡被貶為荊州大都督府長史，他的政治生命基本結束。