楊玉環，姿質豐艷，善歌舞，通音律，為唐代宮廷音樂家、舞蹈家，其音樂才華在歷代后妃中鮮見，被後世譽為中國古代四大美女之一。楊玉環先為唐玄宗兒子壽王李瑁王妃，受令出家後，又被公爹唐玄宗冊封為貴妃。唐玄宗對楊貴妃十分的寵愛，“後宮佳麗三千人，三千寵愛在一身。”但唐玄宗曾兩次將楊貴妃攆回娘家。
關於楊貴妃兩次被逐的原因，《舊唐書》記載：“五載七月，貴妃以微譴送歸楊銛宅”，“天寶九載，貴妃復忤旨，送歸外第。” 《新唐書》記載：“它日，妃以譴還銛第，比中仄，帝尚不御食，笞怒左右。”，“天寶九載，妃復得遣還外第，國忠謀於吉溫。”">
第一次被逐出宮，是天寶五載七月，由於楊貴妃恃寵驕縱，得罪了玄宗，被玄宗譴歸娘家。 貴妃出宮後，玄宗飲食不進，高力士只得又把她召來。正史都沒有正面地詳細說明這件事的發生過程，並異口同聲地說是楊貴妃因犯錯誤得罪了玄宗而被送歸娘家。
野史《開元傳信記》記載：太真妃常因妒媚，有語侵上，上怒甚“、”太真妃常因妒媚，有語侵上，上怒甚，召高力士以輜送還其家。不難看出，楊貴妃被攆的罪名是“妒悍不遜”，楊貴妃所嫉妒的人很多人猜測是唐玄宗的另一名妃子——梅妃。
根據宋人《梅妃傳》記載：“梅妃叫江采萍，比楊貴妃早19年入宮。當年，唐玄宗最寵愛的武惠妃去世，玄宗心中失落，宦官高力士便建議在全國選美。高力士來到福建，見到了江采萍，驚為天人。於是，把她帶回宮，獻給了唐玄宗。”">
江采萍不僅容貌美麗，而且溫柔典雅，很快便擄獲了玄宗的心。江采萍自小喜愛淡雅，也喜歡同樣淡雅的梅花。唐玄宗便將她封為梅妃，特地在後宮為她栽種了一片梅林，當梅花盛開之時，玄宗便攜梅妃來到這裡，賞花吟詩，恩愛無比。
後來，唐玄宗又見到了楊玉環，便為她的風韻所傾倒，因為二人同擅長音樂，很快成為了知音。唐玄宗在千方百計將玉環弄到手之後，便日日與楊妃在一起，很快就把梅妃忘卻了。梅妃擅長詩賦，一日，她寫了一首《一斛珠》，托人帶給 玄宗。玄宗見詩，便想起了昔日與梅妃在一起的情景。於是，便召她入翠華西閣敘舊。
不料，此事被楊貴妃探知，醋意大發，把玄宗和梅妃一番羞辱。李隆基畢竟是皇帝，怎能讓貴妃如此教訓，一怒之下，命人將楊貴妃送回娘家。這件事在歷史上被傳得沸沸揚揚。但歷史上不論是《舊唐書》、《新唐書》，還是司馬光的《資治通鑒》，都沒有記載有梅妃這個人，其次，我們所看到的有關梅妃的書籍，其內容是從《梅妃傳》衍化而來的。
天寶九年，楊貴妃又一次被遣送回了娘家。至於楊貴妃這次被攆的原因，《舊唐書》卷五十一天寶九載，貴妃復忤旨，送歸外第。時吉溫與中貴人善，溫入奏曰：“婦人智識不遠，有忤聖情，然貴妃久承恩顧，何惜宮中一席之地，使其就戮，安忍取辱於外哉！”上即令中使張韜光賜御饌，妃附韜光泣奏曰：“妾忤聖顏，罪當萬死。衣服之外，皆聖恩所賜，無可遺留，然髮膚是父母所有。”乃引刀翦發一繚附獻。玄宗見之驚惋，即使力士召還。
《資治通鑒》中只有六個字“楊貴妃復忤旨。”楊貴妃忤的是什麼旨呢？《楊太真外傳》記載：750年，天寶九載二月的一天，楊貴妃偷偷地吹唐玄宗大哥寧王李憲的紫玉笛，被唐玄宗看見了，以忤旨又被送出宮外。貴妃出宮後，剪下一綹青絲，托中使張韜光帶給玄宗，玄宗大駭，又令高力士把她召回。
這兩種說法都不可信，因為寧王死於開元二十九年二十九年十一月（（742年1月15日））薨，天寶九年（750），已經死了八年。楊貴妃不可能與死人有染。對於楊貴妃吃姐姐的醋的說法，也僅在《集靈台。其二》 作者張祜：虢國夫人承主恩，平明騎馬入宮門。 卻嫌脂粉污顏色，淡掃峨眉朝至尊出現，不足為據。而且，在天寶年間，楊貴妃和她的姐妹們關係一直不錯，說明唐玄宗和虢國夫人之間是清白的。
這次楊貴妃被攆可能是玄宗給楊家的一個下馬威，因為楊貴妃的得寵，楊家也跟著顯赫起來。隨著地位的升高，楊家便無法無天了。楊家接受招待的規格已經超出了規定的界限；大肆收受賄賂；不僅如此，他們甚至還騎到了皇室的頭上。
《新唐書》中記載：“出入宮掖，恩寵聲焰震天下。每命婦入班，持盈公主等皆讓不敢就位，建平、信成二公主以與妃家忤，至追內封物，駙馬都尉獨孤明失官。”皇上的親妹妹在三位夫人面前只能讓座而不敢就坐；唐玄宗的女兒信成公主因為和楊家人有矛盾，竟淪落到追回內府封贈東西，如再不處理，恐怕整個江山都成了楊家的了。
玄宗生氣了，楊家就是仗著有個貴妃撐腰，於是，楊貴妃再一次被攆回了家。楊貴妃這次被送回家，是玄宗使用殺雞給猴看的策略，就是要滅滅楊氏家族的威風。這一招果真很靈，楊家人慌了神，可又不好出面求情，楊貴妃更是終日以淚洗面。因為，這一次唐玄宗並沒有急著把貴妃接回去，而且送走之後就再沒有了消息。玄宗雖然沒有派人去接楊貴妃，但心中還是很想念的。
一個叫吉溫的人來遊說唐玄宗，正中玄宗下懷。唐玄宗立刻派人看望貴妃，還將自己的御膳分了一半給她。楊貴妃見皇帝派人來看她了，感動地淚流滿面，馬上伏地認錯，還剪下了自己的一縷頭髮，獻給玄宗。唐玄宗一看到貴妃的青絲，派高力士將楊貴妃接回了宮。
楊貴妃知道玄宗沒有她，便寢食不安，於是更為驕縱，楊家“出入禁門不問，京師長吏為之側目”。陳鴻《長恨歌傳》記載：居易歌曰姊妹弟兄皆列土，可憐光彩生門戶；遂令天下父母心，不重生男重生女。