安祿山與楊貴妃的關係，姚汝能在《安祿山事跡》這樣說：「(安祿山生日)後三日，召祿山入內，貴妃以繡繃子繃祿山，令內人以彩輿舁之，歡呼動地。玄宗使人問之，報云：『貴妃與祿山作三日洗兒，洗了又繃祿山，是以歡笑。』玄宗就觀之，大悅，因加賞賜貴妃洗兒金銀錢物，極樂而罷。自是，宮中皆呼祿山為祿兒，不禁其出入。
另有元稹的《連昌宮詞》也寫道：「祿山宮裡養作兒，虢國門前鬧如市。」 一個大男人和自己心愛的女人在一起共浴，唐明皇難道不警覺，難道玄宗皇帝不怕楊貴妃給自己戴綠帽子：其一，玄宗皇帝非常寵幸楊貴妃。唐明皇晚年猜得到楊貴妃，且是從兒子那裡扒灰得到的，因此對楊貴妃有求必應，且皇宮裡那些玩意早讓楊貴妃玩膩了，楊貴妃想玩點花樣，唐明皇自然不想反駁，畢竟想博美人一笑。其二，皇帝喜歡安祿山，倚之為朝廷重臣，且鎮守邊疆，屢立戰功。其三，安祿山很會博唐明皇的高興。
事實上安祿山和楊貴妃還真的有緋聞，據說唐朝及唐朝以前，中國女子本來以露胸為美，但有次楊妃被安祿山抓破了美胸，楊妃為了不讓皇帝發覺，將胸以絲巾遮住，鑒於楊妃的地位，眾人都稱讚楊妃以不露胸為美。後宮眾佳麗亦紛紛效仿。最終，民間女子也開始仿，最終到現在。還有一個小故事，說楊貴妃有一次沐浴過後，和唐明皇安祿山在一起閒坐。當下楊妃懶妝便服，翩翩而至，更覺風艷非常。玄宗看了，滿臉堆下笑來。適有外國進貢來的異香花露，即取來賜與楊妃，叫他對鏡勻面，自己移坐於鏡台旁觀之。楊妃勻面畢，將余露染掌撲臂，不覺酥胸略袒，賓袖寬退，微微露出二乳來了。
玄宗見了，說道：「妙哉！軟溫好似雞頭肉。安祿山在旁，不覺失口說道：「滑膩還如塞上酥。」他說便說了，自覺唐突，好生侷促，楊妃亦駭其失言，只恐玄宗疑怪，捏著一把汗。那些宮女們聽了此言，也都愕然變色。玄宗卻全不在意，倒喜孜孜的指著祿山說道：「堪笑胡兒亦識酥。」說罷哈哈大笑。於是楊貴妃也笑起來了，眾宮女們也都含著笑。咦，有人感慨道：若非親手撫摩過，那識如酥滑膩來？只道赤心真滿腹，付之一笑不疑猜。如此可見，二人關係的確不一般，但大家礙於皇家顏面，不敢道破。不過安祿山一直耿耿於懷，據說安祿山之所以扯旗造反，還是為了楊玉環。