因為陰麗華的一再謙讓，光武帝未能封她為後，卻給予了她更多的愛。而郭聖通雖然貴為皇后，卻一點也不得寵。久居深宮之中，這個寂寞的女人便漸漸地滋生出不滿和嫉妒。看到光武帝和陰麗華之間情意濃濃，她心中妒火中燒，便將陰麗華視為眼中釘，處處與她作對。陰麗華本性謙讓，雖然深受光武帝喜愛，但絲毫不敢恃寵而驕，反而處處忍讓，息事寧人。光武帝把一切看在眼裡，對謙卑忍讓的陰麗華越發垂憐，廢掉郭皇后的想法越來越強烈。
建武九年(33)突然天降大禍，陰麗華的母親鄧氏和弟弟陰被強盜殺害了。這樁消息傳來，陰麗華受到了沉重的打擊。她七歲就喪父，被慈母辛勤地撫養長大，後來跟隨光武帝之後，也沒有時間侍奉母親，現在母親竟然死於非命，陰麗華心中悲慟不已。而目睹此景的劉秀也想起自己幼年失恃的經歷，心中甚為感傷，便令大司空前往陰家慰問家屬，並帶去了詔書：
朕微賤之時，娶陰氏為妻，後來因領兵出征，與她分離了兩年，幸虧兩人都脫離虎口，平安無事。陰貴人有母儀之德，本應立為皇后，但她一再推辭，寧願屈居妾位。朕欣賞她的謙讓，許諾分封她的兄弟。不料未及封爵，母子二人同時死於非命，實在令人悲傷。
這份親筆書寫的詔書情真意切，足以看出光武帝對陰麗華的感情之深。為了撫慰亡靈，他還追封了陰麗華已故父親陰陸和她的兄弟陰，由陰麗華的弟弟陰就繼嗣宣恩侯。
但這些追封的功名換不回已逝的親人，陰麗華受到的打擊之大讓她很長時間都落落寡歡。劉秀在政務之餘也盡量抽出時間陪伴妻子，安撫她受傷的心靈。而這時候，郭皇后更加嫉妒，依然以一副盛氣凌人的樣子處處與陰麗華較勁。忍無可忍的光武帝最終下詔廢黜了郭皇后，在建武十七年(41)十月，另立陰麗華為後。這一年，陰麗華已經三十七歲了，歲月的滄桑讓她變得越發的從容和淡定，對蒼生的悲憫和寬容讓她很快就贏得了朝野上下的敬重。