咸豐帝一生之中，擁有三位皇后和諸多嬪妃。三位皇后分別為：孝德溫惠誠順慈莊恪慎徽懿恭天贊聖顯皇后？薩克達氏，孝貞慈安裕慶和敬誠靖儀天祚聖顯皇后？鈕祜祿氏，孝欽慈禧端佑康頤昭豫莊誠壽恭欽獻崇熙配天興聖顯皇后？葉赫納喇氏。嬪妃分別為：莊靜皇貴妃他他拉氏，端恪皇貴妃佟佳氏，婉貴妃索綽絡氏，玫貴妃徐佳氏，璷妃，吉妃王氏，禧妃察哈喇氏，慶妃張氏，雲嬪武佳氏，容嬪伊爾根覺羅氏，璹嬪那拉氏，玉嬪那拉氏，玶常在伊爾根覺羅氏。以上的這些妃子，也只是登記在冊的，在他一生這麼多的女人中，哪個是他最愛的那個人之一呢？
最具盛名的就是莊靜皇貴妃，也就是麗妃。民間一直流傳著，咸豐帝最愛的便是這位他他拉氏。他他拉氏比咸豐帝小6歲，生於公元1837年，於咸豐元年入宮候選。莊靜皇貴妃選秀的時候，是和葉赫拉拉氏（也就是後來的慈禧太后）一起入的宮。兩人一同被選中，他他拉氏後來被封為了麗貴人。
一起入宮，這使得兩個人有了特別的聯繫。在後來我們說到麗妃，也就是莊靜皇貴妃，時常與慈禧太后捆綁在一起。這二人一同入宮，先後晉位，一直平起平坐。看到這兒，大家可能已經腦補了一出宮斗大戲了。慈禧太后不是一個好相與的人，想來與她一直平起平坐的麗妃，應該是她後宮的大敵。在現今的電視劇中，以及文學作品中，有許多慈禧太后因為咸豐帝寵愛麗妃，嫉妒成性，而加害麗妃的畫面。
但實際上事實並不是如此，麗妃身體虛弱，常常生病，根本不可能給慈禧太后構成威脅，因此慈禧太后實際上與麗妃關係很好。
咸豐皇帝的後代很少，只有1個女兒和2個兒子，他唯一的女兒就是由莊靜皇貴妃所生。咸豐皇帝的女兒出生的年份是1855年，那時莊靜皇貴妃18歲，她誕下了咸豐皇帝第一個也是唯一的一個女兒後令咸豐皇帝很開心，封她為麗妃。
1890年的時候，虛弱的麗妃去世，她的去世給了咸豐帝很大的打擊。她去世後依照祖制，被埋葬於定陵妃園寢，在園中也有其他的妃子，但是她的位置最尊貴，由此可以看出咸豐皇帝對她的喜愛程度。
另一種說法，則是慈安太后才是咸豐帝最愛的女人。咸豐帝去世之前，專門給慈安太后留下後路。因為他知道慈禧太后的心機，生怕慈禧太后憑借兒子，挾天子以令諸侯，對慈安太后不利。臨死之前囑咐他，一定要好好保存這一諭旨，在慈禧太后對其有威脅的時候，拿出來。可惜的是慈安太后在慈禧太后的假面下，選擇了相信她，放鬆了警惕。甚至到最後的時候，還銷毀了那道諭旨。這之後不久慈安太后就不久於人世了，這也使得後世之人，一直猜測慈安太后之死，是慈禧太后的陰謀。
傳聞咸豐帝是一個瘸子，走路都不平穩。所以他上位之後，便要求大臣們上朝之後，每日先走。等大臣們都走了之後，他才離開。可是有一次他著急，忘了這麼一件事，搶先大臣離開，這個秘密才得以被世人所知。
對於咸豐帝是否是一個昏君，不在那一個時代的人，雖然沒有資格評價。但是只從史料中，可以知道，至少咸豐帝的所作所為的確擔得起昏君之名。面對太平天國起義和英法聯軍的入侵，咸豐帝軟弱無能，最終和外國列強簽訂了一系列喪權辱國的條約。同時沉迷女色，沒有一國之君的姿態。雖然不知道他是有心無力還是無心也無力，至少他表現的就是一個昏君的姿態。