劉秀是中國歷史上為數不多的用情比較專一的帝王之一，他是一個值得女人終身托付的好男人，他一生最重要的兩個女人是陰麗華和郭聖通。但劉秀並不是把心分成兩半，一半給陰麗華，一半給郭聖通。無論是白衣飄飄的少年，還是綠林好漢山大王，還是九五之尊的光武大帝，劉秀對陰麗華的愛始終如一。而與郭聖通的結合則是歷史強加給他的一場政治婚姻，在愛情上，郭聖通是個可憐的女人，但是她又是中國被廢的后妃群中最幸運的一個，她是唯一一個沒有被打入冷宮的廢後，不但如此，劉秀對她的家人也都善待，而她本人也過著自由、富足、安穩的生活。
無憂無慮的少年郎
少年時的劉秀，誰也看不出他將來會是一個皇帝，包括那些自稱十拿九穩的算命先生。算命先生說，劉秀最多只不過是個侯爵，而他的哥哥卻有著帝王相，但事實卻恰恰相反。
這也不能全怪算命先生，少年時的劉秀確實胸無大志，是一個喜歡在田間戲耍的頑童，而他的哥哥劉卻喜歡讀儒家經典，研習兵書，還廣交朋友，常常口出狂言，與少年劉秀形成鮮明的對比。
雖然有著尊貴的皇室血統，劉秀是漢高祖劉邦的九世孫，但到了他這一代，已經和普通老百姓沒啥區別，他的父親劉欽只是個南頓令而已。這使得我們的劉秀從小就沒有什麼架子，是一個溫柔、善良、很有親和力的少年郎，常常和他的奴僕打成一片，不分彼此。這或許為劉秀日後能夠獲得群眾的擁護打下了基礎。
沒有任何一點跡象可以看出劉秀有皇帝命，除了他的出生略帶傳奇色彩之外。據說，他的父親劉欽和母親樊嫻都於公元前6年生下了他，那一年，方圓百里任何一家的收成都比不上劉家，劉家的田地還出現了一莖九穗的現象。
劉欽對這個時候出生的劉秀非常疼愛，興奮地為他取名為「秀」，意思就是莊稼出好穗。
雖然劉家已經不再是什麼宗室成員，但劉秀的家境在當地還是數一數二的。父親好歹是一個縣令，母親呢，還是當地巨富的女兒，父親和母親的感情也非常好，所以少年時的劉秀不愁吃不愁穿，過年還有新衣服和壓歲錢。
劉秀生活在一個大家庭裡，劉秀有兩個哥哥，劉、劉仲，還有兩個姐姐，劉黃、劉元和一個妹妹劉伯姬。
大家庭和睦、團結、熱鬧，生活在這樣的大家庭裡，劉秀的童年是快樂幸福的。
與哥哥姐姐們不同的是，哥哥姐姐們骨子裡仍脫不了貴族的傲氣，總以宗室成員自居，看不起下人。而少年劉秀常常忽略自己是主人的身份，與奴僕們一起在田間裡勞作，從不輕視他們。哥哥笑話他沒有出息，以後一輩子是個莊稼漢。
少年時的劉秀心地非常好，有一件小事可以說明。一個過路的乞丐向劉家討口水喝。當時父母不在家，兄弟姐妹幾個在院子裡玩耍。乞丐走到哥哥身邊，哥哥向乞丐唾了一口，叫他滾開。乞丐走到姐姐身邊，姐姐雖然沒有向乞丐吐口水，但卻捂著鼻子跑開了，邊跑邊說，髒死了，臭死了。
乞丐最後走到劉秀身邊，劉秀拍拍手上的泥土，跑到屋裡，舀了滿滿一瓢水給乞丐。
乞丐喝完了，剛要走，劉秀說，等等。
乞丐納悶，還會有什麼事情呢？
一會兒，劉秀出來了，手裡多了兩個香噴噴的燒餅，而這兩個燒餅是他的午餐。
乞丐感激涕零，接過燒餅的手直哆嗦，他還從來沒有遇到這麼懂事這麼好心腸的孩童。乞丐送給劉秀最後一句話是，他將來一定大富大貴。
乞丐走後，哥哥姐姐都說劉秀傻帽，把燒餅給了乞丐，你自己吃什麼？
劉秀只是笑笑，並不作答。他的笑，是那麼天真。
很快，劉秀長大了，長成了一個翩翩少年。
公元8年，天下發生了一件大事，這件大事讓劉家上下痛心疾首兼義憤填膺：王莽建立了自己的新王朝。
從大的方面來說，這是劉氏家族的奇恥大辱；從小的方面來說，劉氏子孫失去了富貴的特權，很快淪為普通老百姓。劉秀一家也跟著遭了殃，這時候，劉秀的父親已經去世，他跟他的兩個哥哥寄居在叔叔劉良家裡。
這時候劉秀十四歲。十四歲，放到現在，還是一個孩子，祖國的花朵，但在古代已經是一個小大人了。
十四歲的劉秀陷入窘迫的生活當中。但他的心態非常好，這是他長年累月與下人待在一起的結果，對於改朝換代的變故，他並不覺得有多大的失落。而他的哥哥劉卻不同了，對王莽的篡漢表現出極大的憤慨和鄙夷，常常在家抱怨，並揚言要匡復漢室。
此時的劉秀雖然還沒有遠大的政治抱負，但在環境的影響下，在哥哥的熏陶下，他的心境開始慢慢轉變，他明白必須為自己的將來做打算了，不能再是以前那個無憂無慮、醉心於田園的「莊稼漢」了。
於是在劉秀二十歲那年，他選擇了去長安讀書。在長安的太學他用心攻讀，同時不忘結交豪俠。幾年後，劉秀的思想發生了巨大的變化，匡復漢室雖然還不是他的遠大目標，但是要成就一番事業已經成了他的心願。只是這番事業具體是什麼，他還沒有詳細目標。但後來與他一起打天下的好友就是這時候結交的。