有關呂布傳奇性的出生和神話般的成長，在五原縣有很多流傳。
相傳東漢章帝年間北匈奴進犯南匈奴及漢朝領地時，呂布祖父呂浩（時任憲部越騎校尉）奉命留守邊塞。呂浩攜妻兒率部駐紮五原郡地，定址北河（黃河舊道現烏加河）南岸五原縣塔爾湖五分橋東，大興土木，建城築堡（今城圪卜就是由此而得名），開荒農耕，並逐步發展畜牧業，紡織業，冶煉治陶業等，固守邊關。
呂布祖父去世後，其父呂良繼任，娶妻黃氏，系五原郡補紅灣（今五原縣城西補紅村）人，是一大戶富豪財主之女。黃氏聰明賢惠，知書達禮，善染織（後成為染織作坊主事）。黃氏生有四女，苦於無子。一日，隨夫到白馬寺廟（今五原縣錦旗東五里處，由於黃河淘堤已毀於河底）拜佛求子。
歸來當晚，黃氏得一夢，夢見有一猛虎撲身而來，黃氏見狀急喚丈夫趕打，老虎卻溫順地臥於身旁。不日黃氏身感有孕，懷孕12個月未見生產，百感焦慮。
後來，黃氏移至染織作坊，突然屋外人聲大嘈。眾人紛紛出外觀之，但見西北上空彩虹映現，光彩奪目，此景奇異。隨之五原山地崩裂，地動山搖。黃氏欲生，身感不適，腹中疼痛難忍，盆骨悶脹，羊水外溢，寸步難行，隨臥於布匹之上，不久產生一男嬰。
男嬰出世更為奇事，但見臍帶自斷，雙目有神，兩拳緊握，站立面前，黃氏驚奇，急擦去污物抱於懷中。後說與丈夫，呂良心中大快：“吾兒神也。”因出生布上，故起名呂布。
呂布從小隨母習文作畫，聰慧好學，一點就通，過目不忘，他生性好鬥，力大過人，喜舞槍弄棒，身高體重超出常人，同齡孩童都不敢和他玩耍，視而遠之，唯有同女孩在一起溫順體貼，判若兩人。
呂布卻總喜歡和大人們在一起，問這問那模仿學習。從五歲起常隨牧馬人野外放馬，並喜愛馬，只要一見馬精神十足，興奮的不得了。他騎在馬上手舞足蹈，手持一根木棍酷似一名勇士，那時他能持棍刺擊野雞野兔。七歲時，單獨騎馬追擊野狐山鹿，從無空手而歸，經常將重於他幾倍的小馬駒抱起玩耍，有時舉過頭頂。
九歲那年，隨父母到補紅灣拜見外公，外公殺羊招待，大人們在羊群中逮羊不得手，他卻上去生擒兩隻，觀者為此驚歎，外公見狀大喜，當即送與好馬一匹。從此呂布與馬為伴，精心料理，愛馬如癡，從不離胯。
十一歲時，匈漢兩族邊民在白馬寺廟舉行大型慶典，呂布隨父前去參加，在賽馬比賽中，他的騎技超人，馬快如箭，雄姿展現，一舉取得了騎手榮譽。好鬥的呂布，在觀看摔跤比賽時，他看到摔跤手屢戰屢勝全無對手，心中不服，獨自衝入賽場，大聲喊道：“我來試試！”
摔跤勝者見是一童子，根本不把他放在眼裡，瞬間二人扭在一起。經過幾個回合較量，呂布竟將身高和體重比他超出幾倍的大力士摔跤手撂翻在地，頓時轟動了整個賽場，人們呼之為大力士神童。
從此，五原地區家喻戶曉，人人皆知，並引以為自豪。漢靈帝熹平五年（公元176年），鮮卑部落軍事聯盟四處武力擴張，對東漢進行掠奪戰爭。東漢邊將大舉南遷，時年，呂布隨父南撤到山西境內，歸附為并州刺使丁原部下。
呂布從此離開了五原縣，開始了他橫掃千軍最後悲壯結局的傳奇人生 。