從沛縣回到長安後，劉邦胸口的箭傷又復發了，大夫們忙活了好一陣子都沒能讓病情好轉。劉邦在病床上知道自己的傷勢難以復原，自己的生命也即將走到盡頭，大夫們在這兒只能是瞎忙活，於是他給了些賞賜，把大夫全部轟走了。東征西打了這麼些年，總算讓天下都握在劉家的手裡，想到這兒，劉邦心裡就寬慰不少。國家的基礎穩定了，律法也修訂了，子孫們只需靠著大樹乘涼即可，可是劉邦想到還有一些位高權重的大臣和諸侯王，他們都是開國功臣，若是想起兵造反的話，沒有征戰沙場經驗的子孫們根本不是他們的對手，那個時候，漢朝很可能就會落入旁人手中，劉邦不禁開始擔憂起來。
在楚漢相爭之時，劉邦為了籠絡到更多有能力的人的幫助，曾封了很多異姓諸侯王，這些諸侯王同劉邦一起征戰天下，輔佐劉邦建立了漢朝。可以說，如果沒有他們，劉邦絕不會有如今的偉業，但是他們的功績也正是劉邦最擔心的。如果哪一天他們不滿足只做一個諸侯王，依靠他們強大的勢力和廣闊的封地，隨時都能讓漢朝覆滅，若是聯手起來的話，後果更加嚴重。韓信、彭越和英布不正是活生生的例子嗎？他們位高權重，仍然想著造反。其實在殺死他們三人之後，劉邦就開始封同姓子弟為諸侯王，一步步取代異姓諸侯王的位置，以此來鞏固劉家的政權。雖然做了不少防禦措施，劉邦還是不放心，他決定和大臣們白馬盟誓。
白馬在古人看來是很神聖的動物，用白馬來立誓結盟，代表雙方非常重視誓言，絕不敢有違背之心。劉邦把大臣們召集到一塊兒，吩咐下人殺了一匹白馬，把馬血分給諸位大臣。劉邦端著馬血，要大臣們承諾永遠輔助劉家子孫，不得有異心，並且強調除了劉家人之外，不能封其他人為王；沒有功績的人也不能封侯，要是誰違背了誓言，天下人人得而誅之。大臣們發誓永遠效忠漢朝，永遠輔佐劉家子孫。聽到他們這麼說，劉邦這才放了心。
漢高祖的病情一天不如一天，呂後看著很是難過，她期望丈夫康復起來，但也知道這幾乎是不可能的事情了，丈夫死了，劉家的事業又該如何操持呢？呂後幾次想問，都硬生生壓了下去，眼看漢高祖的病越來越嚴重，呂後終於鼓足勇氣開了口：「皇上可曾想過，若是蕭何去世了，誰可以接替他繼續擔任丞相？」漢高祖說：「曹參取而代之。」呂後又問：「要是曹參也不在了呢？」漢高祖說：「可以讓王陵擔任。王陵雖然智謀比不上曹參，好在他性格耿直，不妨讓他和陳平一起管理朝政。陳平各方面都很優秀，就是在關鍵時候不會靈活處理問題，時時需要別人的提點。周勃應該重用，讓他做太尉，別看他不如別人聰明，但他的忠厚老實不是別人比得上的，他凡事都能以大局為重，患得患失之間把握得最好，有了他，漢朝不愁穩定不了。」
說完這些，劉邦氣喘吁吁，呂後還想再問些別的問題，看見劉邦幾次喘氣都沒能說上話，只好閉上嘴。劉邦知道呂後還想問什麼，他拼了全身力氣，斷斷續續地說：「再以後的事情誰也不知道了。」呂後聽完禁不住淚流滿面。
公元前195年，也就是高祖十二年四月二十五日，漢高祖劉邦駕崩，謚號高皇帝，廟號太祖，葬於長陵。同年，太子劉盈即位，史稱漢惠帝，繼續任命蕭何為丞相。
劉邦是中國歷史上第一位由平民登上皇位的皇帝，也是第一位御駕親征並且一統江山的皇帝。他登基之後，北擊匈奴、鎮壓叛亂，讓百姓休養生息，使得社會生產力迅速恢復和發展。他對漢民族的統一、中國的統一、漢文化的保護有著不可估量的貢獻。