隨著統一戰爭的順利進行，李淵的思想開始鬆懈下來，安於享樂，不再對政治事務像以前那麼關心了，這直接導致了皇儲問題的產生。
他作為父親，想讓幾個兒子和睦相處，但又在立皇太子的問題上反覆，沒有明確的主意，使得兄弟相爭不已。在劉武周大舉南下，攻陷太原威脅長安的時候，李淵親自為兒子李世民送行，還許諾得勝回來後立他為太子。但李世民回來之後，他又反悔，聽信后妃們的求情，保留了李建成的太子之位。這直接導致了兄弟之間的不和，成了激烈爭奪太子的導火線，可以說，玄武門之變李淵也要承擔一定的責任。
在玄武門之變發生之後，李世民讓大將尉遲敬德入宮向李淵通報情況。這時的李淵正和裴寂等人在南海池中泛舟，見尉遲敬德一身鎧甲地站到岸邊，非常驚慌。尉遲敬德說，太子李建成和齊王李元吉謀反，秦王已經將他們處死，為防不測，派我來護駕。李淵吃驚得說不出話來，最後只得下詔命令太子李建成和齊王李元吉的部下聽從李世民的調遣。
六月一日，李淵頒布詔書正式立李世民為皇太子，八月，李淵只好將皇位讓出來，自己去做了太上皇。在唐高祖統治後期，像許多帝王一樣也開始廣納妃嬪，安於後宮享樂。在對待後宮嬪妃的問題上，李淵沒有處理好，在有的妃子挑撥李建成和李世民之間的關係時，沒能及早制止，反而聽信讒言，致使兄弟之間兵戎相見，發生流血事件。
在統治早期，李淵也犯過聽讒言殺大臣的錯誤。對他起家發揮過重要作用的裴寂和劉文靜之間有些矛盾，但李淵不是設法調和。裴寂認為自己功勞在大將劉文靜之上，但官職卻比劉文靜低，於是和劉文靜產生了矛盾，在劉文靜酒後發牢騷之後，他便趁機向李淵誣陷劉文靜要反叛唐朝。李淵不辯是非，便將劉文靜殺了。雖然李淵並沒有像後來的朱元璋那樣大量殺功臣，但即使殺一個也會使其他人有兔死狗烹之慮，對政治生活不可能起到正面的作用。