李世民後宮中的這位楊妃，史書中對其的記載只有一句話：「恪母，隋煬帝女也。」可見楊妃雖然名義上為隋煬帝女，看似出身高貴，然而連生母為誰、排行第幾、封號為何都不知曉。楊妃沒有公主封號，說明沒有受過正式冊封——隋煬帝登基後便去了洛陽，即使是冊立太子也不過是下詔遣使回長安，更不用說還會特意記得要去冊封一個留在長安的公主了。也由此可知楊妃的生母身份較低，且並不得寵，只是一名普通後宮。
而史官在史書中極為同情李恪，儘管完全列舉不出李恪究竟有何才幹和才華，但仍舊對李恪是各種溢美之詞，所以在其傳記裡特別提到「恪母，隋煬帝女也」這一句，就是為了表彰李恪生母身份高貴。但即便如此也仍只有隋煬帝女這個頭銜，可見楊妃無論是在隋宮還是唐宮地位都不高——在隋宮裡沒有公主封號、在唐宮裡嬪妃品級低到沒有記載甚或是不值得記載。
同時根據岑仲勉先生的統計，楊廣在位的十四年裡，累計下來在長安待的時間只有186天，絕大部分時間不是在巡幸的路上就是在準備巡幸，所以想來楊公主若是受寵的話，理應同其長姐南陽公主一樣，陪伴在隋煬帝身側遠離長安才是。可事實卻恰恰相反，依據李恪生於武德二年的情況來看，楊公主應當是武德元年便入了宮。換言之，李淵在長安甫一登基，楊公主便就此成了秦王府後院的一員，很顯然這位楊公主雖然說起來也是隋煬帝的女兒，卻根本得不到父親的重視和寵愛，所以才會被遺忘在長安，被新建立的李唐王朝順手接收。
何況李淵與楊廣的母親都是獨孤氏，還是親姐妹，獨孤皇后曾對李淵頗為照拂;李淵建立的唐朝至少在名義上是從隋恭帝手上禪讓過來的，結果李淵就這樣將他表弟遺忘在長安的女兒丟給了自己的兒子做妾。李淵若還算看重這位與自己多少有點血緣關係的前朝公主的話，怎麼說也要將其嫁做正妻而不是小妾——無論是嫁給皇子還是大臣。而且就算是做妾，也該塞給太子李建成，而不是塞給當時看起來與皇位無緣的秦王李世民。畢竟人家李建成好歹在武德九年前還是太子的身份，若無意外的話，這位楊公主作為李建成的小妾，等太子登基後怎麼說也能混個五品以上的嬪妃當當，而給親王做妾，最多只是個五品的孺人。
更何況根據楊廣死於義寧二年三月(618年)，李恪卻在李唐武德二年(619年)就出生了的情況來看，楊公主很明顯是在熱孝期間懷的孕，竟然連為親生父親守滿27個月的孝都做不到。由此可見這位所謂的「隋煬帝女」在李唐王朝的眼中究竟是個什麼樣的存在了，更別說還能得到怎樣的禮遇了，若楊公主的身份還算尊貴，又怎會如此被人隨意地打發，甚至連為父親守個孝的機會都沒有。
而楊妃會被如此對待也是再正常不過的事，自古成王敗寇，亡國之君的地位都擺在那兒了，更別說亡國公主了。想想秦滅六國後，六國「妃嬪媵嬙，王子皇孫，辭樓下殿，輦來於秦」的淒慘模樣;想想陳朝滅亡後陳後主的幾個親妹妹，樂昌公主被賞給楊素做妾，宣華夫人、弘政夫人被沒入了隋掖庭，還有幾個被賞給了朝中大臣和皇子;再想想宋徽宗的女兒柔福帝姬也是公主，在金朝過的卻是什麼日子，便可知這些亡國公主在新王朝眼裡不過是戰利品一樣的存在。
再看她在後宮中的封號。唐朝貞觀年間的四夫人封號以貴淑德賢為序，韋貴妃的封號是非常明確的。另有一位生育了十三皇子李福的楊貴妃，貴妃的封號是死後追封，可見其生前也是正一品的妃位，很有可能封號便是淑妃。而燕德妃是由賢妃升為德妃的，原因是陰妃之子李祐謀反被誅，陰妃也由此被降為了嬪。還有一位鄭賢妃，是燕賢妃升為德妃後隨之晉位的。所以楊妃生前並無妃位，不過是死後才被追封為「妃」，提升了品級。
楊妃於武德二年生吳王李恪，武德八年之後生蜀王李愔——武德年間的皇子皇孫都是按例一歲時冊封，而武德8年時，李世民的兒子中只有第五子李祐受封，所以第六子李愔最早也是武德八年才出生。楊妃沒有女兒，因為唐太宗21位公主中只要生母身份較高的，史書或墓誌銘才有記載，其餘15位公主的生母因出身低微而不見載。
而楊妃的兩子吳王李恪與蜀王李愔，雖然一直以來由於電視劇的宣傳，很多人誤以為李恪是唐太宗最喜歡的兒子，但就史實而言，論起唐太宗所有兒子中誰的待遇最差，李恪稱第二，沒人能比他更差。真相究竟如何，我們不妨一起來看一看史書是如何記載的。
首先，同樣是在《舊唐書》中，對李恪是「太宗常稱其類己」(《唐會要》中記載為「太宗嘗稱其類己」。可見這裡的常通嘗，意為曾經而不是常常)，對太子承乾則是「太宗甚愛之」，而對李泰更是用了「魏王泰寵冠諸王」這樣的說法。如此一番比照，唐太宗對李恪這位所謂的「愛子」的寵愛，也實在平淡無奇了些。更何況唐太宗對三位嫡子的愛護在史書上的記載是數不勝數，而對李恪的寵愛甚至無從列舉。
其次，根據史書的記載，李恪最遲貞觀7年便去了封地，而與李恪同齡的李泰不僅不「之國」，唐太宗甚至還想過讓其「入居武德殿」，最後還是被魏征力諫勸止。李治更是自長孫皇后去世後就一直由唐太宗親自撫養，甚至在被封為太子後，仍讓唐太宗不惜公然違反禮制也要繼續留在身邊，這便導致了褚遂良劉洎等人分別在貞觀18年、20年相繼上疏懇請皇帝不要留太子在身邊一味溺愛，放其回東宮。
而貞觀7年李恪赴任齊州都督時，唐太宗對李恪說：「父子之情，豈不欲常相見耶？但家國事殊，須出作藩屏。」可見讓諸王之藩是因為「家國事殊」，更是為了絕諸皇子的「覬覦之心」。但這一番冠冕堂皇的話，實際上更適合身為太子同母弟的李泰而不是庶出的李恪，畢竟作為太子同母弟，李泰對儲位的威脅才是最大的。然而唐太宗在「家國事殊」面前卻出於私心，不僅不讓李泰之藩，甚至還想讓他搬進武德殿居住;李治就更不用說了，唐太宗一直將這個兒子親自帶在身邊撫養，絕口不提之藩的事，貞觀16年甚至乾脆直接讓他上朝參政了，卻偏偏將沒什麼威脅的李恪打發到封地上去。
再者貞觀12年唐太宗給李恪寫的這封信，若只注意到「汝方違膝下，淒戀何已，欲遺汝珍玩，恐益驕奢」這麼一句，自然會覺得其間是飽含了父子之情，然而此信的題目卻是《誡吳王恪書》。誡者，告誡、警告之意，齊王李祐在封地上屢屢犯錯時，唐太宗也曾寫信「誥誡之」。所以這封信也不是什麼訴說離別後的思念之情的，而是唐太宗寫信來警告李恪要老老實實地待在自己的封地，不要再胡作非為了。
而且就在唐太對李恪說「欲遺汝珍玩，恐益驕奢」——以避免李恪變得驕奢為由而不肯多給他財物，結果在面對李承乾與李泰時，唐太宗卻又是截然相反的態度。唐太宗賞賜李泰時不僅「賜泰物萬段」，每個月給李泰的東西甚至「有逾於皇太子」，對李承乾更是乾脆直接取消了他出用庫物的限制。
最後，便是為很多人所津津樂道的，唐太宗欲立吳王李恪為太子這件事了。
貞觀17年，唐太宗立了李治後過了大半年的時間，又覺得這個小兒子只有十五歲，一直養在自己的身邊沒有經過什麼歷練，作為帝國未來的繼承人還不夠強大有力，擔憂他無法很好地駕馭朝政，畢竟「國賴長君」。於是唐太宗便想到了換儲一事，而當時的李恪可以說是唯一適合的人選，因為看看除了李恪之外的其他幾位皇子：
第二子李寬，早夭
第四子李泰，奪嫡被貶
第五子李佑，貞觀十七年謀反被誅
第六子李愔，被唐太宗痛罵為禽獸不如
第七子李惲，好斂財，被有司彈劾
第八子李貞，僅比李治大一歲
第十子李慎，年紀比李治還要小
下面更加年幼的李囂、李簡、李福等人不是早夭，就是年紀太小。在這樣的情況下，除了比李治大了近9歲的李恪，唐太宗還有別的選擇嗎？
唐太宗欲立李恪歸根究底就是因為除了李恪外，別的年長一些的皇子不是因為奪嫡被貶、被殺，就是實在是扶不起的阿斗，李恪儘管也曾因為踩莊稼和賭博這些小事被連續貶官和削戶過兩次，但除了李恪外，唐太宗已經別無選擇。
不過很顯然，唐太宗欲立李恪這個想法並沒有經過深思熟慮，而是一時衝動下的心血來潮之念。因為如果唐太宗真的考慮清楚了要改立李恪，或者是吃了秤砣鐵了心要換儲了，那麼長孫無忌是絕對沒有「密爭之」的機會的，更不可能只憑他一家之言便一錘定音。畢竟這天下是姓李的，不是姓長孫的。貞觀十七年時的長孫無忌雖然位極正一品的司徒，但就唐朝的政府系統而言，司徒位高卻只是個虛職。在根本沒有實權的情況下，長孫無忌又如何把持得了朝政？此時的魏征固然已死，但房玄齡李靖這些大臣仍然健在，唐太宗也正值壯年手握兵權，怎麼可能任由一個既無實權又無兵權的長孫無忌操縱朝政？
何況廢立太子是國家大事不是兒戲，唐太宗若是下定了決心要換太子，肯定會把這件事拿到朝上廷議，再不濟也要找幾個心腹大臣一起來商量商量，就像當初要立李治一樣，「與長孫無忌、房玄齡、李績等計議」，而不會只跟最不可能贊同的長孫無忌一個人商量，甚至被長孫無忌反駁後就此立刻作罷。
而從正史中對改立李恪這件事一筆帶過的記敘來看，很明顯唐太宗只是一時心血來潮，突然間有了這麼一個想法，然後對長孫無忌露了個口風，長孫無忌反對，唐太宗想明白了自然也就徹底打消這個念頭了。更不要說什麼長孫無忌反對立李恪是因為他不是自己的外甥，事實上真正介意李恪不是嫡子的並不是長孫無忌，而是唐太宗本人。畢竟一旦改立庶子出身的李恪，李承乾、李泰、李治這三個嫡子的未來就很難有所保證了，這一點唐太宗顯然比長孫無忌更為擔心，因為當初唐太宗立李治的目的就是為了可以保全這三個心愛的兒子：
「泰立，承乾、晉王皆不存;晉王立，泰共承乾可無恙也。」(《舊唐書·太宗諸子列傳》)
唐太宗改立太子時，一直都是在嫡出的李泰與李治之間搖擺不定，決定立李治也是因為李治性情仁厚，就是做了皇帝也不會對自己的兩個親兄弟不利。而在這期間，唐太宗自始至終都沒有想到過還有庶出但年長的李恪可以考慮，李恪在唐太宗的心中地位究竟如何可見一斑了。因為李恪若是在唐太宗的心中還算是有些份量的話，唐太宗在改立太子的時候絕對會首先想到他，而不是等到一切都塵埃落定後又過了大半年的時間，直到貞觀十七年年底諸位皇子回京過年時，才發現原來還有這麼一個庶長子可以考慮，而且還只是曇花一現的想法。
至於說什麼李恪遠離京城和朝中大臣沒有交情，自然不會有人願意保舉他做太子。事實上朝中大臣的意願怎樣並不重要，關鍵仍在於唐太宗自己的態度如何。看看李治就能知道，李治這個太子可謂是唐太宗一手扶持上去的。為了冊立李治，唐太宗甚至不惜拔劍欲在大臣面前自盡;在正式立了李治為太子後，唐太宗又傾力打造了一個強大可靠的東宮班底以輔佐太子。
「己丑，加司徒、趙國公長孫無忌太子太師，司空、梁國公房玄齡太子太傅;特進、宋國公蕭瑀太子太保，兵部尚書、英國公李績為太子詹事，仍同中書門下三品。」(《舊唐書·太宗本紀》)
「又以左衛大將軍李大亮領右衛率，前詹事於志寧、中書侍郎馬周為左庶子，吏部侍郎蘇勖、中書舍人高季輔為右庶子，刑部侍郎張行成為少詹事，諫議大夫褚遂良為賓客。」(《資治通鑒》)
同時，唐太宗知道李治一直久居深宮缺少歷練，便開始加強對他處理政務能力的培養，時常把他帶在自己的身邊言傳身教。
「太宗每視朝，常令在側，觀決庶政，或令參議，太宗數稱善。」(《舊唐書·高宗本紀》)
「貞觀十八年，太宗謂侍臣曰：『古有胎教世子，朕則不暇。但近自建立太子，遇物必有誨諭。』」(《貞觀政要》)
李恪所以唐太宗若真的有意改立李恪為太子的話，完全可以把改立李治時的舉動照搬過來，而不只是口頭上提那麼一提，被否決後既不見有過失落後悔的時候，更不曾見對李恪這個改立未果的兒子有什麼內疚之情，甚至欲立李恪未果後沒過兩天，唐太宗就因為李治長子李忠的出生而舉行了盛大的筵席，不僅在宴會上高興地「酒酣起舞」「盡日而罷」，還一反皇孫只能封郡王的制度，破例將李忠冊封為了親王——完全將李恪的事情拋之腦後。而反觀劉邦欲立趙王如意失敗後，為戚姬母子的未來安全得不到保障愁得長吁短歎，甚至「心不樂，悲歌」，不僅特意讓周昌相趙，而且一聽說樊噲要在自己百年之後誅殺戚姬母子，當即下令要陳平等人「即軍中斬噲」，甚至還特地留了封手詔給太子劉盈，要他日後一定要照顧好趙王。想來李恪若是能在唐太宗的心中佔據一席之地的話，又如何會遭此待遇？
至於李恪不能當上皇帝是因為具有前朝血統的說法更是無稽之談，李恪的兩朝血統並不是什麼前無古人後無來者之事，早在南北朝時就有許多兩朝一脈的皇位繼承人，比如後趙石虎的太子石世，生母就是前趙的安定公主;比如北周閔帝宇文覺的生母就是北魏馮翊公主。就連隋煬帝楊廣的太子楊昭也是兩朝一脈——楊昭的生母蕭皇后，即西梁孝明帝蕭巋的女兒。
再說如果前朝血統真的是問題，是忌諱，那唐太宗為何在明知李恪具有隋朝血統的情況下，還想立其為太子？長孫無忌又為什麼不用這麼好的理由來反對唐太宗立李恪呢？所以李恪與儲位無緣，和他的生母楊妃是隋煬帝的女兒根本沒有任何的關係，而是因為李恪與楊妃均不得寵於唐太宗的緣故。
還有人因為唐太宗欲改立李恪便認為李恪是大唐的一代賢王，甚至如同某毛所說的那樣李恪就一定是英物，李治就一定是朽物，唐太宗選擇了李治作為繼承人是懵懂一時(事實上看看某毛自己選定的繼承人就知道他是什麼眼光了)。然而通觀李恪的生平，實在看不出他有什麼文功武治的政績。《舊唐書》中對李承乾的治國才能好歹還有一句「太宗居諒暗，庶政皆令聽斷，頗識大體」的介紹，對李泰至少還能知道他「少善屬文」，也的確編修了一部《括地誌》，其他庶出的皇子中，也有因為處理地方政務出色而被當地百姓稱讚的。
然而關於李恪卻只知其有文武才，相當籠統的一句讚美之詞，至於具體有什麼雄才偉略的事跡可以展現其賢能的，史書中便再無一字了。就連李恪的「善騎射」也不過是身為關隴軍事貴族最基本的素養而已，在唐朝這個連後宮才人都能陪帝王騎射的朝代裡，李恪的「善騎射」卻根本沒有絲毫的軍功或突出的事跡可以證明。
李恪所謂的文才更是如此，就連李唐皇室成員中最常見的書法特長都毫無記載，而同樣因謀反被誅的漢王李元昌，卻能夠以書法、繪畫、射獵著稱於各部史書。
《冊府元龜》：「唐漢王元昌，高帝子，性警悟，有勇力，工騎射，頗涉文史，兼能隸書。」
《唐朝名畫錄》：「漢王元昌善畫馬，筆蹤妙絕，後無人見。畫鷹鶻、雉兔見在人間，佳手降歎矣。」
《法書要錄》：「漢王童年，自得書意。夙承羲、獻，守法不二。」
《歷代名畫記》：「天人之姿，博綜伎藝，頗得風韻。自然超舉，碣館深崇，遺跡罕見。在上品二閻之上。」
一位專研經典名著，擅長音樂，繪畫精妙，射獵如神的多才多藝的俊美皇子便栩栩如生地在後人心目挺拔起來，相比之下，李恪的才華無論是在史書還是墓誌銘上，都沒有分毫體現。
所以若只因為唐太宗的一句「英果類己」，便斷定了李恪之賢，也著實武斷了些。畢竟唐太宗只是覺得李治性格仁厚溫和，並沒有說他不如李恪賢能，又怎能由此草率地推斷出李恪便是大唐眾望所歸的賢王呢？
至於《舊唐書》中所說的「既名望素高，甚為物情所向」，要知道李恪作為唐高宗李治最年長的皇兄，德行比起下面幾個弟弟也還說得過去，有聲望並不足以為奇，沒有名聲才是要值得奇怪的。畢竟唐中宗時，身為相王的唐睿宗就是「望實素高」;唐文宗的弟弟漳王李湊也是「賢而有人望」;唐太祖的曾孫李孝逸同樣是「素有名望，自是時譽益重」;唐高祖之子韓王李元嘉在則天朝受到安撫重用，不僅是因為「地尊望重」，更是為了「順物情」。
李恪被冤殺後史書中又言「以絕眾望，海內冤之」，看似評價很高，然而唐太宗在任命魏征做太子太師的時候，也曾說過「用絕天下之望」這樣的話。不僅如此，武三思在殺桓彥范等人時，是為了「絕其歸望」;王世充殺害楊侗時，也是為了「絕眾望」;武則天殺李元嘉更是為了「絕宗室之望」;源休勸朱泚剪除唐宗室的時候，同樣是為了「絕人望」。而格輔元劉晏被殺都是「海內冤之」，盧崇道父子被杖斃也是「四海冤之」，崔寧被縊殺後「中外稱其冤」，安思順兄弟被誅更是「天下冤之」，李林甫被構陷同樣是「天下以為冤」。可見所謂的「以絕眾望，海內冤之」不過是史官的慣用語罷了，究竟能有幾分份量，可以自行掂量一番。
何況當時的唐人並不覺得李恪是冤枉，睦州刺史夏侯絢的墓誌在提及永徽四年的謀反案時就明確寫道「荊吳構逆」，認為荊王李元景與吳王李恪都是大逆不道的謀反，這樣的態度與史官所說的「海內冤之」完全截然相反。而且值得一提的是夏侯絢的身份，夏侯絢曾是蜀王李愔的長史，而李愔不是別人，正是李恪的同母弟弟，李恪謀反被殺後，李愔也因此被廢為庶人。所以按照夏侯絢這樣的身份，在提及頂頭上司的胞兄被誣陷謀反時理應是為之喊冤，而不是直言他就是「構逆」。連原本最該為李恪喊冤的人都認為李恪就是謀反，當時能有多少人認為李恪是冤枉的可想而知。
事實上李恪在大唐王朝就只是一個普通的皇子，只不過是近年來的一些電視劇與小說將歷史篡改戲說得太厲害了，以至於誤導了很大一部分觀眾，認為李恪是唐太宗最心愛的兒子唐朝最賢明的皇子。但凡願意認真讀一讀正史的，看看史書上所記載的唐太宗是如何寵愛他的三個嫡子的，就可以知道真正的唐太宗愛子應該是什麼樣子。相比三位嫡子數不勝數的得寵事跡，僅憑唐太宗心血來潮之下的「欲立吳王恪」，以及立儲這種環境下的一句「類己」(在立太子這種情況下，不說「類己」難道要說這個兒子「不類己」？)，便要妄圖證明李恪的受寵，顯然是不成立的。
特別是貞觀2年李恪與李泰同時受封，卻明顯受到了不同的待遇。李恪受封益州都督，封地只有8州，李泰卻不僅是揚州大都督兼越州都督，封地更是多達22州！
且先不說單就數量而言，李泰的封地幾乎是李恪的兩倍。而李恪的封地益州，也就是今天四川一帶，在唐朝時可絕對不是什麼香餑餑，「揚一益二」的說法還得等到安史之亂以後。蜀地自古地勢天險，古時候交通又不發達，想想當初唐高祖李淵私下許諾唐太宗要改立他為太子時就曾說過，要將李建成改封在蜀地，原因就是「地既僻小易制。若不能事汝，亦易取耳」。可見蜀地在唐初時候人們的心中是怎樣一種存在了。而揚州的富庶則不必多言，更何況封地裡還包括了蘇杭一帶。
更不用說事實上李恪受封的不過是益州都督，而不是和李泰一樣都是大都督。根據《唐會要》的記載，益州的大都督府於「貞觀二年二月二十日，去『大』字」，直到唐高宗龍朔2年才由都督府升級為大都督府。所以貞觀2年5月李恪與李泰雖然同時受封，但是李恪只被封為了益州都督——不僅都督府的規模遠不及李泰的大都督府，封地更是比李泰少了近三分之二。
後來李恪在貞觀11年的時候，不過是因為打獵時踩壞了莊稼，就由安州都督降為安州刺史，還被削戶300(當時親王實封只有800戶)。看上去封地還是在一個地方，但實際上所管轄的地方卻大大減少了，因為作為都督的時候，李恪可以「督安、隋、溫、沔、復五州」軍事，然而作為刺史就只能管轄安州這一州之地。後來李恪又因為和乳母的兒子賭博，再次被罷官削戶，自此一直到貞觀23年共12年的時間裡，李恪再也沒有官復原職過。這樣的待遇除了李恪，也就只有他那個被唐太宗斥為「不如禽獸鐵石」的胞弟李愔同樣享有了，而其他犯過遠比踩莊稼更嚴重錯誤的皇子們，從來沒有遭受過如此嚴厲的懲罰。
唐太宗雖然貴為一國之君，但在面對自己的愛子時，仍舊只能如同普通人一般，尋常人家是怎麼疼愛兒子的，唐太宗就是怎麼做的。所以李承乾就算犯下了謀逆這等殺頭大罪，唐太宗也要想方設法保住他的性命;所以李泰奪嫡失敗後，唐太宗仍舊說他是「朕之愛子，實所鍾心」，甚至被貶後不到四年的時間就又重新晉封為濮王;所以李治雖然一直和唐太宗住在一起，褚遂良、劉洎為了這事上諫過多少次，也沒見唐太宗以「家國事殊」為理由，把李治打發出宮去住。
對愛子們寵溺至極，以至於一次又一次招來了魏征這些朝臣的上疏與進諫，偏偏對李恪這些兒子該罰的罰，該殺的殺，一個都沒手軟。就這樣，還能說李恪是唐太宗的「愛子」嗎？
至楊妃的次子李愔，雖然貞觀10年就之藩了，但是直到貞觀13年，李愔才得到了親王應有的800戶食邑，比其他一同之藩的皇子整整遲了3年。又因為李愔在封地上屢屢胡作非為，唐太宗曾十分厭惡地說：「就算是禽獸，只要好好馴服還能讓其聽命於人;就算是鐵石，只要好好煉製也能做成可用之物，只有像李愔這樣的人，連禽獸和鐵石都不如！」當即便削去了李愔一半的封地食邑和蜀王府中的官員，又將他貶為虢州刺史，剛剛上任沒幾個月的蜀王師蓋文達也因此被免官。
所以唐太宗貞觀年間別的皇子都是都督，唯獨李恪、李愔兩人是刺史;別的皇子都是實封800戶，唯獨李恪與李愔一個被削戶600一個被削戶400。想來楊妃要是得寵的話，如何會在史書上僅留下7個字的記載，而她的兩個兒子又如何會在李世民諸子中待遇如此之差？