李世民后宫中的这位杨妃，史书中对其的记载只有一句话：“恪母，隋炀帝女也。”可见杨妃虽然名义上为隋炀帝女，看似出身高贵，然而连生母为谁、排行第几、封号为何都不知晓。杨妃没有公主封号，说明没有受过正式册封——隋炀帝登基后便去了洛阳，即使是册立太子也不过是下诏遣使回长安，更不用说还会特意记得要去册封一个留在长安的公主了。也由此可知杨妃的生母身份较低，且并不得宠，只是一名普通后宫。
而史官在史书中极为同情李恪，尽管完全列举不出李恪究竟有何才干和才华，但仍旧对李恪是各种溢美之词，所以在其传记里特别提到“恪母，隋炀帝女也”这一句，就是为了表彰李恪生母身份高贵。但即便如此也仍只有隋炀帝女这个头衔，可见杨妃无论是在隋宫还是唐宫地位都不高——在隋宫里没有公主封号、在唐宫里嫔妃品级低到没有记载甚或是不值得记载。
同时根据岑仲勉先生的统计，杨广在位的十四年里，累计下来在长安待的时间只有186天，绝大部分时间不是在巡幸的路上就是在准备巡幸，所以想来杨公主若是受宠的话，理应同其长姐南阳公主一样，陪伴在隋炀帝身侧远离长安才是。可事实却恰恰相反，依据李恪生于武德二年的情况来看，杨公主应当是武德元年便入了宫。换言之，李渊在长安甫一登基，杨公主便就此成了秦王府后院的一员，很显然这位杨公主虽然说起来也是隋炀帝的女儿，却根本得不到父亲的重视和宠爱，所以才会被遗忘在长安，被新建立的李唐王朝顺手接收。
何况李渊与杨广的母亲都是独孤氏，还是亲姐妹，独孤皇后曾对李渊颇为照拂;李渊建立的唐朝至少在名义上是从隋恭帝手上禅让过来的，结果李渊就这样将他表弟遗忘在长安的女儿丢给了自己的儿子做妾。李渊若还算看重这位与自己多少有点血缘关系的前朝公主的话，怎么说也要将其嫁做正妻而不是小妾——无论是嫁给皇子还是大臣。而且就算是做妾，也该塞给太子李建成，而不是塞给当时看起来与皇位无缘的秦王李世民。毕竟人家李建成好歹在武德九年前还是太子的身份，若无意外的话，这位杨公主作为李建成的小妾，等太子登基后怎么说也能混个五品以上的嫔妃当当，而给亲王做妾，最多只是个五品的孺人。
更何况根据杨广死于义宁二年三月(618年)，李恪却在李唐武德二年(619年)就出生了的情况来看，杨公主很明显是在热孝期间怀的孕，竟然连为亲生父亲守满27个月的孝都做不到。由此可见这位所谓的“隋炀帝女”在李唐王朝的眼中究竟是个什么样的存在了，更别说还能得到怎样的礼遇了，若杨公主的身份还算尊贵，又怎会如此被人随意地打发，甚至连为父亲守个孝的机会都没有。
而杨妃会被如此对待也是再正常不过的事，自古成王败寇，亡国之君的地位都摆在那儿了，更别说亡国公主了。想想秦灭六国后，六国“妃嫔媵嫱，王子皇孙，辞楼下殿，辇来于秦”的凄惨模样;想想陈朝灭亡后陈后主的几个亲妹妹，乐昌公主被赏给杨素做妾，宣华夫人、弘政夫人被没入了隋掖庭，还有几个被赏给了朝中大臣和皇子;再想想宋徽宗的女儿柔福帝姬也是公主，在金朝过的却是什么日子，便可知这些亡国公主在新王朝眼里不过是战利品一样的存在。
再看她在后宫中的封号。唐朝贞观年间的四夫人封号以贵淑德贤为序，韦贵妃的封号是非常明确的。另有一位生育了十三皇子李福的杨贵妃，贵妃的封号是死后追封，可见其生前也是正一品的妃位，很有可能封号便是淑妃。而燕德妃是由贤妃升为德妃的，原因是阴妃之子李祐谋反被诛，阴妃也由此被降为了嫔。还有一位郑贤妃，是燕贤妃升为德妃后随之晋位的。所以杨妃生前并无妃位，不过是死后才被追封为“妃”，提升了品级。
杨妃于武德二年生吴王李恪，武德八年之后生蜀王李愔——武德年间的皇子皇孙都是按例一岁时册封，而武德8年时，李世民的儿子中只有第五子李祐受封，所以第六子李愔最早也是武德八年才出生。杨妃没有女儿，因为唐太宗21位公主中只要生母身份较高的，史书或墓志铭才有记载，其余15位公主的生母因出身低微而不见载。
而杨妃的两子吴王李恪与蜀王李愔，虽然一直以来由于电视剧的宣传，很多人误以为李恪是唐太宗最喜欢的儿子，但就史实而言，论起唐太宗所有儿子中谁的待遇最差，李恪称第二，没人能比他更差。真相究竟如何，我们不妨一起来看一看史书是如何记载的。
首先，同样是在《旧唐书》中，对李恪是“太宗常称其类己”(《唐会要》中记载为“太宗尝称其类己”。可见这里的常通尝，意为曾经而不是常常)，对太子承乾则是“太宗甚爱之”，而对李泰更是用了“魏王泰宠冠诸王”这样的说法。如此一番比照，唐太宗对李恪这位所谓的“爱子”的宠爱，也实在平淡无奇了些。更何况唐太宗对三位嫡子的爱护在史书上的记载是数不胜数，而对李恪的宠爱甚至无从列举。
其次，根据史书的记载，李恪最迟贞观7年便去了封地，而与李恪同龄的李泰不仅不“之国”，唐太宗甚至还想过让其“入居武德殿”，最后还是被魏征力谏劝止。李治更是自长孙皇后去世后就一直由唐太宗亲自抚养，甚至在被封为太子后，仍让唐太宗不惜公然违反礼制也要继续留在身边，这便导致了褚遂良刘洎等人分别在贞观18年、20年相继上疏恳请皇帝不要留太子在身边一味溺爱，放其回东宫。
而贞观7年李恪赴任齐州都督时，唐太宗对李恪说：“父子之情，岂不欲常相见耶？但家国事殊，须出作藩屏。”可见让诸王之藩是因为“家国事殊”，更是为了绝诸皇子的“觊觎之心”。但这一番冠冕堂皇的话，实际上更适合身为太子同母弟的李泰而不是庶出的李恪，毕竟作为太子同母弟，李泰对储位的威胁才是最大的。然而唐太宗在“家国事殊”面前却出于私心，不仅不让李泰之藩，甚至还想让他搬进武德殿居住;李治就更不用说了，唐太宗一直将这个儿子亲自带在身边抚养，绝口不提之藩的事，贞观16年甚至干脆直接让他上朝参政了，却偏偏将没什么威胁的李恪打发到封地上去。
再者贞观12年唐太宗给李恪写的这封信，若只注意到“汝方违膝下，凄恋何已，欲遗汝珍玩，恐益骄奢”这么一句，自然会觉得其间是饱含了父子之情，然而此信的题目却是《诫吴王恪书》。诫者，告诫、警告之意，齐王李祐在封地上屡屡犯错时，唐太宗也曾写信“诰诫之”。所以这封信也不是什么诉说离别后的思念之情的，而是唐太宗写信来警告李恪要老老实实地待在自己的封地，不要再胡作非为了。
而且就在唐太对李恪说“欲遗汝珍玩，恐益骄奢”——以避免李恪变得骄奢为由而不肯多给他财物，结果在面对李承乾与李泰时，唐太宗却又是截然相反的态度。唐太宗赏赐李泰时不仅“赐泰物万段”，每个月给李泰的东西甚至“有逾于皇太子”，对李承乾更是干脆直接取消了他出用库物的限制。
最后，便是为很多人所津津乐道的，唐太宗欲立吴王李恪为太子这件事了。
贞观17年，唐太宗立了李治后过了大半年的时间，又觉得这个小儿子只有十五岁，一直养在自己的身边没有经过什么历练，作为帝国未来的继承人还不够强大有力，担忧他无法很好地驾驭朝政，毕竟“国赖长君”。于是唐太宗便想到了换储一事，而当时的李恪可以说是唯一适合的人选，因为看看除了李恪之外的其他几位皇子：
第二子李宽，早夭
第四子李泰，夺嫡被贬
第五子李佑，贞观十七年谋反被诛
第六子李愔，被唐太宗痛骂为禽兽不如
第七子李恽，好敛财，被有司弹劾
第八子李贞，仅比李治大一岁
第十子李慎，年纪比李治还要小
下面更加年幼的李嚣、李简、李福等人不是早夭，就是年纪太小。在这样的情况下，除了比李治大了近9岁的李恪，唐太宗还有别的选择吗？
唐太宗欲立李恪归根究底就是因为除了李恪外，别的年长一些的皇子不是因为夺嫡被贬、被杀，就是实在是扶不起的阿斗，李恪尽管也曾因为踩庄稼和赌博这些小事被连续贬官和削户过两次，但除了李恪外，唐太宗已经别无选择。
不过很显然，唐太宗欲立李恪这个想法并没有经过深思熟虑，而是一时冲动下的心血来潮之念。因为如果唐太宗真的考虑清楚了要改立李恪，或者是吃了秤砣铁了心要换储了，那么长孙无忌是绝对没有“密争之”的机会的，更不可能只凭他一家之言便一锤定音。毕竟这天下是姓李的，不是姓长孙的。贞观十七年时的长孙无忌虽然位极正一品的司徒，但就唐朝的政府系统而言，司徒位高却只是个虚职。在根本没有实权的情况下，长孙无忌又如何把持得了朝政？此时的魏征固然已死，但房玄龄李靖这些大臣仍然健在，唐太宗也正值壮年手握兵权，怎么可能任由一个既无实权又无兵权的长孙无忌操纵朝政？
何况废立太子是国家大事不是儿戏，唐太宗若是下定了决心要换太子，肯定会把这件事拿到朝上廷议，再不济也要找几个心腹大臣一起来商量商量，就像当初要立李治一样，“与长孙无忌、房玄龄、李绩等计议”，而不会只跟最不可能赞同的长孙无忌一个人商量，甚至被长孙无忌反驳后就此立刻作罢。
而从正史中对改立李恪这件事一笔带过的记叙来看，很明显唐太宗只是一时心血来潮，突然间有了这么一个想法，然后对长孙无忌露了个口风，长孙无忌反对，唐太宗想明白了自然也就彻底打消这个念头了。更不要说什么长孙无忌反对立李恪是因为他不是自己的外甥，事实上真正介意李恪不是嫡子的并不是长孙无忌，而是唐太宗本人。毕竟一旦改立庶子出身的李恪，李承乾、李泰、李治这三个嫡子的未来就很难有所保证了，这一点唐太宗显然比长孙无忌更为担心，因为当初唐太宗立李治的目的就是为了可以保全这三个心爱的儿子：
“泰立，承乾、晋王皆不存;晋王立，泰共承乾可无恙也。”(《旧唐书·太宗诸子列传》)
唐太宗改立太子时，一直都是在嫡出的李泰与李治之间摇摆不定，决定立李治也是因为李治性情仁厚，就是做了皇帝也不会对自己的两个亲兄弟不利。而在这期间，唐太宗自始至终都没有想到过还有庶出但年长的李恪可以考虑，李恪在唐太宗的心中地位究竟如何可见一斑了。因为李恪若是在唐太宗的心中还算是有些分量的话，唐太宗在改立太子的时候绝对会首先想到他，而不是等到一切都尘埃落定后又过了大半年的时间，直到贞观十七年年底诸位皇子回京过年时，才发现原来还有这么一个庶长子可以考虑，而且还只是昙花一现的想法。
至于说什么李恪远离京城和朝中大臣没有交情，自然不会有人愿意保举他做太子。事实上朝中大臣的意愿怎样并不重要，关键仍在于唐太宗自己的态度如何。看看李治就能知道，李治这个太子可谓是唐太宗一手扶持上去的。为了册立李治，唐太宗甚至不惜拔剑欲在大臣面前自尽;在正式立了李治为太子后，唐太宗又倾力打造了一个强大可靠的东宫班底以辅佐太子。
“己丑，加司徒、赵国公长孙无忌太子太师，司空、梁国公房玄龄太子太傅;特进、宋国公萧瑀太子太保，兵部尚书、英国公李绩为太子詹事，仍同中书门下三品。”(《旧唐书·太宗本纪》)
“又以左卫大将军李大亮领右卫率，前詹事于志宁、中书侍郎马周为左庶子，吏部侍郎苏勖、中书舍人高季辅为右庶子，刑部侍郎张行成为少詹事，谏议大夫褚遂良为宾客。”(《资治通鉴》)
同时，唐太宗知道李治一直久居深宫缺少历练，便开始加强对他处理政务能力的培养，时常把他带在自己的身边言传身教。
“太宗每视朝，常令在侧，观决庶政，或令参议，太宗数称善。”(《旧唐书·高宗本纪》)
“贞观十八年，太宗谓侍臣曰：‘古有胎教世子，朕则不暇。但近自建立太子，遇物必有诲谕。’”(《贞观政要》)
李恪所以唐太宗若真的有意改立李恪为太子的话，完全可以把改立李治时的举动照搬过来，而不只是口头上提那么一提，被否决后既不见有过失落后悔的时候，更不曾见对李恪这个改立未果的儿子有什么内疚之情，甚至欲立李恪未果后没过两天，唐太宗就因为李治长子李忠的出生而举行了盛大的筵席，不仅在宴会上高兴地“酒酣起舞”“尽日而罢”，还一反皇孙只能封郡王的制度，破例将李忠册封为了亲王——完全将李恪的事情抛之脑后。而反观刘邦欲立赵王如意失败后，为戚姬母子的未来安全得不到保障愁得长吁短叹，甚至“心不乐，悲歌”，不仅特意让周昌相赵，而且一听说樊哙要在自己百年之后诛杀戚姬母子，当即下令要陈平等人“即军中斩哙”，甚至还特地留了封手诏给太子刘盈，要他日后一定要照顾好赵王。想来李恪若是能在唐太宗的心中占据一席之地的话，又如何会遭此待遇？
至于李恪不能当上皇帝是因为具有前朝血统的说法更是无稽之谈，李恪的两朝血统并不是什么前无古人后无来者之事，早在南北朝时就有许多两朝一脉的皇位继承人，比如后赵石虎的太子石世，生母就是前赵的安定公主;比如北周闵帝宇文觉的生母就是北魏冯翊公主。就连隋炀帝杨广的太子杨昭也是两朝一脉——杨昭的生母萧皇后，即西梁孝明帝萧岿的女儿。
再说如果前朝血统真的是问题，是忌讳，那唐太宗为何在明知李恪具有隋朝血统的情况下，还想立其为太子？长孙无忌又为什么不用这么好的理由来反对唐太宗立李恪呢？所以李恪与储位无缘，和他的生母杨妃是隋炀帝的女儿根本没有任何的关系，而是因为李恪与杨妃均不得宠于唐太宗的缘故。
还有人因为唐太宗欲改立李恪便认为李恪是大唐的一代贤王，甚至如同某毛所说的那样李恪就一定是英物，李治就一定是朽物，唐太宗选择了李治作为继承人是懵懂一时(事实上看看某毛自己选定的继承人就知道他是什么眼光了)。然而通观李恪的生平，实在看不出他有什么文功武治的政绩。《旧唐书》中对李承乾的治国才能好歹还有一句“太宗居谅暗，庶政皆令听断，颇识大体”的介绍，对李泰至少还能知道他“少善属文”，也的确编修了一部《括地志》，其他庶出的皇子中，也有因为处理地方政务出色而被当地百姓称赞的。
然而关于李恪却只知其有文武才，相当笼统的一句赞美之词，至于具体有什么雄才伟略的事迹可以展现其贤能的，史书中便再无一字了。就连李恪的“善骑射”也不过是身为关陇军事贵族最基本的素养而已，在唐朝这个连后宫才人都能陪帝王骑射的朝代里，李恪的“善骑射”却根本没有丝毫的军功或突出的事迹可以证明。
李恪所谓的文才更是如此，就连李唐皇室成员中最常见的书法特长都毫无记载，而同样因谋反被诛的汉王李元昌，却能够以书法、绘画、射猎著称于各部史书。
《册府元龟》：“唐汉王元昌，高帝子，性警悟，有勇力，工骑射，颇涉文史，兼能隶书。”
《唐朝名画录》：“汉王元昌善画马，笔踪妙绝，后无人见。画鹰鹘、雉兔见在人间，佳手降叹矣。”
《法书要录》：“汉王童年，自得书意。夙承羲、献，守法不二。”
《历代名画记》：“天人之姿，博综伎艺，颇得风韵。自然超举，碣馆深崇，遗迹罕见。在上品二阎之上。”
一位专研经典名著，擅长音乐，绘画精妙，射猎如神的多才多艺的俊美皇子便栩栩如生地在后人心目挺拔起来，相比之下，李恪的才华无论是在史书还是墓志铭上，都没有分毫体现。
所以若只因为唐太宗的一句“英果类己”，便断定了李恪之贤，也着实武断了些。毕竟唐太宗只是觉得李治性格仁厚温和，并没有说他不如李恪贤能，又怎能由此草率地推断出李恪便是大唐众望所归的贤王呢？
至于《旧唐书》中所说的“既名望素高，甚为物情所向”，要知道李恪作为唐高宗李治最年长的皇兄，德行比起下面几个弟弟也还说得过去，有声望并不足以为奇，没有名声才是要值得奇怪的。毕竟唐中宗时，身为相王的唐睿宗就是“望实素高”;唐文宗的弟弟漳王李凑也是“贤而有人望”;唐太祖的曾孙李孝逸同样是“素有名望，自是时誉益重”;唐高祖之子韩王李元嘉在则天朝受到安抚重用，不仅是因为“地尊望重”，更是为了“顺物情”。
李恪被冤杀后史书中又言“以绝众望，海内冤之”，看似评价很高，然而唐太宗在任命魏征做太子太师的时候，也曾说过“用绝天下之望”这样的话。不仅如此，武三思在杀桓彦范等人时，是为了“绝其归望”;王世充杀害杨侗时，也是为了“绝众望”;武则天杀李元嘉更是为了“绝宗室之望”;源休劝朱泚剪除唐宗室的时候，同样是为了“绝人望”。而格辅元刘晏被杀都是“海内冤之”，卢崇道父子被杖毙也是“四海冤之”，崔宁被缢杀后“中外称其冤”，安思顺兄弟被诛更是“天下冤之”，李林甫被构陷同样是“天下以为冤”。可见所谓的“以绝众望，海内冤之”不过是史官的惯用语罢了，究竟能有几分分量，可以自行掂量一番。
何况当时的唐人并不觉得李恪是冤枉，睦州刺史夏侯绚的墓志在提及永徽四年的谋反案时就明确写道“荆吴构逆”，认为荆王李元景与吴王李恪都是大逆不道的谋反，这样的态度与史官所说的“海内冤之”完全截然相反。而且值得一提的是夏侯绚的身份，夏侯绚曾是蜀王李愔的长史，而李愔不是别人，正是李恪的同母弟弟，李恪谋反被杀后，李愔也因此被废为庶人。所以按照夏侯绚这样的身份，在提及顶头上司的胞兄被诬陷谋反时理应是为之喊冤，而不是直言他就是“构逆”。连原本最该为李恪喊冤的人都认为李恪就是谋反，当时能有多少人认为李恪是冤枉的可想而知。
事实上李恪在大唐王朝就只是一个普通的皇子，只不过是近年来的一些电视剧与小说将历史篡改戏说得太厉害了，以至于误导了很大一部分观众，认为李恪是唐太宗最心爱的儿子唐朝最贤明的皇子。但凡愿意认真读一读正史的，看看史书上所记载的唐太宗是如何宠爱他的三个嫡子的，就可以知道真正的唐太宗爱子应该是什么样子。相比三位嫡子数不胜数的得宠事迹，仅凭唐太宗心血来潮之下的“欲立吴王恪”，以及立储这种环境下的一句“类己”(在立太子这种情况下，不说“类己”难道要说这个儿子“不类己”？)，便要妄图证明李恪的受宠，显然是不成立的。
特别是贞观2年李恪与李泰同时受封，却明显受到了不同的待遇。李恪受封益州都督，封地只有8州，李泰却不仅是扬州大都督兼越州都督，封地更是多达22州！
且先不说单就数量而言，李泰的封地几乎是李恪的两倍。而李恪的封地益州，也就是今天四川一带，在唐朝时可绝对不是什么香饽饽，“扬一益二”的说法还得等到安史之乱以后。蜀地自古地势天险，古时候交通又不发达，想想当初唐高祖李渊私下许诺唐太宗要改立他为太子时就曾说过，要将李建成改封在蜀地，原因就是“地既僻小易制。若不能事汝，亦易取耳”。可见蜀地在唐初时候人们的心中是怎样一种存在了。而扬州的富庶则不必多言，更何况封地里还包括了苏杭一带。
更不用说事实上李恪受封的不过是益州都督，而不是和李泰一样都是大都督。根据《唐会要》的记载，益州的大都督府于“贞观二年二月二十日，去‘大’字”，直到唐高宗龙朔2年才由都督府升级为大都督府。所以贞观2年5月李恪与李泰虽然同时受封，但是李恪只被封为了益州都督——不仅都督府的规模远不及李泰的大都督府，封地更是比李泰少了近三分之二。
后来李恪在贞观11年的时候，不过是因为打猎时踩坏了庄稼，就由安州都督降为安州刺史，还被削户300(当时亲王实封只有800户)。看上去封地还是在一个地方，但实际上所管辖的地方却大大减少了，因为作为都督的时候，李恪可以“督安、隋、温、沔、复五州”军事，然而作为刺史就只能管辖安州这一州之地。后来李恪又因为和乳母的儿子赌博，再次被罢官削户，自此一直到贞观23年共12年的时间里，李恪再也没有官复原职过。这样的待遇除了李恪，也就只有他那个被唐太宗斥为“不如禽兽铁石”的胞弟李愔同样享有了，而其他犯过远比踩庄稼更严重错误的皇子们，从来没有遭受过如此严厉的惩罚。
唐太宗虽然贵为一国之君，但在面对自己的爱子时，仍旧只能如同普通人一般，寻常人家是怎么疼爱儿子的，唐太宗就是怎么做的。所以李承乾就算犯下了谋逆这等杀头大罪，唐太宗也要想方设法保住他的性命;所以李泰夺嫡失败后，唐太宗仍旧说他是“朕之爱子，实所钟心”，甚至被贬后不到四年的时间就又重新晋封为濮王;所以李治虽然一直和唐太宗住在一起，褚遂良、刘洎为了这事上谏过多少次，也没见唐太宗以“家国事殊”为理由，把李治打发出宫去住。
对爱子们宠溺至极，以至于一次又一次招来了魏征这些朝臣的上疏与进谏，偏偏对李恪这些儿子该罚的罚，该杀的杀，一个都没手软。就这样，还能说李恪是唐太宗的“爱子”吗？
至杨妃的次子李愔，虽然贞观10年就之藩了，但是直到贞观13年，李愔才得到了亲王应有的800户食邑，比其他一同之藩的皇子整整迟了3年。又因为李愔在封地上屡屡胡作非为，唐太宗曾十分厌恶地说：“就算是禽兽，只要好好驯服还能让其听命于人;就算是铁石，只要好好炼制也能做成可用之物，只有像李愔这样的人，连禽兽和铁石都不如！”当即便削去了李愔一半的封地食邑和蜀王府中的官员，又将他贬为虢州刺史，刚刚上任没几个月的蜀王师盖文达也因此被免官。
所以唐太宗贞观年间别的皇子都是都督，唯独李恪、李愔两人是刺史;别的皇子都是实封800户，唯独李恪与李愔一个被削户600一个被削户400。想来杨妃要是得宠的话，如何会在史书上仅留下7个字的记载，而她的两个儿子又如何会在李世民诸子中待遇如此之差？