自杨坚建立大隋以后，长孙晟不管是杨坚和杨广，都是鞠躬精粹，尽职尽责，并多次深入大漠，为大隋的分化突厥攻略起到了决定性的作用。但由于多年的操劳，身体的健康程度不断的恶化。原本杨广意欲派他为淮阳太守，因为身体原因，没有赴任，杨广亲自来到他的府邸看望，又命令御医为长孙晟开药疗养，长孙晟身体好些后，被杨广启用为左骁勇卫大将军。但终归因为疾病深入骨髓，还是在大业五年的时候病逝，杨广非常的悲痛，亲自写下祭文，命令朝廷百官前去吊唁。一时间长孙晟的府邸人潮鼎沸，络绎不绝。李渊也带着三个儿子前往长孙府吊唁。长孙晟有五子，长子行布因为在汉王叛乱时忠于朝廷，被汉王杨谅杀害，二子长孙恒安与长孙行布同母所生，是个书呆子，整只知道子曰书云，对于人情场面没有什么经验，五子长孙无逸还是个婴儿，在奶妈怀中吃奶，所以没有出来，主事的是长孙晟的三儿子长孙无宪和四子长孙无忌。长孙晟的妻子高夫人带着自己的女儿和儿子无忌穿着孝衣，满面泪痕的看着来宾。长孙晟的妾吴氏和他的儿子趾高气扬的看着来宾，眼中没有半点伤心。李渊看在眼中，默默的摇摇了摇头。回到府中，李渊对窦夫人：
“夫人，有件事情为夫想跟你商量一下？”
“夫君，有什么话你就吗！”
“建成与婉贞已经成婚多年，虽然有过承宗，但谁知道。。。。。”承宗还不到半岁的时候因病夭折，这是李渊的第一个孙子，所以死的时候李渊比谁都伤心。窦夫人也很体谅李渊的心情。抱着李渊慢慢的安抚他。
“我今去了一下长孙府，季晟着一死，高氏母子三人的日子就难过了。”
“老爷的意思是！”
“我从那吴氏今的表情看，高氏母子日后绝对会被赶出家门，一方面我们的世民也老大不了，我想让他把长孙晟的女儿娶了，这样以后我们也可以在有生之年多抱几个孙子，另外一方面长孙晟一死，长孙家就此衰落了，我们与他们联姻不会引起杨广的猜疑。”窦夫人抓住李渊的手。
“夫君，你的想法我知道了，我这就去安排。”
“不忙，等吴氏有动作了再，锦上添花不难，雪中送碳不易呀！”李渊和窦夫人商谈至半夜，就熄灯休息了。长安长孙府，长孙晟的族兄长孙顺德在正堂坐着，他的左边坐着高夫人和他的儿子长孙无忌、女儿长孙无垢。他的右边坐着吴氏和他的儿子长孙无宪。站在长孙顺德对面的长孙无傲面色尴尬的看着高夫人和吴夫人。
“姐姐，话我已经的够明白了，废话多无益，你还是识相点，别让我下令赶你走。”高夫人比吴夫人还五岁，但因为是正室夫人，所以吴氏还是称呼高夫人为姐姐。
“妹妹！老爷刚死，尸骨未寒，你现在就要分家，恐怕不太合适吧！”
“有什么不合适的，俗话的好，人大分家，树大分桠，还管什么时机，再了，现在长孙家的情况你是知道的，家里就那么点进项，养不活那么多的闲人。”长孙无忌听到这话，脸上马上挂不住了。
“你谁是闲人？”长孙无忌愤怒的回道。
“反了，反了，你在跟谁话，来人啊！把这个忤逆不孝的东西给我拖下去打五十大板！”话刚完，就有两个下人恶狠狠的要把长孙无忌架出去打，由于杨广即位后大兴土木，穷兵黩武，文武百官的俸禄经常被拖欠，而且杨广还加重了赋税，搞得全国各地百业萧条，各大世家名下产业收入大减，吴氏虽然是平民百姓，但她的娘家哥哥是从事官盐贸易的，家资丰厚，府中的很多开支都是他们吴家支付，而且高夫人由于是出身于北齐宗室，家教甚好，经常跟随长孙晟入宫参加宫廷活动，所以家中的琐事都交与了吴氏掌握，用家法和钱财掌控了所有的下人管事，长孙晟在世的时候，吴氏还有所顾忌，如今长孙晟一死，吴氏自然要发难了。
“混账东西！也不看看你们是什么身份！不要以为老爷走了我就好欺负，无忌可是进宫见过皇上和皇后娘娘的。我倒要看看你们这些不长眼的东西以后怎么收场？”长孙顺德一听，赶快拦住下人。
“且慢！弟妹，无忌再怎么也是季晟的幼子，年轻人吗！口无遮拦是难免的，你身为长辈也应该担当一下嘛！”长孙无傲也从旁劝。
“二娘！四弟年幼无知，还望二娘恕罪！”长孙无傲因为兄长的功勋被文帝赐了官职，再加上母亲早死，高夫人没有进门时是吴夫人把她养大的，所以彼此的感情还有一些。在长孙顺德和长孙无傲的劝下，吴氏也知道板子打不到长孙无忌的身上了，也就就坡下驴。
“好吧！年轻人的话我也就不计较了。但今家族长辈在这，该怎么办就请你句话吧！”完，看了长孙顺德一眼。心想：‘妈的，老娘我送了你一百两黄金，怎么，你这个老狐狸想脱身，没门！’高夫人也看着长孙顺德，希望他也句公道话。长孙顺德知道自己自己不表态不行。
“高弟妹，这个家的环境我也是知道的，吴弟妹的难处我也知道，所以。。。。。。”虽然收了吴氏的黄金，但高夫人在宫中和官场的人脉他是知道的，他也不愿把事情做绝。
“好吧！既然妹妹把话都挑明了，那我在留在这里也没有多少理由了，可以，但今色已晚，再季晟刚死，我们就离开恐怕招人非议，就请妹妹让我们母子再呆三，等季晟下葬后我们立即搬走。”话已经到这份上了，吴氏只要他们能够离开，就是再等三也无不可。
“好！这是姐姐的，三日后，就请姐姐自觉点，不要让妹妹我难做人啊！无宪，咱们走！”吴氏趾高气扬的带着自己的儿子离开了正堂，长孙顺德红着脸不声不响的走了，长孙无傲来到高夫人面前。
“大娘，四弟，我。。。。。。”长孙无忌冷冷的看着他，双眼如刀，长孙无垢紧紧抱着自己的娘，满脸泪痕，高夫人向长孙无傲宽慰道。
“无傲，你不要自责，你是个好孩子，大娘知道！”
“大娘，我谢谢你！”长孙无傲跪在高夫人的面前，重重的磕了一个头。三日后，长孙晟的灵柩下葬，高夫人带着自己的儿女登上了离开长孙府的马车。长孙无忌骑上长孙晟留给他的战马。对着府门恨恨地在心里：
‘长孙无宪，吴氏，有朝一日，我长孙无忌一定要堂而皇之的回来，还有，我要掌握权利，一定要掌握权利，我要让全下的人都由我决定他们的生与死，绝对不能让谁把我踩在脚下。’