元封五年(前106年)，大将军卫青病逝，谥号为烈侯。在上古文献中“烈”是光明、显赫，有宏伟、浩大之意。以此表彰了卫青军功卓越、不平凡的人生之旅。
卫青对卫氏家族，乃至太子(卫青的外甥)的命运都有着重大影响。卫青走过了一条上升、圆满的人生轨迹，然而，他的后代却没有能继承他的功业，也没有能继续他的辉煌人生经历。
据《史记·卫将军骠骑列传》记述，卫青有三个儿子：卫伉，卫不疑和卫登。卫青在漠南打败右贤王之后，汉武帝为表示对卫青的特殊嘉奖，册封了这三个尚为孩童或在襁褓之中的幼子。卫伉被封为宜春侯，卫不疑被封为阴安侯，卫登被封为发干侯。最早，卫伉犯法而丢掉了宜春侯爵位，因卫青娶了武帝的姐姐平阳公主，卫青去世，卫伉才能继承卫青的封国，继续做了长平侯。6年之后，卫伉犯法而失去了这个爵位。卫不疑和卫登都因交供宗庙祭祀用的金子不合格，丢了爵位。卫青的后代虽然生来富贵，但由于没有建立功业，从而没有能力保持高贵的社会地位。
《资治通鉴》卷二二记述了汉武帝与卫青、太子之间的故事。当初，汉武帝在29岁时才生了太子，这是武帝第一个儿子，自然非常喜爱。随着太子一天天长大，武帝观察到太子个性仁慈宽厚、谦和，似乎没有自己那样精明强干，因此感觉有些遗憾和失望。后来，武帝的其他几位夫人陆续为他生刘闳、刘旦、刘胥和刘髆几个皇子。
皇后和太子觉察武帝对他们母子的逐渐疏远，开始常常陷入惶恐不安之中。武帝知道后，让卫青向皇后、太子转达：我朝很多大事都还处于草创之中，周边外族对我们侵略不断，朕不得不对内厉行改革，对外大力征伐;否则后代子孙治理政务没有法度可以遵循，国家也没有真正的太平局面。因此，朕在位期间百姓十分劳苦，但是，后代子孙继续像朕这样做，就等于重蹈了亡秦的覆辙。太子性格沉稳仁厚，这正是守成之君所必须具备的品格，保持国家的稳定与安宁没有人能胜过太子了！听说皇后和太子有不安之意，请你把朕的意思转告给他们。
武帝特意请卫青做中间人，显然是有深意的。与其说，他这些话是在安慰皇后、太子，不如说，他主要是为安慰自己这位战无不胜的大将军。这位在战场上敌人不可战胜的大将军，是西汉以强盛帝国的姿态屹立于世界东方的重要因素。
以武帝的雄才大略面对仁弱的太子自然是不满意的，他在安慰太子的同时，似乎也在安慰、说服自己，也许有卫青的辅佐与支持，太子可以担负得起自己身后的这大片锦绣河山的安宁与稳定。
然而，天不假年，威名赫赫的大将军在五十岁左右就逝世了。在卫青去世之后，朝中的奸佞大臣看到太子失去了这个坚强的后盾，开始肆无忌惮地陷害太子了。太子被迫起兵自卫，后来兵败自杀。
青在世的时候，连汉武帝都主动维护太子以安定大将军之心，其他人更不敢构陷卫家和太子。卫青封侯之后，卫氏家族开始兴起，卫家有5人封侯。然而仅仅维持了24年，5个侯爵被剥夺，卫氏家族再也没有封侯的了。到了征和年间，太子兵败自杀，卫氏家族也基本覆灭了。