皇帝曾想教他孙子和吴起的兵法，他回答说：“战争只看方针策略如何就够了，不必学习古代兵法。”

皇帝为他修盖府第，让骠骑将军去看看，他回答说：“匈奴还没有消灭，无心考虑私家的事情。”

从此以后，皇帝更加重用和喜爱骠骑将军霍去病。但是，霍去病从少年时代起，就在宫中侍候皇帝，得到显贵，却不知体恤士卒。他出兵打仗时，天子派遣太官赠送他几十车食物，待他回来时，辎重车上丢弃了许多剩余的米和肉，而他的士卒还有忍饥挨饿的。他在塞外打仗时，士卒缺粮，有的人饿得站不起来，而骠骑将军还在画定球场，踢球游戏。他做的事多半如此。大将军卫青的为人却是仁爱善良，有退让的精神，以宽和柔顺取悦皇上，但是天下之人没有称赞他的。

骠骑将军自元狩四年（前119）出击匈奴以后三年，即元狩六年（前117）就去世了。武帝对他的死很悲伤，调遣边境五郡的铁甲军，从长安到茂陵排列成阵，给霍去病修的坟墓外形象祈连山的样子。给他命名谥号，把勇武与扩地两个原则加以合并，称他为景桓侯。霍去病的儿子嬗接替了冠军侯的爵位。霍嬗年令小，表字叫子侯，皇上喜爱他，希望长大后任命他为将军。过了六年，即元封元年，霍嬗死去，皇上封赐他哀侯的谥号。他没有儿子，因而后代断绝了，封国被废除。

自从骠骑将军霍去病去世后，大将军卫青的长子宜春侯卫伉因为犯法而失去了侯爵（时间为公元前117年，元狩六年）。五年后（公元前112年，元鼎五年），卫伉的两个弟弟，阴安侯不疑和发干侯登，也因为助祭金成色不足和分量不够的罪名失去了侯爵。失去侯爵后两年（公元前110年，元封元年），冠军侯国被废除。又过了四年（公元前106年，元封五年），大将军卫青去世，谥号为烈侯。卫青的儿子卫伉继承了长平侯的爵位。