两年后（公元前119年，元狩四年），大将军卫青、骠骑将军霍去病率军大举北击匈奴。李广屡次主动请战，汉武帝以他年迈为由拒绝，后经多次恳求才勉强同意，任命他为前将军（先锋统帅）随军出征。

李广跟随大将军卫青出征匈奴，出塞后，卫青从俘虏口中得知单于驻地，便亲率精锐奔袭，却命令李广与右将军赵食其的部队合并，改从东路进军。东路迂回绕远，且沿途水草稀少，不利于大军驻扎行进。

李广向卫青请命：“我本是前将军，如今大将军却临时调我走东路。我自少年起便与匈奴交战，如今好不容易有机会正面迎击单于，愿为先锋，拼死与单于决战！”

原来，卫青暗中受汉武帝叮嘱，认为李广年老、命数不佳（“数奇”），不可让其直面单于，以免贻误战机。

同时，公孙敖刚失去侯爵，此次以中将军身份随行，卫青有意让公孙敖与自己一同对战单于立功，故而调离李广。

李广得知内情后，坚决向卫青请辞改道，但卫青拒不接受，命长史将调令文书送至李广幕府，严令：“即刻按命令前往右将军部！”

李广未向卫青辞行便愤然率军出发，与赵食其合兵东行。

因缺乏向导，部队迷路，未能按时与主力会师。卫青与单于交战后，单于逃脱，汉军无功而返。回师南归途中，卫青才在沙漠南缘遇到李广、赵食其的部队。

李广面见卫青后返回军营，卫青派长史送来干粮酒水，并质问李广、赵食其迷路详情，声称要上奏武帝禀明战事经过。

李广尚未回应，卫青又令长史催促其幕府官员接受审讯。

李广挺身而出：“众校尉无罪，迷路责任在我。我自会向朝廷呈送文书担责！”

回到军营后，李广对部下慨叹道：“我自少年从军，与匈奴交战七十余次，此番有幸随大将军迎战单于，却遭调遣迂回绕路，又因迷路贻误军机，岂非天意！如今我已六十余岁，岂能再受那些刀笔小吏的羞辱？”

说罢拔刀自刎。

全军将士无不痛哭。百姓听闻李广死讯，无论是否相识，不分老幼皆为之落泪。而右将军赵食其被交付司法审判，按罪当斩，后赎身为平民。