不久后，石建去世，汉武帝便召李广接替其职，担任郎中令。

元朔六年（公元前123年），李广再次被任命为后将军，随大将军卫青从定襄郡出兵攻打匈奴。此战中，许多将领因斩杀敌首数量达标而封侯，唯独李广的部队无功而返。

两年后（公元前121年），李广以郎中令身份率领四千骑兵从右北平出击，博望侯张骞率一万骑兵与其分路进军。

李广部队行进数百里后，匈奴左贤王率四万骑兵将其包围，汉军士兵惊慌失措。

李广命儿子李敢率数十骑兵直冲敌阵，穿透匈奴骑兵的左右两翼后返回，李敢回报：“匈奴人容易对付！”军心这才稳定。

李广命士兵布成圆形防御阵型，面向外围，匈奴猛烈进攻，箭如雨下。汉军死伤过半，箭矢即将用尽。李广下令士兵拉满弓弦但不放箭，自己亲自用大黄弩（强弩名）射杀匈奴副将数人，匈奴攻势稍缓。时至日暮，将士们面如土色，李广却神色自若，从容指挥，全军由此钦佩他的胆魄。

次日，汉军拼死奋战，恰逢张骞援军赶到，匈奴撤围退去。此时汉军已疲惫不堪，无力追击。此战李广部队几乎全军覆没，只得撤回。

按汉朝律法，张骞因延误行军、未按期会师，论罪当斩，后赎罪贬为平民；李广虽杀敌数量与损失相当，功过相抵，未得封赏。

当初，李广的堂弟李蔡与李广一同侍奉汉文帝。景帝时期，李蔡累积军功升至二千石俸禄的官职。汉武帝时，官至代国丞相。

元朔五年（公元前124年），李蔡以轻车将军身份随大将军卫青攻打匈奴右贤王，因战功达标，被封为乐安侯。

元狩二年（公元前121年），他接替公孙弘担任丞相。李蔡的才能仅属中等，名声远不及李广，然而李广一生未能获得爵位封邑，最高官职不过九卿，而李蔡却位列侯爵，官至三公（丞相）。就连李广手下的军官士兵中，也有不少人因军功封侯。

李广曾私下与占卜师王朔闲谈，问道：“自汉朝与匈奴开战以来，我未尝缺席任何一场战役。许多部下才能平庸，却凭军功封侯数十人。我自认不落人后，却始终未能因尺寸之功得封侯爵，这是为何？难道我面相不配封侯？还是命中注定？”

王朔反问：“将军可曾做过令自己悔恨之事？”

李广叹道：“我曾任陇西太守时，羌人叛乱，我诱降八百余人，却在同一天背信将他们全部杀害。至今唯有此事令我悔恨难消。”

王朔道：“最大的灾祸莫过于杀害降卒，这正是将军不得封侯的缘由。”