李广将军是陇西郡成纪县人。他的先祖李信在秦朝时任将军，曾追获燕太子丹（即荆轲刺秦后燕国派刺客的主谋）。李家原籍槐里，后迁至成纪。李氏家族世代传承射箭技艺。

汉文帝十四年（前166年），匈奴大举入侵萧关，李广以良家子弟身份参军抗击匈奴，凭借高超的骑射本领斩杀众多敌军，被任命为汉中郎。其堂弟李蔡也任郎官，两人都担任武骑常侍，俸禄八百石。

李广曾随文帝出行，多次冲锋陷阵、突破险关以及与猛兽搏斗，文帝感慨道："可惜啊！你生不逢时！若是在高祖争霸天下的时代，封个万户侯又算得了什么！"

汉景帝即位初期（前156年），李广升任陇西都尉，后调任骑郎将。吴楚七国之乱时（前154年），李广担任骁骑都尉，跟随太尉周亚夫平定叛乱，在昌邑城下夺旗立功。但因私下接受梁王授予的将军印信，班师后未获封赏。改任上谷太守期间，每日都与匈奴交战。

典属国公孙昆邪向景帝泣谏："李广才气盖世，但自恃勇猛屡次与匈奴正面交锋，臣担心他会战死沙场。"

于是改任上郡太守。此后李广相继担任陇西、北地、雁门、代郡、云中等边郡太守，皆以骁勇善战闻名。

匈奴大举入侵上郡，汉武帝派遣一名宦官随李广整训军队抗击匈奴。这位宦官率领数十骑兵纵马出巡，遭遇三名匈奴骑兵，双方交战。匈奴人回身射箭，射伤宦官，几乎全歼其随从骑兵。

宦官逃回李广处禀报，李广断言："这定是匈奴射雕手！"

当即亲率百名骑兵追击。

三名匈奴人弃马步行，已逃出数十里。李广指挥骑兵分左右两翼包抄，亲自张弓射杀其中两人，活捉一人，果然是匈奴精锐射雕手。刚将俘虏捆上马背，忽见远处有数千匈奴骑兵，对方发现李广小队后，误以为是诱敌之兵，急忙退至山头列阵。

李广的百骑部下惊恐欲逃，李广制止道："我们距大营数十里，此刻若策马奔逃，匈奴必追击射杀殆尽。但若留驻此地，匈奴反会疑心我们是诱饵，不敢轻举妄动。"