后来，汉朝用马邑城作为诱饵引诱匈奴单于，派大军埋伏在马邑附近的山谷中，李广被任命为骁骑将军，隶属于护军将军（韩安国）指挥。然而单于察觉了汉军的计谋，中途撤退，汉军无功而返。

四年后，李广以卫尉身份担任将军，率军从雁门关出击匈奴。匈奴兵力强大，击溃了李广的军队，并活捉了他。

单于素来听闻李广的才能，下令说：“抓到李广必须活着送来！”

匈奴骑兵俘虏李广时，他正因受伤患病，被安置在两匹马中间，用绳索编成的网兜托着行进。走了十多里，李广佯装死去，暗中瞥见旁边有个匈奴少年骑着一匹好马，他突然跃起跳上少年的马背，将少年推落，夺下弓箭，策马向南狂奔数十里，重新集结残部，带着他们撤回边塞。匈奴派出数百骑兵追击，李广边逃边用夺来的弓箭射杀追兵，最终得以脱身。

回到汉朝后，朝廷将李广交给司法官吏审判。官吏判定他损失惨重且被匈奴活捉，按律当斩，李广用钱赎罪后被贬为平民。

不久，李广在家闲居数年。他与前颍阴侯的孙子隐居在蓝田南山中打猎。一天夜里，他带一名随从外出，在田间与人饮酒。返回时路过霸陵亭，霸陵尉喝醉了酒，呵斥李广禁止通行。

随从说：“这是前任李将军！”

霸陵尉却道：“现任将军尚且不得夜行，何况是前任！”强行扣留李广在亭中过夜。

没过多久，匈奴入侵杀死辽西太守，击败韩安国将军，朝廷将韩安国调任右北平太守。