四年后，李广以卫尉作为将军，从雁门出击匈奴。匈奴兵势众多，击败了李广军，活捉了李广。匈奴单于一直都知道李广的贤明，下令要活捉李广。匈奴的骑兵活捉了李广，把他放置在两匹马的中间的网上，李广躺在网上。走了十多里，李广假装死去，偷偷看到旁边有一个匈奴骑兵骑着是匹好马，李广突然跳上匈奴骑兵的马，驱策着马向南跑了数十里，与所属部下回合，回到塞内。数百名匈奴骑兵追击李广，李广用夺来的匈奴骑兵的弓箭射杀追兵，终于逃脱了。李广回到汉朝，朝廷将李广交给官吏处置。官吏认为李广损失重大，又被敌人活捉，应当斩首，后来李广赎为庶人。
镇守边郡
过了几年，李广和退隐住在蓝田县的前颖阴侯的孙子灌强常到南山中打猎。曾经在一天夜里，李广带着一名骑兵外出，跟别人在田间饮酒。回来到了霸陵亭，霸陵尉喝醉了，呵斥阻止李广。李广的从骑说：“这是前任李将军。”霸陵尉说：“现任将军尚且不能夜间通过，何况是前任的呢！”就让李广住宿在霸陵亭下。不多久，匈奴入侵辽西，杀太守，打败韩将军。韩将军转移到右北平，死了。于是皇帝任命李广为右北平太守。李广请求霸陵尉与他一起赴任，霸陵尉来到后李广就杀了他，然后上书自行谢罪。李广在右北平郡，匈奴都称呼他为“飞将军”，躲着李广，数年不敢入侵。
苦战无功
郎中令石建去世了，于是皇上征召李广接替石建作郎中令。元朔六年，李广又调任为将军，跟随大将军卫青的军队从定襄郡出击匈奴。各将领多有杀敌俘敌达到标准因功封侯的，而李广的部队没有功劳。
三年后，李广以郎中令的身份率领四千骑兵从右北平出发，博望侯张骞率领一万骑兵和李广同行，分两路走。走了大约几百里，匈奴左贤王带领四万骑兵包围李广，李广的士兵都很恐惧，李广就派他的儿子李敢快马冲击敌人。李敢独自带了几十名骑兵飞奔而去，直穿匈奴骑兵的包围圈，抄出敌军的左右两翼而回，报告李广说：“匈奴人容易对付。”士兵才安定下来。李广布成圆形阵势，面向着四外，匈奴猛攻他们，箭下如雨。汉兵死亡的超过一半，汉军的箭也快用完了。李广便命令士兵把弓拉开，不要放箭，李广亲自用大黄弩弓射敌人的副将，射死了几个，匈奴人渐渐松懈。恰巧天色黑了下来，军官士兵都面无人色，可是李广的神气同平常一样，更加精神振奋地指挥军队。军中士兵很佩服他的勇气。
第二天，继续奋力战斗，张骞的军队也到了，匈奴军队才解围而去。汉军疲乏了，不能去追击。这时李广几乎全军覆没，只好收兵回去。按汉朝的法律，张骞耽误了预定的日期，当处死刑，出钱赎罪，降为平民。李广的军功和罪责相当，没有封赏。
后悔杀降
李广曾和星象家王朔私下闲谈说：“自汉朝攻匈奴以来，我没一次不参加，可各部队校尉以下军官，才能还不如中等人，然因攻打匈奴有军功几十人被封侯。我不比别人差，但没有一点功劳用来得到封地，这是什么原因，难道是我的骨相不该封侯吗？还是本命如此呢？”王朔说：“将军回想一下，曾有过悔恨的事吗？”李广说：“我任陇西太守时，羌人反叛，我诱骗他们投降有八百多人，我用欺诈手段一天把他们杀光了。直到今天我最大的悔恨只有这件事。”王朔说：“能使人受祸的事，没有比杀死已投降的人更大的了，这也就是将军不能封侯的原因。”
历任七郡
李广历任七个郡的太守，前后四十多年，得到赏赐立即分给部下，饮食与士兵一起。家裹没有多余财物，一生不谈购买产业的事。李广身材高大，长臂，具有善射箭的天赋，就是子孙和其他人向他学习射箭，也都赶不上他。李广寡言，不与人多说话，和别人在一起住，就在地上画作战阵图，射箭比射的面宽窄，输了罚酒喝。专门以射箭作游戏。带兵行军，遇到断粮缺水时，见了水，士兵不全喝到水，他不近水边，士兵不全吃上饭，他不尝一口饭。对待士兵宽厚不苛，士兵因此喜欢替他办事效力。他射箭，看见敌人，不到几十步之内，估计射不中就不射，一射就要应弦倒地。因此，他带兵作战，多次被敌人围困，连射猛兽，也几次被伤害过。
迷道自尽
公元前119年（元狩四年），汉武帝发动漠北之战，由卫青、霍去病各率五万骑兵由定襄、代郡出击跨大漠远征匈奴本部，李广几次请求随行，汉武帝起初以他年老没有答应，后来经不起李广请求，同意他出任前将军。
汉军出塞后，卫青捉到匈奴兵，知道了单于驻地，就自带精兵追逐单于，而命令李广和右将军队伍合并，从东路出击。东路迂回绕远，而且缺乏水草，势必不能并队行进。
李广就请求说：“我的职务是前将军，大将军却命令我从东路出兵，况且我从少年时就与匈奴作战，至今才得到与匈奴对阵的一次机会，我愿做前锋，先与单于决战。”卫青曾暗中受到汉武帝警告，认为李广年老，命运不好，不让他与单于对阵，恐不能实现俘获单于的愿望。
当时公孙敖刚刚丢掉了侯爵任中将军，随卫青出征，卫青也想让公孙敖跟自己一起与单于对敌，故意把李广调开。李广也知道内情，所以坚决要求卫青改调令，卫青不答应，命令长史写文书发到李广的幕府，对他说：“赶快到右将军部队中去，照文书上写的办。”
李广不向卫青告辞就启程了，心中非常恼怒地前往军部，领兵与赵食其合兵后从东路出发。军队没有向导，有时迷路，结果落在卫青之后，卫青与单于交战，单于逃跑，卫青没能活捉单于只好收兵。卫青南行渡过沙漠，才遇到李广与赵食其的军队。李广谒见大将军后回自己军中。
卫青派长史送给李广干粮和酒，顺便向李广、赵食其询问迷路情况，卫青要给汉武帝上书报告军情。李广没有回答。卫青派长史急令李广幕府人员前去受审对质。李广说：“校尉们无罪，是我迷失道路，我现亲自到大将军幕府去受审对质。”到大将军幕府，李广对他的部下说：“我从少年起与匈奴作战七十多次，如今有幸随大将军出征同单于军队交战，可是大将军又调我的部队走迂回绕远的路，偏偏迷路，难道不是天意吗？况且我已六十多岁，毕竟不能再受那些刀笔吏的污辱。”于是就拔刀自刎了。李广军中将士都为之痛哭。百姓听到这个消息，不论认识李广否，不论老少都为之落泪。