越来越多的唐军也跳上城头，灵石守军再也难以抵挡，纷纷败撤入城。
但是李渊也付出了惨重的代价，二十万大军连跑带死的，只剩下下了十二万人左右。
“高德儒呢？”入城的李渊问道。
“退守县衙之中。”浑身浴血的刘弘基回道。
李渊咬着牙，“给我屠了灵石！”
红着眼睛的刘弘基等人立即转身而出，“大将军有令，屠灵石城，鸡犬不留！”
李建成、李世民赶来阻止时，命令已经下达，处处都是为恶的‘义军’。兄弟二人相视苦笑：屠杀令开了头，接下来的城镇必将誓死抵抗，仗变得不好打了！
是日，灵石城中两万多军民，尽被屠光，鸡犬不留。
不出李氏兄弟所料，大军南下之际，在贾胡堡又遇到了顽强的抵抗！僵持四天之后，唐军付出了三万余人的代价，这才拿了下来。这一回，吃了教训的李渊不敢再屠城了！
但更大的麻烦出现了。
由于他们耽搁了太多时间，给了大隋从容布防的时间，摆在他们面前的霍邑县地势艰险，扼住了南下的必经之路！守军也不再是普通的府兵、郡兵，而是由沙场宿将宋老生带领的两万禁兵。
李世民认为宋老生虽被代王信任重用，并不是他有军功，实因他是卫玄的门生，是靠资历熬上来的！如今卫玄已老，屈突通又威胁到了他的地位，所以，他一定急于立功来证明自己。
李渊采纳了李世民的意见，利用宋老生立功心切的特点，以自己为诱饵，带领七千精兵劝降。却命李建成、李世民于中途设伏，只要把宋老生引出城外，便伺机夺城。
宋老生果然上当，他见招降的是李渊本人，他心中大喜，表面上答应投降，实则是整顿军队杀向李渊。
李渊吓得掉头便逃，七千军护卫着他向北奔逃，宋老生哪里肯舍，率大军追击，他的兵力远不如李渊，只有这种机会才可能使以弱胜强，但这种机会只有一次，失去了便再也没有。
于是在霍邑城下，宋老生与李渊大战，宋老生带来的两万大军都是有经验大隋禁兵，久经沙场，在宋老生的带领下以一当十，杀的李渊叫苦不迭，连连后撤。
潜伏树林之中的李建成、李世民兄弟放过宋老生大军，直扑霍邑。
宋老生追杀不到十里，便有士兵惊骇大喊：“宋将军，霍邑县城楼大火。”
宋老生一回头，果真看到北城城楼火光冲天，浓烟滚滚，他意识到自己上当了。
两万隋军调头向城池奔去，这时李渊亲率大军赶到，挥兵掩杀而来，宋老生见军队已无法入城，不由大怒，喝令道：“三军列队，和叛军决一死战！”
两支军队在霍邑县北面展开了血战，隋军终因寡不敌众而失利，全军覆没，宋老生被刘弘基率数百人包围，宋老生誓死不降，力竭战死。
被依为铁壁的河东重镇霍邑，因为卫玄的用人不当，不到半天时间就失守了。
李渊将霍邑的残兵收入囊中，大军又变成了十二万人马，对于那些不想打仗的士兵，李渊都封了他五品散官，让他回家很快就收了这些人的军心，就是那些离开军队，回到关中的士兵也说李渊仁义。
事实证明，安抚手段比屠城更让李渊好处更多万倍，因为他的“仁义”，在他接下来的进军中势如破竹，一路连克临汾郡、龙泉郡、绛郡、文城郡，而上党郡、长平郡只取得一部，因为闻讯的薛万淑、杨善会先一步入境，夺下了此之二群的战略要地。
至此，太原以南除重兵把守的河东郡、河内郡外，其余各郡绝大多数被李渊军队占领。
大业十三年十二月中旬，李渊派李建成、李孝恭领兵，分别与薛万淑、杨善会交战，而刘弘基由绛郡进军河内，与裴仁基对峙于河内郡；亲率十五万大军进攻河东郡。
此时，屈突通率四万赶到河东城，又见郇王杨庆先一步率一万骁果军入驻，且募到了两万兵士，屈突通顿时信心大增。一边布防，一边派人向西京说明战况。