部署完毕后，刘伯承和邓小平立即亲临羊山集前线，指示陈锡联、陈再道要亲自到前沿查看地形，仔细分析一下为什么攻不下来，并与指战员一起研究新的打法，以期尽快把敌人消灭。二纵司令员陈再道总结了前三次攻山的得失后，向首长建议，二纵和三纵最好能统一指挥。刘、邓首长接受了这一建议，将三纵也交予陈再道临时指挥。陈再道当场立下军令状:下次如果不能活捉宋瑞珂，我就解甲归田。刘伯承和邓小平随即决定:7月26日对羊山发动总攻。但7月25日夜里又下起大雨，壕沟里灌满了雨水，掩体工事被冲垮，总攻计划只好推迟到27日。
7月27日下午6时30分，我军首先开始炮击。炮击进行了40分钟后，我攻山部队突破了敌人的一道道强固防线，从四面八方向羊山山顶涌来。敌人拼命顽抗，敌我双方都付出了大量伤亡。
27日晚12时，“羊腰”等制高点被我军占领，宋瑞珂多次进行反扑，均被打退。我军在山峰上居高临下，火力网控制了山坡和羊山集，把敌整编六十六师分割包围。
宋瑞珂急切要求援军迅速赶到。蒋介石还特意派飞机投来他的亲笔信。信中写道:“羊山苦战，中正闻之忧心如焚。望吾弟转告部下官兵暨诸同志，目前虽处于危机之时，亦应固守到底，援军日驰夜骋，不时即到，希弟信赖上帝庇佑，争取最后五分钟之胜利。”然而，与蒋介石和宋瑞珂的愿望相反，敌援军王仲廉部7月25日明明已经到了距羊山仅仅100多里的定陶县冉固集，但他怕钻进刘伯承的“口袋阵”，结果每天只让部队走10华里。而敌王敬久部虽近在咫尺，但并不肯接近羊山一步，只是不停地发给宋瑞珂即将赶到的电报。对此宋瑞珂哀叹道:“战不胜，守不固，非吾之罪也。”到28日中午，羊山的所有制高点都已被突破，宋瑞珂知道大势已去，便下令放弃抵抗。至此，羊山战役胜利结束，国民党整编六十六师2万多人被全歼，宋瑞珂也做了俘虏。
战役结束后，我刘邓大军挥戈南进大别山，直捣国民党统治的核心地区，标志着中国人民解放军由战略防御转入战略进攻的正式开始。为纪念此次战役，刘伯承赋诗一首:“狼山战捷复羊山，炮火雷鸣烟雾间。千万居民齐拍手，欣看子弟夺城关。”
敌整编六十六师师长宋瑞珂，山东青岛人，黄埔军校第三期步科毕业，曾参加了平定滇桂军阀杨希闵、刘震寰的叛乱以及东征和北伐战争。抗战爆发后，历任国民党第十四师副师长、第十八军一九九师师长、第九军副军长、第六十六军军长，先后参加过淞沪抗战、武汉会战、枣宜会战、常德会战等对日战斗。抗战胜利后，第六十六军改编为整编六十六师，宋瑞珂任师长。该师系蒋介石的黄埔嫡系精锐，配置一流的武器装备，和张灵甫的整编七十四师比起来，除编制配额略少外，装备和战斗力一点也不逊色。宋瑞珂被俘后，先后在解放军教导大队和监狱学习、改造，1960年11月28日，被最高人民法院特赦释放。“文革”后先后被选为中国国民党革命委员会监察委员、上海黄埔军校同学会会长和上海市政协委员。1995年逝世，享年88岁。
