进入大别山后，刘伯承司令员亲自翻山越岭察看地形，选择战场。这是高山铺战役前夕，刘伯承登上浠水三角山顶看地形。
1947年夏，刘邓大军主力千里长驱，直入大别山，把战争引向国民党统治区，揭开了人民解放军由战略防御转入战略进攻的序幕。蒋介石急忙调集重兵追堵，企图乘我立足未稳予以“聚歼”。
10月初，蒋介石在大别山北麓集结7个整编师，对我军进行合围，而在山南地区仅留少部兵力守备。针对这一情况，刘、邓留2个旅在商城、罗山地区伪装主力迷惑敌人；野战军主力则乘虚南下，克黄安(今红安)、占武穴，横扫长江北岸300余里。江北的隆隆炮声使蒋介石异常惊恐，误以为刘、邓主力即将南渡长江，慌忙调兵围堵，其中以整编第40师及整编第52师82旅由浠水沿公路向广济兼程前进，向我侧背进攻。
敌整编第40师原为第40军，是蒋介石西北军的“精锐”部队，全部美式装备。该敌自豫北一路跟至大别山，充当了“追剿军”的急先锋。当时，我南下大军连续行军极度疲劳，非战斗减员严重。部队为便于机动，重武器和车辆已掩埋或炸毁。故该敌更加骄狂，进入鄂东后孤军冒进，尾我第1纵队不放。
刘、邓决定抓住战机，集中10个旅伏歼该敌。为选择有利地形作战，55岁的刘帅亲自登上鄂东三角山勘察地形险要，决定在敌必经的、地形对我有利的蕲春县高山铺以东峡谷地带设一个“口袋阵”，杀它一个“回马枪”，在运动中歼灭这股顽敌。
野战军司令部以第1、第6纵队为第一梯队，由1纵司令员杨勇、政治委员苏振华统一指挥，1纵在高山铺的南、东、北三面占领制高点，布成袋形阵地；6纵尾敌跟进，从后面捅上一刀，扎紧口袋；中原独立旅诱敌钻进“口袋阵”；2纵为预备队；3纵4个团进至广济以东待机，主力在皖西钳制桂系2个师。
10月26日拂晓，天上下起了毛毛细雨，中原独立旅派出小分队扮成游击队，沿公路边打边退，引诱、迟滞敌人。小分队精心设计的“老套筒”“破三八”“汉阳造”杂乱枪声，和破烂的杂色衣着，混乱的行军队形，使敌人确信这是小股游击队，遂放松警惕，大摇大摆地沿公路前进。
1旅接到纵队命令时，全旅高度分散，一时难以集中。部队自进入敌占区腹地以来，无后方依托，所有物资补给都要靠自己解决。当时，1旅正在广济方圆数十里区域发动群众、筹集粮款和部队急需的冬衣。旅长杨俊生令旅司令部迅速用电台、骑传、军号通知部队向高山铺疾军，部队边走边集中、边走边动员。
26日拂晓，1旅接到通报，敌40师已逼近高山铺。旅长杨俊生当机立断，让战士将背包、炊具等非战斗物资放在路边，留下伤员看管，部队轻装跑步前进。
8时30分，1旅2团1营占领蚂蚁山西南无名高地，刚部署就绪，敌前卫部队即到达，并对无名高地展开抢夺，被1营打退。1团赶到时，敌先头部队已进至洪武垴西山腰，1团5连先敌抢占山顶，将敌击退。1团7连的一个排也随即占领界岭制高点。
洪武垴和界岭是敌通往广济咽喉要道上的制高点，也是我必须坚守的堵击阵地，敌我争夺十分激烈。敌在飞机、大炮掩护下，以整连整营兵力，连续向1团5连占领的洪武垴阵地猛攻。5连打退敌多次冲锋，因自身伤亡过大，而此时团主力尚未赶到，阵地又被敌人夺去。11时许，第4连赶到，在第7连的火力支援下，夺回了洪武垴主阵地。午后，1旅后续部队陆续赶到，不断加入战斗，战士们像钉子一样钉在敌东进的各山头要点阵地，把敌人死死关在清水河峡谷之内。
当天，中原独立旅和1纵59团亦粉碎了敌夺占茅庵山、大寨山之企图。6纵第49、第54团各一部组成的先遣队，在17旅参谋长宗书阁的指挥下尾敌前进，于当日黄昏占领了马奇山、李家寨山，适时堵住了敌人的退路，6纵主力正冒雨兼程前进。1纵第2、第19旅也正连夜向高阳山、父子坳方向急进。
26日夜，1纵2旅(欠4团)、19旅相继赶到伏击位置，协同1旅由东面、北面的洪武垴、界岭、蚂蚁山、子女山等阵地，中原独立旅由南面的茅庵山、大寨山等阵地，从三面对敌形成包围。口袋已经形成，就等6纵主力赶到，从背后扎紧口袋了。而此时，6纵还正在赶往高山铺的路上。
刘、邓首长原定总攻时间是27日上午11时30分。但到了上午9时，1纵司令员杨勇接到1旅杨俊生旅长的电话：“敌人溃退了，我已命令2团出击。”杨勇拿起望远镜，只见敌人在2团的攻击下惊恐万状，队形混乱，纷纷向后溃退，整40师已呈败象，杨勇决定趁敌混乱，立即发起总攻。1纵各旅和中原独立旅从三面，居高临下如猛虎下山，冲入敌战斗队形。
在敌后“扎口袋”的6纵先遣队——49团主力和54团2营立刻感到了沉重的压力。敌潮水般向西撤退，涌向先遣队坚守的马奇山和李家寨山阵地，倾其全力夺路逃命。先遣队奋起抗击，部队伤亡很大，战士们的弹药也快打光了。17旅参谋长宗书阁忧心如焚，此时纵队主力还是未赶到。54团2营的李家寨山阵地被敌人攻占，宗书阁刚要让49团增援，望远镜里突然出现一支部队冲上山头。“18旅终于到了！”宗书阁的眼睛都湿润了，他立即命令部队全线出击。
我军以排山倒海之势扑向敌人，敌拥挤在10里长谷，东窜西逃，田埂上、山脚下，凡是有空隙的地方都拥满了四散逃奔的溃兵。人、马、炮、车挤在一堆，乱冲乱撞，乱喊乱叫。许多人摔倒不及爬起便被活活踩死。
战斗至午后胜利结束，共歼敌军12660人，其中俘敌9560人，并缴获大量的作战物资。当我军押送俘虏撤离战场时，蒋介石还从武汉派来飞机，在高山铺上空投下大批馒头、烧饼，支援其“精锐”之师“战斗”。战士们见敌机空投差不多了，无数挺机枪对空开火，一架飞机中弹起火，撞到山坡上摔得粉碎。在山野里捡大饼、馒头的战士们一片欢呼！
高山铺战役是我军进入大别山后取得的第一个重大胜利，对大别山根据地的创立具有重要意义。10月29日，毛泽东亲自拟稿，以中央名义致电刘、邓，庆祝在高山铺地区歼灭敌40师及82旅之大胜利。
