创建冀鲁豫边区抗日根据地
1939年冬，中央军委电示杨得志：冀鲁豫边区战略地位极为重要，要坚持边区抗日游击战争，建立边区抗日根据地。冀鲁豫边区所辖的直南、豫北、鲁西南等地区，处于平汉、陇海两条铁路干线的交会处，虽然地区不大且狭长，却是华北与华中抗日根据地的连接枢纽，也是太行与鲁中两大山岳地带抗日根据地的连接枢纽，战略地位十分重要，不论是日军还是顽军，都志在必得。在此创建根据地，面临着复杂而残酷的斗争。
1940年春，杨得志奉命率部向顽军丁树本等部发动大规模讨伐。杨得志制定了一个讨伐方案：用“联合”的名义，派部队到与丁树本有联系的县驻防，待机行动，各个击破。一切准备好后，杨得志便和丁树本“摊牌”，揭露他依靠日寇，妄图挤走、挤垮八路军的反动计划。丁树本拒不认账，杨得志便指挥部队从各地同时发起进攻，打得丁树本措手不及。丁树本的2万多人及地方顽军大部分被歼灭，他只得携残部逃往豫西。
2月初，石友三部投靠日军，向北反扑冀鲁豫边区的濮阳。杨得志指挥支队对石部发起讨逆战役，5次战斗歼敌2500余人，俘敌800余人，缴获枪支800余支，给石部以沉重打击。
随着反顽击叛斗争的胜利，直南、豫北、鲁西南党组织广泛发动群众，初步实行民主、改善民生，建立抗日民主政权，并在此基础上，于4月17日成立了冀南六县专员公署，4月30日建立了冀鲁豫区党委。
4月23日，黄克诚率领新组建的八路军第二纵队主力由太行来到冀鲁豫边区，与冀鲁豫支队统一整编，杨得志任第二纵队司令员。同时，成立了冀鲁豫军区。至此，包括直南、豫北、鲁西南地区的冀鲁豫边区抗日根据地初步形成。
6月，日军1万多人“扫荡”冀鲁豫边区。杨得志指挥部队打了整整13天，歼灭敌人大批有生力量。不久，黄克诚奉命率第二纵队和由原冀鲁豫支队改编的新二旅到华东加入新四军，冀鲁豫的部队只剩下3个团。由于日寇接连不断的大“扫荡”，各分区的部队都在独立作战，军区能掌握的地方武装很少，要战胜多于八路军几十倍的敌人，困难很大。这时，中央军委来电，征求杨得志等人的意见，是继续留在原地坚持斗争，还是去苏北地区发展根据地。杨得志知道，这是中央体谅他们的困难，但他更知道，开辟冀鲁豫边区这块根据地确实不容易，他不能离开这片洒着烈士鲜血、埋着烈士忠骨的土地。杨得志等向中央发电，决心同冀鲁豫人民一起坚持抗日斗争。
黄克诚离开以后，杨得志任新组建的第二纵队司令员兼冀鲁豫军区司令员。1941年3月，敌人在华北推行第一次治安强化运动。4月12日，日军1万余人、伪军1万余人对濮阳、内黄、滑县交界处的沙区进行“铁壁合围”。杨得志率领纵队机关和主力一部突出重围，跳到鲁西观城县。然后，奔袭敌人后方清丰县城及周围据点。这一行动，打破了敌人的部署，缩短了敌人原定的“扫荡”时间。这一次大“扫荡”之后，冀鲁豫边区敌情更为严重，周边地区驻有敌人重兵，根据地有日伪军7万多人，第二纵队的回旋余地越来越小，斗争形势更为严峻。7月中旬，为了统一冀鲁豫平原抗日斗争力量，中共北方局、八路军总部决定，冀鲁豫边区和鲁西区合并为新的冀鲁豫边区，杨得志任第二纵队司令员、区党委委员。两区刚一合并，杨得志和政委苏振华就主持召开了边区军队高级干部会议，研究严峻形势下的军事斗争问题。
1942年秋，日寇对冀鲁豫地区又开始了“铁壁合围”式的大“扫荡”。9月25日，日军分别在山东省聊城、莘县、郓城、巨野、济宁及河南省濮阳等地集结兵力，于26日夜间，秘密向冀鲁豫军区中心区合拢，27日拂晓到达预定位置，形成了以河南省范县单堂村为中心半径约30公里的包围圈。杨得志紧急指挥军区领导机关向外线转移，于当日下午越过黄河故道到达南华地区。接着，部队经过18天的浴血奋战，打破了敌人的“铁壁合围”。
