东北抗日联军成立之后，强有力地打击了日本侵略者，动摇了侵略者的大后方，日本侵略者不得不调集大批部队一次又一次进行疯狂地“讨伐”，实施“三年治安肃正计划”；加之抗日联军与上级党组织失去了联系，地方党组织遭到毁灭性破坏，山上密营损失殆尽，粮食、药品、盐等给养完全断绝，许多优秀的指战员壮烈牺牲，部队损失惨重。从1939年到1940年，东北抗日联军的游击战争转入极端艰苦的斗争阶段。但是东北抗日联军的意志没有被打垮，抗联部队缩编，开展小型游击战争，保存了一部分精华和骨干力量，进入苏联境内整训。在苏联整训期间不断派小部队深入中国抗联游击区进行游击战，直到1945年8月，他们配合苏军重新进入东北，在解放东北的斗争中起到了重要作用。
中共中央对东北抗日联军的艰苦斗争给予了很高的评价，1938年11月，中国共产党扩大的六届六中全会给东北同胞的电文中称赞东北抗日军队是:“在冰天雪地与敌周旋7年多的不怕困苦艰难奋斗之模范。”
1948年1月1日，中共中央东北局曾专门做出决定，表彰东北抗日联军的历史功绩，称赞东北抗日联军的英勇斗争“是中国共产党光荣历史不可分割的一部分”。1949年5月，中共中央给东北局的电文中再次指出抗联斗争是光荣的，称“此种光荣历史应受到党的承认和尊重。”
东北人民革命军根据中共中央、中华苏维埃中央政府1935年8月1日发表的《为抗日救国告全体同胞书》的精神，于1936年2月，陆续改为东北抗日联军。原人民革命军6个军依次改为东北抗日联军第1至第6军，以后又陆续组建了第7至第11军。第7军，军长陈荣久，政治部主任郑鲁岩，活动于饶河、虎林、抚远地区；第8军，军长谢文东，政治部主任刘曙华，活动于依兰、方正、勃利地区；第9军，军长李华堂，政治部主任王克仁，活动于勃利、依兰地区；第10军，军长汪雅臣，政治部主任侯启刚，活动于五常、舒兰地区；第11军，军长祁致中，政治部主任金正国，活动于桦川、富锦地区。此时，抗日联军发展到3万余人。
中共南满、吉东、北满省委成立后，抗日联军先后改编成第1、第2、第3路军，分别归三省省委领导。第1路军于1936年7月组成，辖第1、第2军，总指挥兼政治委员杨靖宇，副总指挥王德泰、魏拯民；第2路军于1938年春组成，辖第4、第5、第7、第8、第10军，以及王荫武领导的救世军、姚振山领导的义勇军，总指挥周保中，副总指挥赵尚志；第3路军于1939年5月组成，辖第3、第6、第9、第11军，总指挥李兆麟，政治委员冯仲云。1936年4月，日军推行“三年治安肃正计划”，对抗日联军进行大规模“讨伐”。抗日联军各军在反“讨伐”作战中，密切协同，更加广泛地开展游击战。1936年下半年，第1军为粉碎日伪军在南满的“讨伐”，打通与关内红军的联系，组织两次西征，于本溪县赛马集和摩天岭，歼灭伪军1个营和日军今田中队。第2军于抚松、长白地区多次伏击日伪军，在穆棱县代马沟伏击日军列车，毙伤日伪军300余人。是年冬，王德泰在抚松县小汤河战斗中英勇牺牲。第3军为打破日军对松花江两岸的“讨伐”和开辟新的游击区，主力由汤原地区出发，西征至海伦地区，另一部北进至嘉荫地区。历时半年多，转战数千里，战斗百余次，在袭击林口、攻克佛山(今嘉荫)县城和海伦县冰子等战斗中，毙伤俘日伪军1100余人。
