1938年，卡拉什尼科夫应招入伍，参加苏联红军。他的设计技巧被用来改良苏联坦克部队使用的武器和装备。1941年10月，卡拉什尼科夫指挥的一辆坦克被一颗德国炮弹击中，他本人因此受重伤。自那以后，他开始设计这种后来让他出名的武器。