清朝同治皇帝登基后，在十几年内先后平定了太平军、捻军和云南的战乱，国内重归统一，军队也买了些洋枪洋炮，朝野上下出现一片对“同治中兴”的颂扬之声。直至1894年甲午战争爆发后，清王朝惨败，终至“吾国四千余年大梦之唤醒”。

一直自诩“天朝上国”的清王朝，竟被东洋“蕞尔小邦”打得一败涂地，国人不得不重新审视日本。决策者终于认识到自己军制、战术的落后，光绪皇帝提出练兵是“救时第一要务”，同意依照德国教习汉纳根的建议，在天津编练7000人的“定武军”，并交由袁世凯督办。两江总督张之洞也在南京编练一支2800人的“自强军”，并以重金聘请35名德国军官为军事教练。但这种把军权拱手让给外国人的做法，招来广泛批评。在戊戌变法后，这些“洋军官”被遣送回国，自强军北调天津小站同定武军合并为“新建陆军”，从此迎来了中国近代军事史上的一个重要转折——小站练兵。

编练西式军队，需要一大批懂得外国军事典章条令的军官。此前，清军只有少数海军的管带在英国留过学，北洋武备学堂仅派过有限几人出国考察，陆军统兵官不是出身旧式行伍就是世袭官位，顶多了解点外国枪炮的操作，对其战术则是一窍不通。

清廷要员们了解到日军是通过模仿德军强大起来的，便认为学“东洋”可以成为学“西洋”的捷径，加之当时赴德费用太高，而赴日留学旅费和生活费则同国内远途上学相仿，于是国内很快掀起了留学东洋的热潮。从1898年张之洞派学员赴日见习陆军开始，至1905年时，中国赴日学生已逾万名，入军校者超过2000人。鲁迅先生的文章中也曾描写道，在赏樱时节，东京街头能见到成群结队留辫子的“清国留学生”。

自1901年实行“新政”开始，清政府计划在国内建立36个镇（师）新军，结果此后十年间只建成14个镇和一些混成协（旅）的军队，共20余万人。年轻的留日学生回国后便在军中担任要职，如蔡锷26岁时就被任命为广西新军总教官和讲武堂总办，李宗仁就是他的学生。阎锡山留日回乡后，28岁就担任了驻晋新军主力标（团）的标统（团长）。蒋百里留日后再留德，回国后仅30岁就担任了全国最高军事学府保定军校的校长。孙传芳、许崇智等在归国后，也很快担任了标一级军官。

这批赴日军事留学生在新军和新建的学堂任职期间，均按照德日条令和战术操典实行编练，军装也仿照日式，并采购德式武器或在汉阳兵工厂等处仿造。1909年，北洋新军在河北进行演习，前来观看的各国武官都感慨地说，这支军队与过去宽衣大袖的兵勇完全不同，是有着近代化军装和武器的部队。从这时起直至20世纪30年代，中国军队、军校的战术教范都基本使用日本的《步兵操典》，甚至到蒋介石掌权时他还要求下属在衣兜里都要装一本以便阅读。

然而新军的建立，最终并未实现救亡图存的目的。当时的中国陆军全盘照搬日军战术，20世纪30年代的民国上将中有三分之二曾就读于日本士官学校，他们在指挥对日作战时大多打败仗，这也是徒弟抄袭师傅而无创新的必然结果。新军的建立开启了中国军队现代化的历程。许多留日学生在东京加入了孙中山的同盟会，而在新军的任职者中又有许多参加了辛亥革命，在政治和军事上均推动了中国的进步。毛泽东在1954年国防委员会第一次会议上说，“中国军队的近代化，我看可以分作三个阶段”“第一代是清朝末年搞的新军”。晚清编练新军的开端作用，还是值得后人充分肯定的。