舒玉林，又名金山，1901年12月27日生于湖南省长沙县高沙坪舒家湾。家境贫寒的他从小时起就跟着父亲舒晃秋给地主干活，艰难的生活使他磨炼出天不怕地不怕的倔强性格。12岁那年，他目睹族长舒老五在地里毒打长工，便挺身而出，斥责舒老五不该打人。封建意识颇浓的族长见一个小孩子竟敢干涉自己的行为深感意外，也觉得很没有面子，他顺手给了舒玉林一记耳光。小玉林怒不可遏，猛地一头撞去，将舒老五撞倒在地边的粪池里。他出了这口窝心的闷气后，只身逃到长沙，做了一名木工，后进营造厂当了一名工人。
五四运动爆发后，迅速席卷全国。广大青年学生、爱国知识分子在斗争中亲眼看到工人阶级表现出来的传大力量，于是，纷纷深入到工人中去办工人学校，办工会，启导广大人民的觉悟。1920年11月，舒玉林加入到湖南劳工会，是湖南劳工会的第一批会员。这期间，他经常到劳工会创办的工人夜校学习文化知识，思想进步很快。次年春，营造厂老板以天气阴雨连绵，无法做工为由，解雇了舒玉林等人，后舒玉林遂以打短工为生。
当时，舒玉林和工友仇寿松都住在长沙古城盐仓街小巷的一排破旧小木屋中。一天，仇寿松兴冲冲地跑来告诉他：船山学社有个毛泽东，演讲精彩极了。舒玉林一听，深受感染，恨不得立即就去见到毛泽东。在船山学社，舒玉林一见到毛泽东立即就被其超凡脱俗的风度和气度所吸引。他不仅经常聆听毛泽东的演讲，还和仇寿松一起陪毛泽东到泥木工人中，了解工人生活、思想状况。1922年初，根据毛泽东等的部署，舒玉林和仇寿松带着30多名工人收殓被敌杀害的湖南劳工会领导人黄爱、庞人铨的遗体。亲眼目睹敌人暴行的罪孽，舒玉林对反动军阀的憎恨又添新仇。
同年夏，长沙泥木工人为提高工价举行罢工。在这场斗争中，舒玉林率工人与鲁班庙总管值年进行面对面的斗争，迫使其交出了从工人手里骗取的3000元“交涉费”。还到工人中组织“十人团”，两个月内，组织了108个“十人团”，人数1000余人，初步壮大了工人的力量。10月6日，泥木工会宣布罢工，并成了立了罢工委员会。舒玉林担任了工人纠察队长，率领十几名工人纠察队员，佩戴袖章，打着“文明罢工”的横幅四处巡逻，维持罢工秩序。后又参与组织了全城泥木工人到长沙县署请愿斗争，使这场罢工斗争最后取得胜利。1923年春，舒玉林加入了中国共产党。同年6月1日，舒玉林带领工人纠察队到日清码头查禁日货，遭日军枪击，当场死伤数人。六一惨案发生后，舒玉林积极组织和参加声讨大会、示威游行，还奉命带领工人纠察队日夜巡逻、站岗，保护各界的反帝斗争，并继续查禁日货。
7月，舒玉林受中共湖南区委的派遣，来到新化锡矿山开展革命活动。这时，北伐军进入长沙，形势发展对工人运动有利。经过深入调查矿工的生活劳动状况，舒玉林与先前到矿山工作的仇寿松拟定了以改善劳动条件和增加工人工资为主要内容的几项条件，后经过与矿局的斗争，取得了胜利。
12月，舒玉林出席了湖南全省第一次工人代表大会，当选为大会主席团成员，并向大会作了关于锡矿山工人运动情况的报告，提出了建立工人武装和要求政府惩办工贼的提案。
1927年2月19日，在锡矿山工会第二次会员代表大会上，舒玉林当选为执行委员兼工人纠察总队总队长。
当时，锡矿山除工人纠察队外，还有两支武装。一支是商团—矿山资本家的武装，拥有长枪50余支，驳壳枪9支；一支安集保安团——当地的地主武装，拥有枪支30余支。这两支武装是矿山当局镇压工人的主要工具。舒玉林决定用计拔掉他们。
4月上旬的一个上午，舒玉林先安排工会负责人邹建武给商团士兵作报告，然后派工人纠察队押着一名“犯人”，不容卫兵分说，冲进了商团驻地畴富堂，轻而易举地收缴了商团的全部枪支。然后，将矿工会的一份布告贴满山前山后，布告全文如下：“商团作恶，全山恨心，省会有令，解散士兵；矿山秩序，工会担承，凡我各界，切勿心惊。”接着，他又带领纠察队袭击安集的地主武装，并将其全部缴械。至此，矿山的武装力量，全部控制在工人纠察队手里。
马日事变后，革命形势急转直下，仇寿松和舒玉林回到长沙，转入地下斗争。舒玉林在长沙北门外大贤镇一带农村组织了一支拥有数百人的农民武装，到湘赣边界参加了秋收起义。
11月上旬，舒玉林受党的派遣，到常德任中共湘西特委军事委员。他以做木工为掩护，组织一支农民自卫军，与当地团防武装作斗争。次年6月，特委书记调离，舒玉林继任了湘西特委书记，特委机关就设在常德舒玉林家里。这时，他又以古董商人的职业作掩护，进行地下活动，领导常德、石门、慈利、桃源、澧县、汉寿、临澧、麻阳、溆浦等县党组织的工作，后来，湘西特委机关遭到破坏，他幸免遇难，辗转到了长沙。这时，党组织决定送他到苏联去学习，并发给他300元旅费。他简单打点了行装，就上路了。在途经醴陵时，被叛徒认出。他急中生智，把装着300元的一把雨伞交给那人，才得以脱身。
舒玉林没有了赴苏的旅费，不得不返回家乡。可是，当时湖南当局又正在通缉他，无奈，只得昼伏夜出，到处寻找党的组织。9月15日，为找党组织，他又一次到了长沙，不料在小吴门被叛徒认出。在敌人的酷刑面前，他只有一句话：“好汉做事好汉当，要杀就杀!”并写诗言志：“吾比长江一滴水，永向东流不回头；欲叫吾身不革命，除非海洋水倒流。”
40天后，即1928年10月25日，舒玉林被敌人杀害于长沙识字岭，年仅27岁。