孙小山，1891年1月11日生于湖南省醴陵城关镇(今醴陵市)丁家坊。其父孙兰芳是个勤劳朴实的农民，为人正直，乐于助人。他家靠近大路，每到寒冷季节，常备有床板棉被，免费借过路穷人歇宿，还为赶夜路的送上一个火把。盛夏，他家总要烧一大缸茶水，方便过路人渴了时饮用，从不收费。父母亲这种乐善好施、济困帮危的行为，对孙小山影响很深。他从小喜欢穷邻乡亲，与他们一块说话投机，心心相印；而对有钱有势的富人却不屑一顾，羞于为伍。他有个远房舅父，是个财主，在县衙供职，常来找他做些缮写文稿的事，孙小山总是避而不见，并对母亲说：“这个人利欲熏心，行为不正，我很讨厌他。”
孙小山十分崇拜英雄人物，推尚气节，他常给学馆里的儿童讲秋瑾、徐锡麟等革命党人的故事，启发和培养儿童的爱国心和民族正义感。就连后来成为中国共产党的重要领导人，无产阶级革命家的李立三(当时叫李隆郅)，就曾受其教诲和影响。李立三后回忆道：“孙小山激昂慷慨的讲述，极大地震动了我刚刚八九岁的童心”，并一直认为孙小山是自己走向民主主义的启蒙教师。因此，李立三1954年回醴陵视察工作时，还特地拜谒了孙小山的陵墓。
辛亥革命的前夜，孙小山为寻求救国救民之路，辗转到了广州，找到了在军界任职的舅父，在军界混了个差事。舅父留日期间，加入孙中山的同盟会。在舅父的影响和介绍下，不久，孙小山也加入了同盟会。辛亥革命后，孙小山回到醴陵当小学教师，后到县立中学当庶务，1924年冬在该校加入共产党，成为醴陵最早的党组织——中共醴陵特别支部的成员之一。国共合作期间，他以个人身份参加了国民党。
孙小山在县立中学工作期间，积极在进步学生中宣传马克思主义，引导学生成立进步社团，相互激励进步，踊跃投身爱国斗争。他曾帮助、支持陈恭、陈觉、左权、宋时轮等30多名学生组织社会问题研究社，学习革命理论，参加爱国活动。1925年五卅惨案发生后，他动员学生走出课堂，查禁日货，募集捐款，唤起民众参加反帝爱国斗争。这年冬，中共醴陵地方执行委员会成立，他被选为执委委员。
1926年7月中旬，北伐军势如破竹，长驱直入醴陵境内。负责北伐军招待处工作的孙小山，更是忙得不亦乐乎，他走东家串西家，一会儿到工厂，一会儿到学校在做好部队物资供应和驻地的安排的同时，还发动和组织工人、农民、学生组成宣传队、慰军队、担架队、茶水队，积极开展支援北伐的活动，街头巷尾到处都留下了他忙碌的身影。他出色的工作赢得了大家的一致拥戴，在国民党醴陵全县代表会议上，他当选为县党部执行委员。为解决县党部的办公用房，他和张幄筹等一起，要求县议会交出房屋，得到广大群众和上层正直人士的支持。醴陵县农民协会成立时，他担任了执行委员长。在他的领导下，各区乡也普遍建立了农民协会，会员由上半年的17万人发展到58万人。
孙小山还兼任中共渌口埠委书记，与县总工会代委员长陈炳生、北二区区委书记易学咏、北二区农协委员长旷家喜密切配合，相互支持，迅速打开了全区工作局面，发展了一批党员，建立了党的基层组织。随后，又建立了渌口总工会，会员达3000多人。同时，农会的声势也不断扩大，当地农民总数的95%都成了农会会员。
在农会工作中，孙小山除了领导农民实行减租减息、禁赌禁鸦片外，还领导农民同封建势力展开了斗争。他们清算了劣绅易松生经管公堂、祠产所贪污的3000多元，责令全部退出；发动群众挑走土豪陈兰阶囤积的一仓稻谷；收缴易开斌私设烟馆的烟土和烟具。当时，这一带封建迷信盛行，地主老财常以修庙敬神为由，敲百姓的竹杠，许多百姓也跟着他们修庙拜神。有的人还故弄玄虚，说曾见过某某神灵，还有的人说伏波庙就常有神仙显灵。孙小山意识到，不破除迷信，就很难把群众发动起来。于是他发动农协会员将渌口伏波庙以及其他大小20多座庙里的菩萨堆到一个角落。这是渌口农民用自己的手打掉神权枷锁的一场伟大斗争!这一革命举动很快波及全县，并受到前来考察农运的毛泽东的赞扬、支持。1927年3月，毛泽东在《湖南农民运动考察报告》中写道：“醴陵禁迷信、打菩萨之风颇盛行。北乡各区农民禁止家神老爷(傩神)游香。渌口伏波岭庙内有许多菩萨，因为办国民党区党部房屋不够，把大小菩萨堆于一角，农民无异言。自此以后，人家死了人，敬神、做道场、送大王灯的，就很少了。这事，因为是农会委员长孙小山倡首，当地的道士们颇恨孙小山。”不久他被调回县城，负责领导全县的农民运动。
孙小山在领导农民运动的实践中，深深地感到掌握枪杆子的重要性。因此，他全力支持潘疆爪建立农民自卫武装，因而农民自卫军在县及各区乡都普遍建立起来。醴陵农民自卫武装不仅有力地保卫了农民协会的胜利果实，还参加过醴陵、攸县、茶陵三县联合讨伐湘东保安司令罗定的战斗。孙小山还组织醴陵各公法团体多次派代表赴省请愿，处决了血债累累的县团防局局长，并取缔了县团防局，为醴陵人民除了一害。4月10日，他根据醴陵县审判土豪劣绅特别法庭的判决，在县城召开了数万人参加的大会，宣布处决反革命分子黄励吾。他的大刀阔斧的革命举动，使农民协会声威大振，农民群众也扬眉吐气，封建势力受到极大打击。1927年春，他还领导在全县进行了土地丈量，并在南四区、西一区部分乡村，试行土地分配工作。
长沙马日事变发生后，中共湖南临时省委指示农军进攻长沙。孙小山就与潘疆爪、罗学瓒、罗启厚等组织农军向长沙进发。在易家湾与敌人打了一仗，因形势发生了变化，他们奉命撤退转移到了安源。9月初，当毛泽东到达安源，着手组织领导秋收起义时，他带领醴陵在安源的工农武装，编入了工农革命军第1军第1师第2团。10日晚，第2团从安源出发，进攻萍乡，11日直取老关，12日下午攻占醴陵县城，在醴陵建立了工农革命政权——中国革命委员会湖南醴陵分会。
在艰苦卓绝的革命斗争中，孙小山积劳成疾，工农革命军到达醴陵后，他旧病复发，不能随军行动，党组织将他留在老家养病。但他仍坚持工作，经常到北乡官庄、桃花、三茅尖一带开展革命活动。由于得不到休息和治疗，他的病情迅速恶化。1928年3月，他来到东堡鹅颈湾当医生的妹夫家里看病。见他病的十分利害，妹妹、妹夫都很着急，四处寻药，悉心为他治疗，不幸被坏人侦知，向清乡队告密。4月23日，孙小山被捕。因孙小山是大革命时期醴陵工农运动的重要领导人，在群众中威信很高，反动当局恐生变化，当天下午即将他杀害于醴陵状元洲。