黄谦，1880年生于广东省广州市南郊的鹤洞区凤溪乡一个贫农家庭。黄谦上小学6年级时因家庭困难而辍学种地。他24岁时和朋友合作，在广州经营一间毛衣缝织店。四年后，因该店亏本倒闭，他再回乡种地。黄谦除在本乡保善学塾教四年书外，长期务农，深受地主重租和官吏繁税盘剥之苦。1915年，由于洪水泛滥成灾，他的果园和菜地被淹失收；第二年又歉收。因此，他不仅无法交新租，而且无力还旧债。狠毒的地主竟把黄谦辛辛苦苦种植的果树砍掉、拉走，以抵租债。深受地主豪绅的剥削和压迫，使他产生了对地主阶级的反抗思想，成为他此后积极从事农民运动的思想基础。
1924年第一次国共合作实现后，工农运动蓬勃发展。是年秋，国民党中央农民部特派员梁伯如到广州南郊指导组织农民协会，黄谦热烈响应，很快成为骨干分子。他不怕地方武装民团的明抓暗杀，到农民群众中串连和宣传，揭露地主豪绅压榨农民的罪恶，鼓动大家组织起来以反抗阶级压迫。在他的努力下，凤溪乡很快成立了农民协会。接着，黄谦又到裕安围、新爵、增、、棉花围、鸭仔田、三丫口、聚龙、赤岗、十三围、苗头、汇龙、龙田等乡村进行宣传活动，促使各乡成立农会，开展轰轰烈烈的政治、经济斗争。
1925年黄谦加入中国共产党后，又以个人身份参加中国国民党。他以国民党中央农民部特派员的身份在广州南郊各乡指导农民建立并扩大农会，开展反对土豪劣绅和贪官污吏、拒交苛捐杂税、减租减息等斗争；同时揭露帝国主义和封建军阀的罪恶，动员农民援助五卅惨案、沙基惨案和省港大罢工，支援革命军东征南讨和北伐。
1926年，彭湃、阮啸仙等领导的广东省农民协会调黄谦主管中路农民运动。中路包括广州市郊及番禺、顺德、中山、鹤山、新会、开平、东莞、宝安、清远、花县、三水等县。他不辞劳苦，不怕危险，到各县去调查和解决农会与民团冲突等问题。8月17日至24日，广东省农民协会扩大会议在广州召开，中国共产党代表瞿秋白等莅临指导。到会的有省农会执行委员和各路代表100多人。黄谦出席并参加扩大会议的领导工作。22日下午和23日上午，黄谦在会上作报告，介绍中路农民生活状况，从政治、经济上分叙农民受军阀压迫、兵匪劫掠、民团苛抽、地主剥削之痛苦，反映农民目前的迫切要求，提出了解决办法。会议根据他的报告，进行讨论并作出决议，用于指导全省农民运动。会后，黄谦积极贯彻执行扩大会议的决议，使中路农民运动能在逆境中发展。
1927年4月15日，广东地区的国民党反动派追随蒋介石叛变革命，开始捕杀共产党人和革命群众。在白色恐怖中黄谦坚持革命斗争，他在离家不远的壁华村梁家祠农会俱乐部里不幸被捕，囚禁于广州南石头“惩戒场”监狱。敌人威逼利诱、严刑逼供，黄谦毫不动摇，严守党的机密，坐牢四个多月，没有暴露身份，使敌人搞不到所需的口供和证据。后由其女婿之父原钊记(船厂主)担保出狱。
黄谦虽然脱险，但城市乡村继续充满白色恐怖气氛，他还受敌人监视，随时随地都有可能再次被捕、遭杀。女婿为他担忧，劝他不要再搞危险的工作。这时摆在黄谦的面前，可以有坚持或放弃革命的两种选择。他坚定地选择了继续革命道路，并且表示：只要活着，就要做革命工作。为此，他出狱后立即找党组织，接上了关系，接受了在农村秘密恢复和建立革命组织的任务。那时，各地农会已被敌人镇压、取消，土豪劣绅重新出来作恶，原农会的积极分子有的遇害，有的逃亡。敌人到处盯梢，跟踪抓杀共产党人，环境非常恶劣。黄谦不顾个人安危，在广州南郊秘密组织地下农会和农军，并在凤溪的杨汉围建立了小型的地下兵工厂。他招集了几十个可靠农民，用竹篷和稻草盖起了四间茅房，在房子里挖地洞，在洞里修理旧枪支、制造步枪子弹和手榴弹，为武装起义做好了重要的物质准备。
1927年10月15日，中共中央南方局、中共广东省委召开联席会议，改组了省委，黄谦当选为省委委员，接着被选为省委常委。11月17日，中共中央常委会通过了《广东工作计划决议案》，正式决定举行广州起义。26日，黄谦在广州出席了张太雷召集的、有共产国际代表参加的中共广东省委常委会议。会议遵从中共中央的决议案和指令，讨论并决定在广州发动工农兵武装起义，要求各级党组织积极做好起义的准备工作：筹备总同盟罢工；组织赤卫队；分化国民党军队；就地集合农军届时协同动作等等。28日，省委发出了号召群众武装起义的宣言。黄谦作为筹备广州起义的领导人之一，负责组织、发动广州南郊农民参加起义。
黄谦等准备起义的联络站设在芳村一位姓黎的华侨的花圃里。黎妻康氏是共产党员。他们通过联络站直接与工人赤卫队总指挥周文雍联系，约定市郊农军在听到市内起义枪声时就立即响应。起义前夕，黄谦领导的芳村、花地一带的农军与广三铁路工人编成一个联队，黄谦参加了该联队及其属下第一团的领导工作，并兼任营长。原定在12月13日起义，后因被敌人发觉，市内的工人赤卫队和教导团等主力提前于11日凌晨3点半钟举行暴动。黄谦听到枪声后，立即在凤溪头集合数百农民赤卫军宣布武装起义。参加起义的人都缚上红布条作标记。他们带着枪支弹药，扛着红旗，喊着“打倒国民党”、“打倒帝国主义”、“工农兵联合万岁”等口号，誓师出发。浩浩荡荡的队伍，在黄谦率领下，于11日清晨出北丫(即北华)，先打下南海县秀水乡警察局，打死了反动的警察局长梁瓜耀。然后由五眼桥向东攻打石围塘。当时驻守石围塘的敌军有福军一个特务营，还有铁路警察及福军护车队，总共数百人，人数与黄谦率领的农民军差不多，武器比农军好得多。上午9时，黄谦指挥农民攻打石围塘，敌军特务营惊慌撤走，从三水开来的火车上的护车队，则被起义群众吓得龟缩在火车里，不敢下来。农军很快就打下了石围塘，与珠江北岸的工人赤卫队遥相呼应。打下石围塘后，黄谦立即带队去攻打芳村警察分局。但该局有水轮机关枪防守，农军打不进去。黄谦考虑到继续攻打将会遭受重大伤亡和耽误时间，便决定改变计划，率领农军渡江到广州市内作战。当时，帝国主义和国民党的军舰在珠江上巡逻，封锁江面。黄谦带着200多农军沿着沙贝分散偷渡过江，从松洲岗上岸，入坭城进市内和工人赤卫队并肩作战。起义的工农兵群众占领了珠江北岸市内绝大部分地区，成立了广州苏维埃政府，沉重地打击了反动势力。
但国民党反动派在帝国主义支持下进行反扑，终因敌我力量悬殊，13日，起义军主力撤出广州，广州起义最后失败。黄谦被敌人悬赏通缉。他巧妙地潜往香港，继续进行革命活动。
1928年2月20日，黄谦在香港参加中共广东省委常委秘密会议时，突遭警察包围，与邓中夏、罗登贤、王强亚一起被捕。由于警方搞不到他们进行政治活动的证据，不得不把邓中夏、罗登贤等释放。而黄谦却被原秀水乡警察局长梁瓜耀的儿子梁万亭控告，说他是共产党，有杀人罪，使他不能脱险。他在香港坐牢三个多月，多次受审，不仅不暴露身份，而且与梁万亭打官司，告他诬陷好人。但是，港英当局和国民党反动派狼狈为奸，在6月11日把他引渡到广州。他在狱中受尽折磨，但仍坚贞不屈，严守党的机密。
1928年6月16日，黄谦被敌人押赴红花岗刑场杀害，时年48岁。临刑时，他毫不畏惧，视死如归。建国后，人民政府追认黄谦为革命烈士。