吴谦，字庭山，1903年9月生于湖南省常宁县吴家湾。多少年来，当地流传着一首民谣：“舂陵水，从保山，最苦吴家湾。”他的家乡就是这样一个穷得出了名的山村。幼时的吴谦，便亲身体验到下层人民的艰辛生活。他的父亲吴鸿宽是个草药郎中，家境虽苦，但一心巴望儿子有出息，勒紧裤腰带，供儿子读书。吴谦先入本村私塾，后进衡头清溪书院，再到县城合江学堂，继而考入衡阳成章中学。他在衡阳求学的几年间，因积极参加学生的各种活动，成为湘南学生联合会骨干分子，加入了中国共产党。
1924年底，吴谦成为常宁籍旅京、旅省学生学友会成员，编排过一些短剧，如《可怕的生活》《被压迫的人》等，在城里演出。1926年5月，他被上级派到广州农民运动讲习所学习。9月，以省农民协会特派员身份回常宁县从事农民运动。经过他与萧震球、李成蹊等的共同努力，常宁县农民协会于1927年2月间正式成立，他当选为执行委员，并担任宣传部长兼惩治土豪劣绅特别法庭庭长。
吴谦当选县农协执委后，为了解决贫苦农民渡荒问题，曾想过不少办法，常宁人至今还传颂着他巧取“陈饿虎”千担粮的故事。那时，荫田衡头有个叫陈慕主的大土豪，平日横行乡里，对农民敲骨吸髓，如狼似虎，有着填不饱的胃口和满足不了的欲望，人称“陈饿虎”。如何把这只“饿虎”的存粮挖出来，是解决贫苦农民粮荒最紧迫的事。事又凑巧，恰好陈慕主派人来要求参加农会，吴谦眉头一皱，计上心来，便当即满口答应，并主动约请陈慕主第二天来荫田农协办理入会手续。次日清早，他提前赶到荫田，向农会负责人作了布置。这天上午，他和农协会员“热情”接待了陈慕主，还向陈详细讲解农民协会的章程，谈着谈着，忽听门外喧闹声起，原来是一些受灾群众前来农会要饭。他指着这些灾民请陈拿点粮救济一下，陈心里“咯噔”一下。吴谦没等陈答话，便写好一张“衡头陈八爷给附近十乡农友馈赠稻谷十担，以作入会之礼”的条子递给陈慕主。陈接过一看，以为出十担谷，九牛一毛，不过尔尔。这样做既能博得善名，又可当上农协会员，立即一口答应下来。当陈要签名表示照办时，吴谦又要陈在条子上先写上“若有反悔，后果自负，二姨太亲办”字样，再签上自己的名字。等陈照吴谦的意见签好后，他又“热情”将陈留在农舍商谈，直到吃完晚餐后才让陈离去。就在这一天下午，专为陈慕主掌管存粮数目和存放地点的二姨太，接到的却是一张在“十”字上加了一撇，成了“馈赠稻谷千担”的条子。因上有陈慕主的签字，二姨太不得不如数照发。就这样，只用一个下午时间，这千担谷就被附近十乡的群众高高兴兴挑了回去。这就是吴谦巧取千担粮的故事，后来群众把它编成歌谣，这个故事就在当地流传下来。
吴谦夺取县团防局的枪支，组建农民纠察队，也是巧计取胜。他先邀请全体团防队员参加县农协会员大会，当团防队员来到会场时，立即被预先布置的700多手持马刀、梭镖的农协会员团团围住，随即宣布县农协执委的决定，责令团防队员把枪支移交给农会纠察队，团防队员手中的枪就这样被农会纠察队队员名正言顺地全数“借管”。县团防局的枪被缴之后，他又率纠察队员前去包围县团防局长萧宜春的家，缴获一批枪支弹药。
1927年长沙马日事变后，常宁的土豪劣绅和反动势力向农民协会进行疯狂反扑，但吴谦毫不畏惧，仍坚持继续斗争。6月初的一天，有一支组织不纯的农民纠察队在原团防队员李炳辉的煽动下叛变，回城围攻县农会。时城内力量绝对不堪与城外叛变队伍对抗，危在旦夕，千钧一发!吴谦镇定自若，模仿三国时的诸葛亮唱起了“空城计”。他不是在城头扶琴，也不是用老兵扫街，而是立即派人在叛变队伍途经之地及县城街巷，到处张贴欢迎水口乡工人纠察队进驻县城的标语，吓得叛乱分子不敢贸然进城，为县城农会等机关于当晚转移赢得了宝贵的时间。
不久，吴谦参加了朱德、陈毅领导的工农革命军。不幸的是，在一次执行侦察任务时，他被挨户团杀害，时年24岁。