在抗日战争中，1937年8月，任八路军115师343旅685团民运股长。由中央警卫团政委改任民运股长的曾思玉，参加了平型关战斗，打破了日寇不可战胜的神话。同年冬，任686团政治处主任，1938年冬任344旅689团政委。1939年冬任鲁西军区政治部主任。1940年夏，任鲁西军区黄河支队政委。1941年7月任115师教3旅政委。1942年冬任冀鲁豫军区第2军分区司令员，后2分区改8分区，任8分区司令员。

　　曾思玉在敌后,在冀鲁豫创造平原抗日根据地立下了赫赫战功。在突破日寇的“铁壁合围”中，曾经带领4个连队救出数万人民群众。在偷袭八公桥的战斗中，他和政委段君毅指挥2分区部队以“掏心战术”利用狂风之夜偷袭了八公桥，攻克了伪第2方面军总部。在攻克汤阴城的战役中，同样体现了老将军的的聪明才智和指挥艺术。

　　曾思玉说，面对日伪经营多年的坚固城池，汤阴城强攻难以奏效，只能智取，决定暗渡陈仓巧取汤阴，挖坑道至城楼底下，用爆炸方式一举端掉。下决定后，便开始一边扫除城外据点，一边组织人员不分昼夜地挖掘；一边组织演出节目喝京剧迷惑敌人，一边组织射手打冷枪，政治瓦解，喊话降敌使敌人很感莫名其妙。

　　经过紧张地不分昼夜地连续奋战，终于挖掘到城楼下，装填了1060斤黑色炸药。1945年9月29日清晨，只听轰的一声巨响，山崩地裂、地动山摇、震耳欲聋、爆破成功！东城门楼守敌100余人全被炸死，一百余斤的大石头，飞出了150多米。城楼和城墙两侧各炸蹋50米左右，东门古城楼全部震蹋。战斗胜利结束，全歼刘月亭部。至此，曾思玉率领的冀鲁豫军区第8军分区部队完成了八年抗战的最后一仗。

　　曾思玉说，战后，他进汤阴城巡视了一下，参观了岳王庙，在岳王高大雕像前，奸臣秦桧夫妇跪在岳王像前在请罪，参观的人们用吐液、口水吐得秦桧夫妇满脸满身，真是应了“流芳百世”和“遗臭万年”的经典名句。