全国规模的抗战暴发之后，徐向前任八路军一二九师副师长。他随周恩来分别作过阎锡山和傅作义的统战工作。不久即转入太行山区指挥抗日游击战争。参与指挥了反九路围攻的战役。

    1938年4月，徐向前奉命率部分八路军赶冀南创立抗日根据地，这里地处京汉、津浦两大铁路干线之间，无山可依，无林可躲。对于打惯了山地游击战争的我军来说，这是一种全新的环境，必须根据环境特点，发挥创造力，才能找到生存的办法。徐向前创造出依靠人民作掩护，开展游击战争的新思想。通俗地说，即是在平原地区创造“人山”。根据这一原则，指导部队，打日本和清除汉奸同时并举，争取立场不坚定的杂牌军和收编自发的抗日武装力量同时进行。由于思想明确，方法得当，经过五个多月的军事和政治斗争，解放县城二十座，消灭日伪军近万人，在五十一个县建立了人民政权。创造出东起运河，西至平汉，北到滹沱河，南至河南北部的一大片平原抗日根据地。这块根据地创立后不久，发生了国民党顽固派制造的磨擦和日本侵略者的大扫荡，徐向前与刘伯承、邓小平一起，率领根据地军民战胜国民党的磨擦，打退了日本人的扫荡，巩固了这片根据地。

    1939年5月，徐向前和朱瑞奉命东进，到山东创建抗日根据地。中央决定将山东和苏北地区的八路军正式编为八路军一纵，由徐向前任司令员，朱瑞任政委。从1939年6月起，徐向前与一纵队的同志共同组织了粉碎日军“扫荡”的战役，时间持续一年多，大小战争两千余起，毙伤俘虏日军两万余名，歼来伪军两万五千余名。