1929年，徐向前奉命到大别山区组织武装斗争。鄂豫皖地区有较好的群众基础，发生过多起武装暴动，由于种种原因，武装斗争都失败了，但却为党保留了武装斗争的种子。

    1929年6月，徐向前来到鄂东北地区，任红三十一师副师长，此时师长已牺牲。该师编制为四个团，但实际上兵力不足一个营。徐向前到部队之后，就赶上了反动军队的频繁进攻，徐向前在率领这不足一个营的时间里，不仅鼓舞了士气，扩大了影响，而且壮大了队伍。

    在鄂豫皖地区，徐向前担任的是军事主官，负责军事指挥，他充分发挥聪明才智；在打赢战争的基础上，利用当教员养成的善于总结经验的良好习惯，提出了游击战术六条原则：①集中作战，分散游击；②红军作战尽量号召群众参加；③敌情不明，不与作战；④敌进我退，敌退我进；⑤对敌人采取跑圈的形式；⑥对远距离的敌人，先动员群众扰乱敌人，再采取突击的方式；⑦敌人如有坚固的工事，不与作战。以这些原则为指导，徐向前等领导同志率领鄂东北根据地的红军面对强大的敌人，不断取得胜利，红军队伍也不断壮大。

    1930年，鄂豫皖地区的三个红军师合编为红一军，徐向前任副军长兼一师师长。他率师出击平汉路，在郑家店采取引蛇出洞之计，一举消灭敌人一千二百余人，歼敌一个整团。1930年11月，徐向前率部远程奔袭新洲，歼敌一个旅，之后，又夜袭金家寨，歼敌千余人，缴获枪支千余件。

    红一军与红十五军合编后，徐向前任参谋长。他不喜欢出头露面，更不愿张扬自己，从来都是扎扎实实地做事，而且尽一切可能把事情作好。对每一件复杂的事情，他经过反复琢磨，总要想出两三种解决办法，当一种办法行不通时，立即改用另一种办法，这样，他处理问题总是显得从容不迫，井井有条。他善于团结同志，尊重上级和同级，关心下级。遇到不同的意见，总要设法发现对方意见的积极、可取之处。

    部队合编之后，战斗力有了增强，在夜袭李家集车站的战斗中，全歼敌人一个旅，缴获大批军需物资。在双桥镇战斗中，毙敌千余，俘筹五千人，缴枪六千余支，山炮四门，迫击炮十多门，并从俘虏的敌人师长那里得到军装十万套和大量银元。

    张国焘到达根据地后，大搞“肃反”活动，搞掉了鄂豫皖红军连以上干部二千五百多人，团以上干部有百分之六十以上遭逮捕、被杀。在“肃反”中，连徐向前的妻子也被杀掉了。“肃反”的扩大化，严重摧残了红军的力量。

    1931年11月7日，红四方面军成立，徐向前任总指挥。刚刚成立的红四方面军，迎来了蒋介石对鄂豫皖根据地的第三次“围剿”。面对强大的敌人，徐向前提出了“围点打援”等战术，连打四个战役。第一个是黄安战役，歼敌万余，缴枪七千余支；第二个是商演战役，歼敌四千多人；第三个是苏家埠大捷，歼敌三万余；第四个是潢川光山战役，歼敌八个团，缴枪七千余支。

    在蒋介石组织的第五次“围剿”中，由于张国焘等人被胜利冲昏了头脑，低估了敌人的力量，错误地估计了敌我力量对比的形势，最终导致了反“围剿”斗争的失败。之后，红四方面军被迫实行战略转移，鄂豫皖根据地的大好形势被葬送掉了。

    1932年10月，徐向前等红四方面军的领导率部转移，原来已经发展到四万余人的队伍，由于反“围剿”的失败，只剩下二万多人。这支疲惫饥饿的队伍，面对的是国民党十余万军队的围追堵截。徐向前率部历尽千辛万苦，行程三千余里，战斗数百次。到1933年初，在川陕边界找到了立足之地。徐向前在这里抓了三个月的大练兵，然后，发动了仪陇南部战役、营渠战役和宣达战役，歼敌二万，缴枪一万二千件，还缴获了敌人的兵工厂，造市厂，被服厂等全套设备。他利用这些缴获的武器，投入到反对蒋介石发动的六路围攻之中，蒋军出动二十万兵力，而徐部仅有六万人。经过十个月的战斗，歼敌八万多，仅最后二个月，就缴获枪支二万多支，火炮一百多门。这是红军时期缴获武器最多的战役之一。