张云逸入党并正式进入红军的行列后，除了创建红7军，整个土地革命战争时期基本上都在红军总部，担任副总参谋长兼作战部长。这段时间主要是先后给刘伯承和叶剑英当副手。抗日战争时期，张云逸在新四军成立时担任参谋长，是仅次于叶挺、项英的第三号人物，还在军部下辖的支队兼任职务，是新四军着名的五大支队司令员之一。其他的几个司令员分别是陈毅、张鼎丞、高敬亭和彭雪枫，当时粟裕和谭震林是支队副司令员。1939年冬，新四军下设江南、江北指挥部时，陈毅和张云逸又分任这两个指挥部的指挥，粟裕和徐海东、罗炳辉是副指挥。1941年皖南事变后重建新四军时，陈毅担任代军长，刘少奇担任政委，张云逸担任副军长，仍是第三号人物，继续在新组建的7个师中兼任其中一个师的师长。其他师长是粟裕、黄克诚、彭雪枫、李先念、谭震林、张鼎丞。1943年秋，代军长陈毅去延安后，张云逸则代理主持新四军的军事工作。解放战争时期，张云逸一直作为陈毅的副手，担任山东军区和华东军区副司令员。所以，在整个新四军和华东军区时期的军事领导人中，张云逸的资历与职务与陈毅旗鼓相当，比其他人都要高。

　　张云逸所做的第一个重要贡献是，1929年12月11日，与邓小平一起领导百色起义，并创建了右江革命根据地和中国工农红军第7军，任军长。从此开创了广西革命斗争的新局面。

　　1931年2月初，在邓小平离队赴中央汇报工作后，张云逸率红7军转向湘粤边开展游击战争，适时向中央苏区转移。经过半年艰苦转战，红7军有力地配合了中央苏区第二次反“围剿”作战。7月22日，张云逸率红7军在雩都县桥头圩与中央红军会师。红7军的这次长途转战，也被称作“小长征”。毛泽东、朱德高度评价了红7军的战绩。中华苏维埃共和国临时中央政府特授予“转战千里”的锦旗。

　　1955年全军授衔时，张云逸麾下的红7军将领授衔情况：

　　上将：李天佑、韦国清。

　　中将：冼恒汉、莫文骅。

　　55年少将：肖远久、吴西、欧致富、姜茂生、黄新友、覃士冕、覃国翰。

　　64年晋升少将：朱鹤云。

　　张云逸所做的第二个重要贡献是，在红军主要时期和新四军初期，参与我军司令部参谋工作建设，尤其是担任作战局长、作战部长，做了大量具体的实际工作。可以说，作战部长是总参谋长的头号得力助手，职位非常重要。

　　1931年冬，任中央革命军事委员会副参谋长兼作战局局长，参与组建军委机关和领导红军的参谋工作建设。1933年，任红军总司令部和红一方面军司令部副参谋长兼作战部部长。研究和总结红军的战略战术和参谋工作，在《红星报》上发表《战斗指挥研究事项》等指导性文章。1934年10月参加长征，任中革军委副参谋长兼作战局局长，协助军委领导组织侦察、开路设营、部署军事行动。到陕北后，兼红一方面军副参谋长。西北军委成立后方办事处，任参谋长，协助周恩来主持后方工作。1936年4月，任中国人民红军抗日先锋军副参谋长兼渡河司令员，为部队东征与回师做了许多工作。