1939年12月上旬，刘少奇率领中原局来到藕塘镇新四军江北指挥部与张云逸指挥会合。在这里，刘少奇向第4、5支队和江北抗日游击总队的领导人传达贯彻中央关于新四军“向南巩固，向东作战，向北发展”的战略方针，明确提出发展华中抗日根据地的战略任务、统一战线的策略和根据地政权建设的决策。江北指挥部对东进战略决策作了进一步的部署。

　　张云逸和徐海东率领第4支队在津浦路西扩大、发展根据地。12月下旬，日伪军2000余人向津浦路西周家岗、大马厂等地“扫荡”，驻古河的国民党军闻风而逃。张云逸同徐海东、罗炳辉指挥部队采取“诱敌深人”和“敌退我进、敌守我攻"的战术，激战3天，毙伤日伪军160余人，乘胜收复了周家岗、复兴集、大马厂、古河等地。是役后，张云逸指挥第4支队以营、团为单位，实行“分兵以发动群众”的方针，进一步扩大了路西根据地。1940年1月4日，中央电令张云逸等为中原局委员，中共江北指挥部前委改为皖东军政委员会，属中原局指挥。

　　1940年春，国民党发动了第一次反共高潮。蒋介石令桂系顽军李品仙部在津浦路西进攻新四军第4支队，令嫡系韩德勤部10个团进攻津浦路东第5支队，妄图配合日伪军三面夹击，一举消灭华中新四军。刘少奇于1940年2月在津浦路西召开第三次中原局会议，确立反摩擦的方针。会后，刘少奇和张云逸领导江北指挥部在作好自卫反击准备的同时，立即向桂系部队呼吁团结抗战，提出以淮南铁路为界，分区抗日，我不向西，桂不向东。但桂顽对我方提议置之不理，继续恃其优势兵力向我逼进。为此，张云逸和刘少奇决定，首先集中第4、5支队主力6个团于津浦路西，打击对我威胁最大的李品仙部，尔后乘胜挥戈东。向，击破韩顽进攻。3月中旬，张云逸等率部经过激战，攻占定远城及沿线各据点，全歼桂顽皖北行署主任颜仁毅所部3000余人。为争取桂系，张云逸命令部队乘胜收兵，提出和谈，形成了以淮南路为界，与桂系东西分治的有利局面。

　　保卫半塔集

　　正当路西鏖战之时，3月21日，国民党江苏省主席韩德勤指挥8个团约1万兵力，突然围攻路东根据地的中心——半塔集。邓子恢、郭述申等指挥路东留守部队1000多人枪奋起自卫。张云逸和刘少奇闻讯果断决定：路东固守待援；急令第5支队，苏皖支队兼程东进；调叶飞挺进纵队主力西援；江北游击总队主力配合第4支队坚守津浦路西根据地。与此同时，张云逸两次致电李宗仁、白崇禧和以江北指挥部致蒋介石公开电，揭露国民党李、韩两部夹击华中抗日根据地的真相，吁请立即停止这种破坏团结抗日的军事摩擦。在路东半塔集反击战最剧烈的第8天，张云逸和第5支队司令员罗炳辉率领路西主力回援，叶飞率苏中挺纵也及时驰援，形成对韩顽的反包围，全线反击，歼顽3000余人。接着乘胜追击，打得韩德勤顽军落花流水，解放了天长、六合、盱眙、来安、嘉山等广大地区。至此，津浦路以东、淮河以南、长江以北、运河以西的大部分地区，都在江北指挥部领导下，奠定了皖东敌后根据地的基础，也为黄桥决战创造了有利条件。陈毅后来总结说：“先有半塔，后有郭村；有了半塔，才有黄桥。”这是从开辟华中抗日大局的高度，精辟地评价了津浦路反顽斗争胜利的重大意义。张云逸指挥江北部队英勇反顽，有智有勇，正确调度部队，巧妙运用策略，打得果断勇猛，停得及时恰当，谈得理直气壮，为保卫、巩固和扩大皖东抗日根据地作出了突出贡献。

　　建设皖东抗日根据地

　　定远、半塔战役胜利后，以张云逸为首的江北指挥部根据中原局和刘少奇的指示，从大别山地区撤出大批干部来开展皖东抗日根据地建设。继定远县抗日民主政府成立之后，皖东军政委员会又委任滁县、凤阳、合肥、全椒、和县、嘉山、来安、天长、盱眙、六合、高邮等县县长，创建县、区、乡民主政府。同时，中原局撤销安徽省委，分别成立津浦路东、路西两个省委和两个联防指挥部。张云逸还创造性地执行中央关于“三三制”抗日民主政权的原则，放手发动群众，独立自主地开展政权建设，大胆吸收开明士绅和爱国知识青年参加各级民主政府和参议会，即“用旧人，行新政”，解决了根据地大发展时期干部不足的困难。接着，皖东军政委员会又领导人民开展以减租减息为中心的根据地建设工作，制定公布了财政、贸易、减租减息、征收公粮和惩奸等法令。张云逸根据皖东的实际，提出“三七分租”、“分半给息”、“废除旧债”等口号，并指示各级民主政府要动员农民交租交息，较好地调整了租佃关系和债务纠纷，既保证劳动群众的利益，又争取大部分中小地主和开明士绅参加抗战。这对华中抗日根据地的建设起了积极的示范作用。

　　皖东敌后根据地的迅速发展，引起了日伪军的恐慌。同年6月初，津浦路和淮河沿线的日伪军大举“扫荡”皖东根据地。张云逸命令第4、5支队等部队主动出击敌伪据点，破坏津浦铁路，粉碎了日伪军的“6月扫荡”。但桂系顽军乘日伪“扫荡”之机，由古河、梁元进占古城集、青龙厂等地，企图把我军赶到路东去。对于桂系顽军的反共“摩擦”，张云逸一面呼吁桂顽李品仙停止内战，团结抗战；一面实行自卫，以坚持路西，巩固路东。6月27日，张云逸指挥第4、5支队在古城集展开反击，激战3天，歼桂顽军千余人，其残部逃回古河。张云逸抓住这一有利时机，命令部队停止追击，再次呼吁李品仙和谈，终于达成了停战协议。不料在7月初，路东的韩德勤顽军两团又搞反共摩擦，策应根据地内的反动地主，武装暴乱。张云逸当机立断，调遣主力配合地方武装肃清反动暴乱，击溃韩顽军。随后，指示路东党组织，彻底改造基层政权、清洗隐藏的反革命分子，深入开展减租减息，巩固了路东根据地。

　　开辟淮宝地区

　　为了全力发展苏北根据地，张云逸协助刘少奇指挥皖东第4、5支队，苏北陈毅、粟裕第1支队和八路军黄克诚南下纵队共同开辟淮宝地区，打通了皖东、淮海两根据地的战略联系。9月5日，日军第15、17师团各一部及伪军共1万多人，七路大举“扫荡”路东根据地。张云逸协助刘少奇作了周密部署，实行第4支队分兵内线游击，第5支队外线歼敌，主力部队、地方武装、民兵自卫队协同作战的方针，采取穿插、伏击等战术。奋勇歼敌，并在竹镇附近伏击日军指挥机关，使日伪军极大恐惧。作战12天，毙伤敌600余人，粉碎了敌伪“9月大扫荡”。随后，张云逸领导皖东抗日军民加紧根据地的各项建设，支援苏北八路军、新四军夺取黄桥决战的胜利，使苏北我与敌、顽的力量对比发生根本变化。10月中旬，刘少奇率中原局、黄克诚率八路军第5纵队和陈毅、粟裕所部第1、2支队在苏北盐城会师。11月中旬，中央电令成立八路军、新四军华中总指挥部，叶挺为总指挥、陈毅为副总指挥、刘少奇任政委、张云逸为参谋长，在叶挺未北上之前，由陈毅代理总指挥。11月17日华中总指挥部在海安宣告成立，23日迁驻盐城，进一步加强对华中抗日战争的领导。

　　自从刘少奇率中原局机关赴盐城后，皖东根据地的工作由张云逸全盘负责。他正确执行中央和中原局的指示，领导根据地军民坚守路西、巩固路东，对桂系顽军采取有理、有利、有节的斗争，对日伪军的进攻“扫荡”顽强抵抗和坚决粉碎，使皖东根据地发挥了战略区的重要作用。

　　粉碎日伪“扫荡” 巩固淮南根据地

　　1941年1月，蒋介石悍然发动皖南事变，整个摧毁了我党苦心经营的新四军军部，使新四军遭受严重损失。国民党蒋介石发布取消新四军番号的通电。中共中央针锋相对，决定“政治上取全面攻势，军事上取守势”的方针，坚决打退国民党的反共高潮。1月20日，中共中央军委发布重建新四军军部的命令，任命陈毅为新四军代军长、刘少奇为政委、张云逸为副军长、赖传珠为参谋长、邓子恢为政治部主任，华中新四军和八路军的部队统一整编为7个师近9万人枪。号召全军坚持抗战到底。原江北指挥部淮南部队整编为第2师，张云逸兼师长、罗炳辉为副师长、郑位三为政委、周骏呜为参谋长、郭述申为政治部主任。下辖4、5、6旅，全师有18000人枪。以刘少奇、陈毅、张云逸为首的新四军军部的重建，在华中抗战史上具有极重要的意义。 　　张云逸领导淮南军民认真学习中央和华中局的指示，第2师全体将士更加斗志昂扬，继续坚持路西，巩固路东，加强对西防御，随时准备迎击反共军的进攻。1941年2月成立淮南军区，张云逸兼司令员，郑位三为政委。3月18日，张云逸和邓子恢召开第2师政治工作会议，吸取皖南事变的教训，总结部队建设的经验，加强部队政治工作，为坚持华中敌后抗战艰苦的时期的斗争作了思想上的准备。4月30日，中央军委决定组建第2师军政委员会，张云逸任书记，罗炳辉，郑位三等为委员。5月，张云逸担任中共中央华中局委员。同月下旬起，日伪军调集万余兵力，先后对津浦路西和路东根据地发动大“扫荡”。张云逸指挥第2师和地方武装连续作战1个多月，坚决打退了日伪军，巩固了淮南根据地。从此，淮南根据地抗日战争进入最艰苦的时期，张云逸带领第2师，实行主力地方化，深入开展群众运动，领导地方党组织和各级抗日民主政府，粉碎了日伪军和国民党顽军对根据地一次又一次的军事进攻、政治破坏、经济封锁，咬紧牙关渡过淮南抗敌最艰难的岁月。

　　专任新四军副军长

　　为了加强新四军军部的领导，中共中央军委决定张云逸专任新四军副军长职务。1942年夏，张云逸离开新四军2师，回到当时驻在苏北阜宁的新四军军部和华中局机关。年底，他随军部和华中局机关转移到安徽省盱眙县东南的黄花塘。从此，他在军部与陈毅等一起直接领导全军的工作和华中各抗日根据地的斗争。5月，日军发动浙赣战役后，张云逸协助陈毅根据浙东地区形势和中共中央历次指示，确定了进一步发展浙东敌后的方针。为适应浙东敌后斗争形势的发展，确定成立浙东区党委，并派谭启龙、何克希等同志率领一批干部前去浙东，发展浙东敌后游击战争，巩固并扩大浙东抗日游击根据地，比较好地完成了中共中央赋予的建立浙东战略点的任务。同年冬季，张云逸等新四军领导人，根据日伪军对淮海、淮北、淮南等地区的“扫荡”特点及新的动向，判断日伪军眼前的“扫荡”还只是战略侦察性质的行动，接着将要实行空前规模的大“扫荡”，其重点可能是盐阜、苏中地区。基于这一判断，要求华中全党全军，从政治上、思想上和组织上作好反“扫荡”的充分准备。果然不出所料，日伪军于1943年2月至4月，对盐阜区进行了50多天大“扫荡”。为粉碎敌人的大“扫荡”，张云逸协助陈毅指挥第3师选敌弱点进行反击，指挥第1、4师策应作战，调动地方武装和民兵密切配合，终于粉碎了日伪军拉网梳篦式的疯狂“扫荡”。3月，张云逸协助陈毅，又指挥第4师坚决痛击了侵犯淮北根据地的国民党顽固派韩德勤部，生俘韩德勤以下官兵1000余人，击毙保安第3纵队司令王光夏、独立第6旅旅长李仲寰等，取得山子头战役的重大胜利，铲除了国民党顽固派在华中根据地内的反共堡垒。

　　张云逸不仅在坚持敌后抗战的军事指挥上取得显着战绩，而且在战争理论上也颇有研究。在这期间，他研究探讨了坚持敌后抗战和积极防御的战略方针，具体阐述了新四军部队坚持华中敌后和执行积极防御的战略方针的各方面问题，从而有力指导了华中根据地军民的反“扫荡”、反“清乡”斗争，渡过了困难时期，积蓄了革命力量，为迎接大反攻奠定了基础。

　　1943年秋天，陈毅奉中共中央的指示去延安参加整风，同时准备出席党的第七次全国代表大会。中央军委任命张云逸代理军长，主持新四军全军的军事工作。1944年4月，日本帝国主义为了挽救在太平洋战场的严重失利，打通从中国东北到越南的大陆交通线，援救侵入南洋的孤军，纠集了五六万兵力进攻河南，发动了豫湘桂战役。汤恩伯、胡宗南指挥的40万国民党军闻风而逃，郑州、洛阳等38座城市相继陷落。在此形势下，中共中央为了给进攻国民党战场的日军以打击，开展河南抗战局面，从战略上将华中、华北、陕北三个战略区联接起来，提出向河南敌后发展以便控制中原的战略方针和任务。7月下旬，中共中央确定了进军河南敌后的部署和政策指示。张云逸接到中央的部署和指示后，立即响应，他主持新四军军部，确定以第4师五个团执行西进任务，两个团配合地方武装和民兵坚持淮北路东根据地，并调第3师第7旅到淮北地区作为机动力量；以第2、7师钳制桂顽，策应第4师西进。当西进的第4师遭到顽军南、北、东三面夹击时，张云逸迅即命令第3师7、9旅主力与第1师一部共5个团，截击由东向西企图合击的顽军第33师和第14纵队苗秀霖部，从而使新四军西进部队扩大了作战回旋余地，确保了前后方的交通联络。在张云逸指导下，第4师主力在西进的4个多月中，歼灭日伪军和顽军共13000余人，拔除据点36处，粉碎了日伪军的“扫荡”和顽军的进攻，控制了东起津浦铁路、西至商毫公路、北自陇海铁路、南迄涡河的广大地区，解放人口250万，基本上恢复了原有的豫皖苏地区，使淮北解放区扩大将近一倍，巩固了新四军在西线战略反攻的前进阵地。1944年秋，中共中央确定发展华南华中并重的方针。张云逸根据中央的新方针，分析了敌我双方的具体情况，确定了开辟苏浙皖边区的部署：第1师抽调3个主力团组成第一批南下部队，会同第16旅执行南进任务。首先打开苏南、浙西局面，再与浙东打通联系，控制全浙江，然后相机向南发展。第2师继续监视桂顽，巩固淮南津浦路西阵地。第7师继续坚持皖江地区，并担负开辟芜湖、当涂、高淳、南京地区的任务，贯通与苏南部队的联系，进一步发展皖南根据地，造成将来占领芜湖的条件。在张云逸的部署下，粟裕、叶飞先后率领第1师部队渡江南下，积极向日伪军展开攻势作战，并粉碎了国民党第3战区的顽军在天目山的三次大规模进攻，取得了歼顽军13000余人的重大胜利，彻底打破了顽军聚歼新四军主力、驱逐新四军出江南的狂妄企图，开辟了苏浙边敌后新区，进一步巩固与发展了苏南根据地，初步完成了中共中央关于发展东南的战略任务，扩大了新四军在江南实施战略反攻的前进阵地。1944年秋，中共中央确定发展华南华中并重的方针。张云逸根据中央的新方针，分析了敌我双方的具体情况，确定了开辟苏浙皖边区的部署：第1师抽调3个主力团组成第一批南下部队，会同第16旅执行南进任务。首先打开苏南、浙西局面，再与浙东打通联系，控制全浙江，然后相机向南发展。第2师继续监视桂顽，巩固淮南津浦路西阵地。第7师继续坚持皖江地区，并担负开辟芜湖、当涂、高淳、南京地区的任务，贯通与苏南部队的联系，进一步发展皖南根据地，造成将来占领芜湖的条件。在张云逸的部署下，粟裕、叶飞先后率领第1师部队渡江南下，积极向日伪军展开攻势作战，并粉碎了国民党第3战区的顽军在天目山的三次大规模进攻，取得了歼顽军13000余人的重大胜利，彻底打破了顽军聚歼新四军主力、驱逐新四军出江南的狂妄企图，开辟了苏浙边敌后新区，进一步巩固与发展了苏南根据地，初步完成了中共中央关于发展东南的战略任务，扩大了新四军在江南实施战略反攻的前进阵地。

　　1944年11月上旬，日伪军集中7千余人，分7路向淮南津浦路西根据地进行“扫荡”，桂顽也乘机以171师向路西根据地大举进攻。张云逸指挥第2师，两路作战，到11月16日，粉碎了日伪军的“扫荡”；20日又在占鸡岗全歼桂顽一个团1600余人。从而，巩固了淮南津浦路西阵地，同时完成了对西防御的战略任务，保障和策应了第4师主力西进和第1师主力南下。

　　1945年8月8日，苏联政府对日宣战。9日毛泽东代表中国共产党发表声明，号召八路军、新四军及其他人民军队，应在一切可能条件下，对于一切不愿投降的侵略者及其走狗实行广泛的进攻，坚决歼灭敌人，猛烈地扩大解放区，缩小沦陷区。10至11日，朱德总司令连续发布了七道命令，要求中国共产党领导的武装部队向敌人展开全面进攻。张云逸遵照毛泽东主席的声明和朱德总司令的命令，一面向华中各地的日伪军发出通牒，限期缴械投降；一面部署我军反攻，准备夺取南京、上海、徐州、武汉等大中城市及宁沪、沪杭、津浦各铁路。但是，蒋介石为了抢夺抗战胜利果实，在8月11日连发三道命令，要八路军、新四军及一切抗日的人民武装“原地驻防待命”，不许向日伪“擅自行动”；与此同时，他却命令国民党军队“加紧作战，积极推进，勿稍松懈”，抢占战略要点，并指使汉奸、伪军“负责维持地方治安”。根据抗战胜利后国共两党军事力量的对比，中共中央重新规定了华中新四军的任务是：江南部队就地向四周发展，夺取广大乡村和许多县城，准备反对内战的战场，不作占领大城市的打算；江北部队力争占领津浦路及长江以北、津浦路以东，淮河以北一切城市，消灭日伪军……张云逸坚决执行中共中央新的部署。在战略大反攻阶段，他领导华中军民大举进攻，解放县城32座，重要市镇400余个，歼灭日伪军3万余人，完成了占领南京、太湖、天目山之间广大农村和许多县城的任务，把苏中、苏北、淮南、淮北和苏南、浙东连成一片的任务基本实现，进一步扩大了华中解放区，成为中国革命战争全面胜利的前进基地。