无论是东北抗联各军还是其前身人民革命军成立之后，东北的抗日队伍一直没有建立总的司令部。尤其是在1936年初，中共满洲省委被中共代表团撤消后，东北地区党的组织也失去统一领导。此种情况造成各抗日部队无统一指挥，绝大部分时间没有相互配合，各自为战，缺乏对敌人合力打击;个别部队出现困难时，不能相互帮助;同时，面对敌人的“讨伐”，如何定位当时的形势，如何抗击敌人的进攻也没有总的、一致的部署;东北地区的党组织、东北抗联各军对来自中共代表团的关于抗日斗争的方针、政策的一些指示的认识也无法统一，经常出现解读不一致，致使吉东、北满省委之间意见矛盾，并产生争论。因此，面临此种情况及敌人的疯狂“讨伐”，东北抗日军队的战斗力不但没有充分发挥出来，而且有被日伪军逐个击破的危险，东北抗日队伍非常迫切需要一个统一的指挥组织机构。

然而，建立此种指挥机构需要各种主客观条件，同时也需要一个过程。因此，在比较集中的游击区建立一个区域性的、局部的统一组织就成了比较可行的方式。1934年2月，杨靖宇在南满游击区领导成立“东北抗日联军指挥部”，但实为南满区域性抗日队伍指挥中心。1936年7月，以此为基础，抗联第一路军成立，杨靖宇任总司令，统一领导第一军、第二军的抗日武装斗争。抗联第一路军总司令部成立后，对于领导东南满地区抗日游击战争起到重要作用。1934年3月，赵尚志在北满领导成立“东北反日联合军司令部”，在此基础上，1936年1月，东北民众反日联合军总司令部成立后，对于领导北满地区抗日游击战争起到重要的作用。为加强对吉东地区抗联统一指挥领导，周保中一直在积极筹划成立抗联第二路军。东北抗联第二路军的组建与发展，周保中倾注了大量心血。

1937年2月，周保中写出题为《东北抗日联军建立“路军”提纲草稿》的致中共代表团的长篇文件，阐述了建立路军的必要性及迫切性。同年9月末，周保中在四道河子主持召开了中共吉东省委常委工作会议，主要议题是组建东北抗日联军第二路军。会议根据中共驻共产国际代表团关于组建抗日联军路军的指示，决定继组建活动在东南满的抗联第一路军之后，组建东北抗日联军第二路军。经过与吉东地区活动的有关各军认真商讨和广泛征询意见，与会代表皆赞同成立抗联第二路军及总指挥部，表示愿意接受其领导。会议确定东北抗联第二路军总指挥由周保中担任。1937年10月10日，东北抗日联军第五军发表《通告》宣布东北抗日联军第二路军正式成立。第二路军拥有从伪三江省内松花江南岸至牡丹江，伪东安省等东部国境地带广大游击区。其活动地带包括中东路哈绥线两侧、拉滨铁路以东，沿牡丹江流域及方正以下松花江右岸、乌苏里江左岸地区，共约20余县。

之后，周保中积极着手进行东北抗联第二路军的组织整顿工作。使抗联指战员的思想、意志、行动趋于一致。周保中确定的对第二路军所属各部队整顿工作的内容很广泛，概括的说，包括组织整顿、思想整顿，具体有部队领导人的调整、部队编制的变更、活动区域的划定、集中统一领导、政治思想工作的安排等。1937年下半年开始，日伪当局为巩固侵华后方基地，消灭抗日武装，镇压人民群众的反抗，在政治、军事、经济、思想、文化等各方面采取残酷、毒辣的手段进一步加强法西斯反动统治，不断对抗日军队展开进攻。入冬，日伪自牡丹江、林口、依兰、方正纠集2000余兵力，疯狂向四道河子抗联第五军密营地发动大规模的“围攻”。斗争形势愈加严峻。敌军步骑兵在飞机的配合下，妄图一举摧毁抗联第五军部队的后方根据地。一时局势紧张。为避开敌人进攻锋芒，保存我军实力，周保中决定，由新任抗联第五军军长柴世荣率第五军第一师在牡丹江沿岸相机开展游击活动;由他率部分队伍东进，前往松花江下游宝清、饶河等地，整顿抗联第二路军所属的第四、第五、第七军、第八军等部队，以正确认识面临的形势，统一思想，不断巩固队伍，执行总部确定的战斗计划，使行动富有创造性、系统性，适合于现阶段、现实环境的需要，不断向抗日斗争胜利的方向迈进。

1937年10月，周保中率精干卫队东进奔赴宝清。其行程路线是先从驻地牡丹江西岸莲花泡渡江，东到烟筒砬子附近宿营。10月12日，移驻柳树河子。10月13日，移大百顺沟宿营。10月15日，乘船渡过刁翎河(即乌斯浑河)。横过拉腊别沟，入青林子。10月16日，周保中率骑兵部队80名经吉兴河上掌、连珠河沟，到达勃利县平原地带。而后穿越图佳铁路，渡过倭肯河，到达罗圈河二营。途中多次遇到敌情，闯过敌人数道封锁线。经艰难行军，于11月初到达宝清县大梨树沟西南上掌抗联第五军第二师和警卫旅的前方指挥所。

周保中在赴依东过程中，首先路过抗联第八军数处密营地。开始着手对第八军整顿。这段时间，周保中对第八军的发展及存在的一些问题十分关心，同时，写信给八军军长谢文东对部队存在的问题阐明利害，提出做细致耐心思想工作整顿八军的意见。不久，周保中到达宝清。随后，即开始着手重点对第四、第五军进行整顿工作。11月初，周保中来到宝清第五军第二师和警卫旅前方指挥所南山，即检查了第五军“下江远征队”的工作。尔后，对第五军进行了整顿。5日他给第五军领导柴世荣和关书范去信，通报9月吉东省委在四道河子召开会议关于将第五军警卫旅改编为第三师，编为八、九两个团的决定。提出整顿第五军的问题，他说“抗日军之政治的时令病虽然应时难免，然而五军近年来对于政治教育已降低，甚至但求表面的所谓名誉，而忘却实际的内部巩固。”他要求召开第五军党委会议讨论内部巩固，清洗动摇分子，加强教育，培养斗争精神，实现军部及以下机关干部纪律化、系统化、工作计划化。21日，周保中主持召开了第五军第二师和警卫旅干部会议。会上，周保中分析了中日战争现实及前途，介绍了吉东、北满松花江岸游击运动和南满游击运动概况，抗日联军一般状况并传达了吉东省委四道河子会议精神，指出了今后的斗争任务。在会议上，周保中宣布抗联第二路军已经成立，下辖第四、第五、第七、第八、第十军，另有救世军和义勇军自愿接受第二路军的领导。会上，决定将第五军警卫旅改编为第五军第三师。同时，对第五军干部进行了部分补充和调整。之后，周保中召集在王福岗的第八军七师余部50余人谈话，整顿该部。而后携同第五军第二师原师长王光宇由第五军三师后方前往宝清大叶子沟抗联第四军军部密营地，开始对抗联第四军进行整顿。周保中根据中共吉东省委关于整顿部队的决定并针对第四军的实际情况，在大叶子沟第四军密营主持召开了吉东省委常委和第四军干部联席会议。会议讨论了第四军干部调动及确定了对第四军的整顿方案。抗联第四、五军经过整顿，组织性、纪律性得到加强，部队政治、军事素质有很大提高，指战员精神振奋、斗志旺盛。第五军北部派遣队在穆棱、勃利、依兰，以及第五军东部派遣队在富锦、桦川、宝清，因组织性和纪律性不断增强，得到抗联各军及义勇军热烈拥护赞扬。在1937年冬季反“讨伐”斗争中，第四、五军联合部队百余人在宝清与数百名日军展开战斗，冲出敌围，毙伤日军40多人。不久，第四军和第五、第八军一部共100余人在内部人员策应下，攻袭了桦川县聚宝山伪警察署，解除了伪警察武装，缴获轻机枪1挺、步枪30余支和马匹、粮食等其他军需物资。以后，第四、第五军部队攻打了伪军教导队，缴获机枪2挺，步枪100余支和部分其他军需物资。由于第五军军部认真执行抗日民族统一战线政策，对民族革命战争游击运动各方面都有适当工作，每天差不多都坚强地与敌人作战，打击日本侵略者，因而得到广大民众景仰爱戴。

1937年12月初，周保中由宝清第四军军部密营地出发，去饶河整顿第七军。抗联第七军以饶河为中心，一直转战于虎林、宝清、同江、富锦、抚远、密山等地，在暴马顶子、十八垧地、大叶子沟、四合顶子等地建立了多处密营。抗联第七军指战员在党的领导下，紧紧依靠各族群众，贯彻统一战线政策，积极开展游击战争。一个时期以来，第七军上层领导干部之间存有一些意见分歧，为了能尽快与上级组织取得联系，解决问题，同年夏，第七军党委先后派人寻找满洲省委，但都未能找到(按，此时满洲省委已被中共代表团撤销)。适有第五军派来交通员到第七军，带来吉东省委给第七军的信。第七军同志见信后致信吉东省委，介绍第七军情况，要求吉东省委派人前来帮助整顿。信中说，我们第七军军党部未受上级机关的具体领导已经很久了，我们直接领导机关——下江特委太不健全，负责人朴同志去省委未回来，快到一周年。特委就剩郑鲁言，一般同志都有失望情绪，七军的纪律和思想很松弛，干部们都等待省委来整理。1937年12月中旬，周保中从宝清来到饶河。在饶河他利用一周时间，与部队各领导干部谈话。周保中在谈话中分析了存在问题、矛盾之所在，深入细致地做同志的思想工作，解决干部们的思想问题。实际是给领导干部上了七天党课，使大家提高思想认识，消除隔阂。同时，他以吉东省委代表资格，提议召开中共下江特委扩大会议。会议首先听取周保中发表的声明。声明讲述下江特委和七军党委请求吉东省委帮助解决一切悬搁问题，吉东省委认为有接受这一请求的必要。吉东省委以横的组织关系派遣代表参加这次下江党的扩大会议，从政治上、组织上领导解决下江党、第七军一切问题。这一声明全场一致通过。会议还总结了下江特委和抗联第七军过去工作中的经验教训。会议对加强党对部队的领导和政治思想工作、1938年抗联第七军的活动计划、对反日山林队的政策及军民关系等问题也进行了广泛的讨论，并作出了相应的决议。会议经过认真讨论，改组了下江特委和抗联第七军党委。同时，对第七军下辖的各师团干部也进行了必要的调整。下江特委扩大会议结束后不久，抗联第七军党委根据吉东省委的指示和《下江特委扩大会议决议案》，对第七军的斗争也进行重新部署安排，决定军部在虎林、饶河等地坚持斗争;第一、二师转赴同江、富锦等地开展游击活动;第三师在宝清等地与抗联第五军第三师会合，共同活动。自1937年9月中共吉东省委四道河子会议后，吉东省委和抗联第二路军总指挥部在对所属各部队进行整顿的同时，还根据形势发展的需要，在周保中指示下，成立了下江联军教导队。教导队成立后，抗联第四、五、七、九军先后派出百余人参加了学习和训练。1938年3月培训结束，回到本部队，都成为骨干。该教导队的成立，提高了干部的政治军事水平，为即将到来的更加艰苦的对敌斗争做了组织和思想上的准备。

抗联第二路军及总指挥部的成立意义重大。使在吉东地区活动的抗联第四、第五、第七、第八军抗联部队及抗日义勇军部队等有了统一领导;可使所属各军内部军事、政治趋于平衡发展，更能影响和领导广大义勇军和山林队;可加强集中军事领导，对于敌人“围剿”时，可有计划的布置工作，益于牵制敌人的力量;可有计划、合理地解决经济问题，消灭各军强抢给养、重复征收税捐现象，有利减轻民众负担;有利于团结联军以外的各义勇军、山林队。抗联第二路军及总指挥部的成立是吉东地区深入贯彻抗日民族统一战线政策取得的新成果，对于进一步团结各种抗日武装力量，扩大抗日游击战争，拓展游击区，粉碎日伪当局对各抗日武装实行各个击破的阴谋，打破敌人的军事“讨伐”等，都具有重要意义。