晋冀豫根据地基本处在同蒲铁路以东，正太铁路以南，平汉铁路以西，黄河以北；其间由太行、太岳两山脉绵延穿行，是坚持华北敌后抗战和向冀鲁豫平原发展的重要战略依托。
早在太原失守前，即1937年10月8日，八路军第129师主力进抵晋东南平定地区前，在以主力配合正面战场国民党军作战的同时，就以秦基伟、赖际发率领教导团第5连一部和少数干部，进至太谷、榆次、寿阳、阳泉、昔阳、和顺地区，开展游击战争。秦赖支队依靠中共地方组织，动员和组织矿工、纱厂工人、农民、青年学生和国民党军散兵游勇，积极开展对日作战和建立县、区、村各级抗日民主政权。
与此同时，第129师骑兵营被派到冀西的元氏、赞皇、内丘地区，开展剿匪、锄奸、反霸斗争，迅速结束了“五里一霸、十里一王”的混乱局面，成立了农救会、妇救会等各种抗日群众团体，初步打开了冀西地区的抗战局面。
太原失守后，即11月10日和13日，八路军第129师先后在晋东南昔阳县武家庄、和顺县石拐镇两次召开干部会议。会上，传达了毛泽东和八路军总部关于依托太行、太岳山区创建晋冀豫边抗日根据地的指示和决定；刘伯承作了游击战术和进一步开展敌后游击战争的动员报告：总结了全师抗战以来的工作，具体部署了开展敌后游击战争的行动和任务。
11月15日，八路军第129师师部由和顺县石拐镇移驻辽县（今左权县）城后，在中共晋冀豫省委的支持下，有步骤、有计划地分散大部兵力，派出多支部队，到晋东南、冀西、冀南、豫北等地，开展独立自主的游击战争。
师政治部副主任宋任穷、组织部长王新亭、宣传部长刘志坚，分别率工作团和一部兵力，到晋东南沁县、长治、晋城、高平、陵川、武乡、襄垣、平顺、沁源、安泽、屯留等地，在山西牺牲救国同盟会的帮助下，开展工作。
秦基伟、赖际发领导的3支游击部队和阳泉矿工游击队，11月18日，编成了晋冀豫抗日义勇军第1纵队。27日，这支纵队改编为第129师独立支队（又称秦赖支队），司令员秦基伟，政治委员赖际发，继续活动在晋中地区。
汪乃贵支队于12月12日，以第769团1个连和一部分干部组成，司令员汪乃贵，活动在昔阳地区。
挺进支队以教导团30余名干部编成，支队长孙继先，政治委员胥光义，于12月13日，进至冀南隆平县地区活动。
1938年1月，第129师派出部分干部组建独立团，团长夏云廷，政治委员邓永耀，该团后编入新第385旅；以第772团4个连为基础组建补充团，团长韩东山，政治委员丁先国，该团后编入第386旅；28日，以教导团部分干部组建游击大队，亦称谢张大队，大队长谢家庆，政治委员张国传，活动于榆社、武乡、襄垣、黎城地区。
2月，师骑兵营扩编为骑兵团，团长王振祥，政治委员邓永耀；9日，以教导团30余名干部协同中共地方组织建立游击支队，亦称桂张支队，司令员桂干生，政治委员张贻祥，活动于晋冀边地区；10日，以教导团两个连为基础成立先遣支队，司令员张贤约，政治委员张南生，活动在辽县以东、平汉铁路邢台至磁县段以西、漳河以北的冀豫边地区。17日，以第771团一个连和教导团部分干部组成独立游击支队，亦称赵涂支队，司令员赵基梅，政治委员涂锡道，活动在白（圭）晋（城）公路以东、平汉铁路以西、漳河以南的太（行）南地区。
4月28日，以工人、农民和青年学生为基础组成晋豫边游击支队，司令员唐天际，该支队1500人，活动在同蒲铁路以东、曲（沃）高（平）公路以南、高（平）博（爱）公路以西、黄河以北的中条山地区。
八路军第129师各工作团和部队，到达活动地区后，依靠中共地方组织，大力宣传抗日救国十大纲领和共产党的各项方针政策，放手发动群众，组织各种抗日团体和群众武装，开展游击战争，实行合理负担政策，既扩大了部队，又在太谷、榆次、寿阳、平定、井陉、获鹿、昔阳、元氏、赞皇、高邑、临城、内丘、邢台、沙河、磁县等地，建立了一批抗日民主政权。至此，同蒲铁路以东、正太铁路以南、平汉铁路以西、黄河以北的晋冀豫边区的游击战争全面展开，抗日根据地基本形成。
4月下旬，晋冀豫军区成立，该军区对外称第129师后方司令部，师参谋长倪志亮兼司令员，政治委员黄镇，副司令员王树声，政治部主任赖际发。5月15日，按游击支队活动的地区和方向，建立5个军分区：独立支队兼第1军分区，司令员秦基伟，政治委员赖际发，政治部主任朱效成，辖区为晋中地区；游击支队兼第2军分区，司令员桂干生，政治委员张贻祥，辖区为冀晋边地区；先遣支队兼第3军分区，司令员张贤约，政治委员张南生，辖区为冀豫边地区；游击大队兼第4军分区，司令员张国传，政治委员谢家庆，并指挥太岳游击大队，辖区为浊漳河流域地区；独立游击支队兼第5军分区，司令员赵基梅，政治委员涂锡道，辖区为太（行山）南（部）地区。
晋冀豫军区的任务是：一方面组织自卫队、游击队，补充兵员，安置伤病员，积蓄武装力量；另一方面指挥基干武装部队，独立作战或配合正规部队作战。