120师师部领导率部由晋西北前往冀中途中，路经八路军晋察冀军区司令部，聂荣臻向贺龙、关向应介绍了冀中的复杂情况。他对贺龙说：“到冀中扩充部队，兵员是充足的。那个地方‘司令遍天下’，杂牌武装、联庄会多得很，希望你们多带一些去。120师干部多嘛！容易把工作做好，把他们带离本乡本土，改造工作也容易些。”
贺龙在晋察冀军区住了几天后返回120师驻地灵寿县陈庄，准备越过平汉路前往冀中。关向应则因为要参加中共中央北方分局会议，留在晋察冀边区。
会议结束后，关向应也来到了冀中。关向应给贺龙带来了中共中央北方分局关于成立冀中区军政委员会和向冀中传达六届六中全会精神的意见。两人商定2月14日在东湾里召开冀中区党政军联席会议。
会议由程子华主持。贺龙传达了中共六届六中全会精神及中共中央军委赋予120师的任务。关向应传达了北方分局关于成立冀中区军政委员会统一领导冀中斗争的意见。会议根据六中全会“巩固华北，发展华中”的精神，分析了冀中斗争的形势、冀中部队的情况，讨论了冀中当前斗争方针和统一冀中各抗日部队的指挥等问题。
关向应在会上提出了深入发动群众、加强政权建设、壮大党的力量、正确执行党的抗日统一战线政策等意见。会议根据中共中央北方分局的意见，由贺龙、关向应、周士第、甘泗淇、吕正操、程子华、孙志远、王平、黄敬组成冀中区军政委员会，统一领导冀中区党政军民工作。
为了统一军事指挥，按照八路军总部意见，成立了以贺龙为总指挥、吕正操为副总指挥、关向应为政治委员的冀中区总指挥部。会议决定，立即深入发动群众，做好基层组织的工作，加强地方武装，坚壁清野，破坏道路，抗击日寇；各级党政机关立即实行精简，精干机构，以适应游击战争的需要。
关向应是杰出的政治工作领导者，擅长于部队政治思想建设。从1932年到他逝世前的15年间，贺龙在各个部队担任司令员时，关向应始终同时担任政治委员。关向应坚强的党性、高尚的情操、实事求是的思想方法、艰苦朴素的作风和勇于自我批评的精神，深得贺龙的敬重。贺龙曾说，他一生遇到两个好政委，一个是周逸群，一个是关向应。
关向应1902年出生于辽宁金县一个贫困的满族农家，原名关致祥。他的家乡“关东州”在日俄战争后已沦为日本的殖民地，从小就看到家乡父老饱受战祸滋扰和侵略者凌辱的情景，心中十分愤懑。日本侵略者强行实施的奴化教育尤其使他痛恨。他在《自传》中说：“我12岁时入日本办的专以教育中国人的普通学校（初级小学），4年毕业。后复入大连公学堂（高等小学），2年毕业。我在这6年中所受教育完全是侵略式的教育，书报都看不明白，国内的情形一点不晓得，思想完全是奴隶的。当我毕业后学堂就把我送一日本商店服务，才做了一个月，因与日本人冲突就辞了。”宁肯回家种地绝不受日本人的欺辱。他说：“做一个中国人，就要有骨气！”
他在大连公学堂读书时，常在学校发的日文课本书眉上批写“中国”“我是中国人”“精忠报国”这样的字句，画一些丑化日本侵略者的漫画，抒发他对日本殖民者的仇恨心情；他还参加了反对日本教员殴打中国学生的罢课。1923年，他在泰东日报社做工时，又率众“教训”了辱骂中国人的日本殖民者，迫使此人当众道歉。他愤怒地说：“非把日本帝国主义打走不可！”
泰东日报社是关向应接触进步书报、参加革命活动的起点。1923年，他在泰东日报社结识了以记者身份来到报社开展革命活动的共产党员李震瀛和陈为人，在这两位共产党员的帮助下，懂得了很多革命道理。
1924年秋，关向应被派往莫斯科东方大学学习。次年由共青团员转为中国共产党党员。1925年“五卅”运动爆发后，关向应奉命回国，先后在上海、山东、湖北、河南、武汉等地从事共产党和青年团工作。1932年初前往湘鄂西苏区工作，从此结识了贺龙。
在湘鄂西革命根据地，关向应先后任中共湘鄂西中央分局委员、军委分会主席，红3军、红2军团政治委员，还被选为中华苏维埃共和国第二届中央执行委员。在从洪湖到湘鄂川黔苏区的极其艰苦的4年间，关向应和贺龙率部转战不息，对红2军团与根据地建设作出了卓越的贡献。
关向应初到这里时，为了恢复红军中的党组织和政治机关，关向应深入连队进行细致的思想工作，亲自主持登记党员，组织党支部，成立政治部，制定部队政治工作制度。他平易近人，工作深入，几乎认识红3军的所有战士。在生活上，他和战士一样身穿破衣，脚穿草鞋，风餐露宿，同甘共苦，深得全军指战员的爱戴。
1934年10月，红3军在黔东和由任弼时率领的红6军团会师。经中央批准，红3军恢复红2军团番号。中央决定由贺龙、任弼时、关向应统一指挥红2、6军团。此后，经过一年奋斗，纠正了湘鄂西根据地在肃反、建军、建党等方面的“左”倾错误，粉碎了敌人的两次“围剿”，扩大了自己的队伍，有力地配合了中央红军的长征。
1935年11月，贺龙、任弼时和关向应等领导红2、6军团，从湖南桑植出发开始长征，经过种种艰难险阻，于1936年7月初同红四方面军在川康边的甘孜会师。中央决定红2、6军团和32军合编为红二方面军，贺龙任总指挥，任弼时任政治委员，关向应任副政治委员兼红2军团政治委员。
长征过程中，关向应等红二方面军领导同志，坚定地站在党中央一边，同朱德、刘伯承一起，和张国焘分裂党、分裂红军的阴谋进行了坚决的斗争。经过他们力争，并得到徐向前等四方面军许多干部战士的支持，红四、红二方面军终于共同北上，在1936年10月间先后在甘肃会宁、静宁将军堡与红一方面军会师，胜利结束了长征。红二方面军与张国焘分裂主义的斗争，对红军三大主力会师，起了举足轻重的作用。在这场斗争中，包括关向应在内的红二方面军主要领导同志充分表现了拥护党中央集中统一领导的坚强党性和维护党内团结一致的原则精神。
抗日战争中，关向应任第120师政治委员和中共中央晋绥分局书记，和贺龙师长共同创建了晋绥解放区，并和贺龙一起率领部队转战冀中平原和晋察冀边区根据地，战斗足迹遍及华北各地。关向应为创建晋绥抗日根据地付出了大量心血，立下了不朽功绩。
抗战初期120师刚到晋西北，关向应即受中共中央北方局委托，组建中共晋西北区党委，同时发扬我军既是战斗队又是工作队的光荣传统，一面坚持和日本侵略军作战，一面参加创建根据地工作。关向应遂亲自带领从部队抽调的700多名干部组成地方工作队，分赴晋西北各县和大青山地区开辟工作。工作队正确执行党的抗日民族统一战线政策，团结各阶层群众合作抗日，建立群众组织，恢复抗日政权，发展游击队和地方武装，为晋西北抗日根据地的创建打下初步基础。
1938年9月，关向应回延安出席党扩大的六届六中全会，作了《晋西北工作报告》。其后又任晋绥军区政治委员、陕甘宁晋绥联防军政治委员、中共中央晋绥分局书记，成为晋绥抗日根据地党、政、军一元化领导的主要负责人之一，并且兼负保卫陕甘宁边区、保卫党中央的重任。
关向应还经常研究在敌后开展游击战争的战略、战役与战术问题，认真总结经验。1939年6月28日，他在晋察冀边区阜平县易家庄，曾以《冀中战争形势和几个政策问题》为题，在中共中央北方分局干部会议上讲话。他对冀中形势的发展趋势，以及继续巩固发展统一战线问题，冀中的民主、民生问题，都作了深刻的论述。这年8月，他又将这些论断加以发挥，写成《论坚持冀中平原游击战争》一文，对坚持冀中平原游击战争的规律、特点及困难和有利条件等，做了详细的论述。
这篇文章先后在冀中《新长城》和延安《八路军军政杂志》上发表。他在抗战初期发表的文章还有《120师在晋西北》《再谈晋西北的问题》等，对坚持敌后游击战争，开辟和建立抗日根据地都产生了重大影响。