留田突围之后，罗荣桓才获悉山东纵队在沂水县以西的马牧池遭敌人袭击的事情。
日伪军对山东纵队机关的合围是从11月2日子夜开始的。由于山东纵队机关的麻痹大意，他们对敌人的袭击丝毫没有防备。3日晚，当合围完成之后，一支400余人的日军大队从蒙阴秘密出动，不走大路，不经村庄，诡诈地穿越原野、丘陵，于4日拂晓偷偷逼近马牧池。
站岗的哨兵在被敌人袭击的一瞬间，机智地扣动了步枪扳机。报警的枪声突然打破幽静的黎明，但已经晚了，日军开始向村子里施放毒气，刺鼻的芥子气当即就毒倒了一批人。这时，山东纵队机关的警戒指挥员已清醒过来，命令大家用帽子捂住口、鼻，顶风突围。在警卫连的掩护下，机关人员七零八落地从村里分散冲出，突围到了南墙峪一带。
6日，日军又追踪到了南墙峪，第二次对山东纵队机关进行合击。在与日军顽强的搏斗中，山东纵队机关再次突出包围圈。
此时，刚刚从留田突围出来的罗荣桓已与山东纵队机关取得了联系，立即命令他们向天宝山一带转移，冲到外线后，再向泰安、泗水、宁阳地区前进。同时，罗荣桓还调动第115师的一个营去接应他们，直到山东纵队机关安全到达泰泗宁地区的石莱，转危为安。可是，此时的山东纵队机关已遭到了很大损失。
山东纵队机关已经安全了，第115师师部往哪里去？
罗荣桓找来朱瑞、陈光等人，几人经认真研究和深入讨论后认为，如果第115师离开沂蒙山区，转移到外线去，虽然自身比较安全，但根据地内部已无主力坚持反“扫荡”斗争，必定会遭到敌人的严重破坏。因此，眼下的最佳选择是回师沂蒙山区，坚持反“扫荡”斗争。
于是，罗荣桓等又率师部并调驻在滨海区的山东纵队2旅一个营挺进东蒙山，重新返回旧日熟悉的沂蒙根据地。
但这些根据地，经过日军“扫荡”的洗劫，如今已面目全非，被敌人的“三光政策”搞得满目疮痍。据统计，人民群众3000余人惨遭杀害，被抓壮丁1万余人，妇女被凌辱者难以计数。根据地房屋被烧毁者达1/4，八路军常驻村庄几乎都成赤地。老百姓的牲口、家禽、粮食被掳掠殆尽，生活用品被破坏无遗。部队的炊事班找不到锅，只好用提水的瓦罐做饭。
“我们回来对啦，我们不能丢下这里不管呀。”罗荣桓自叹道，“八路军如不重返沂蒙山区，这一地区就会沦陷，胶济路以南各根据地都将更难坚持。”
针对这一情况，罗荣桓提出，要“打掉日军宣抚班，制止伪化活动，鼓舞群众情绪”。于是，他将机关和抗大一分校的人员分为若干工作组，分赴各地发动群众，开展游击战，打击汉奸。
罗荣桓率部在沂蒙山区由西向东，从南到北，同日伪军兜圈子。他经常“以敌为轴心转动”，同一路日伪军保持不即不离的状态。有时，日伪军刚刚从东面出村，他就带着队伍从西面悄悄地进了村，日伪军烧的开水还是热腾腾的。这样做的好处是对这一路日伪军的行动了如指掌，而日伪军却料想不到他们日夜寻找的八路军就在他们的屁股后面。因此，他认为在反“扫荡”中，跟着敌人走往往比较主动，而被敌人追着走，往往陷入被动。但是，由于敌强我弱，在敌人“扫荡”时，有时也会出现被敌人追击甚至合击的被动情况。他认为在这时最重要的是尽快摆脱敌人。
一天，在指挥所附近又发现了敌情。罗荣桓立即率部向马牧池方向转移，途中遇到一条河，河上架有一座只容一人通过的独木桥。队伍要过桥，只能改为一路纵队，行军速度大大减慢了。按这个速度，不等队伍过完，敌人就可能追上来。罗荣桓来到河边，看看那哗哗的流水，再看看独木桥，然后把作战参谋侯向之叫到身边说：“这样过不行，要动一动脑筋。你沿着桥从河里过去，看看水有多深。”
侯向之脱掉棉裤，一下水，感到像刀子一样扎人。他咬着牙，一步一步过了河。水不过齐腰深。此时已过立冬，水虽然很凉，但人完全可以过。罗荣桓立即下令，全部徒涉。于是，一路纵队改为横队，部队很快就过了河。
过河后，有的参谋建议把桥拆掉，以免被日军利用。罗荣桓下令：留着它。同时派人把河两岸的脚印都扫掉，消除涉水的痕迹。
罗荣桓身边的参谋人员都明白了他的用意，高高兴兴地去执行命令了。日军惯于按条令机械办事。有这样一座桥，他们便会顺着桥走。如果没有了桥，倒反而会逼着他们加快徒涉。显然，让敌人从桥上慢慢通过对八路军更为有利。
在反“清剿”期间，罗荣桓指挥部队在旧寨、三角山、绿云山等地反击日军“清剿”部队，歼灭日伪军数百人。但是，11月29日，师部和分局机关部分人员在转移过程中，于大青山遭敌合击。在突围中，山东省战时工作委员会副主任兼秘书长陈明、第115师敌工部副部长王立人和国际友人希伯壮烈牺牲。朱瑞的夫人、中共山东分局妇委委员陈若克和她刚出生的孩子不幸被俘。陈在敌人面前，英勇不屈。12月26日，她紧紧抱着自己的孩子，双双惨死在日军的刺刀下。