伪军吴化文被打跑后，鲁中根据地面积扩大了1000多平方公里，使沂、鲁、泰、蒙四大山区连成了一片。随后，山东军区司令部为完成逐步向北扩展任务，由参谋处长李作鹏提出了夏季攻势计划：“鲁南军区拟于7月中旬配合湖西部队和新四军攻击周侗、申从周两股伪军，控制湖东地区，打通鲁南与湖西的联系。渤海军区正在加紧策动丰城伪军王道部起义，并拟于8月中旬攻克利津城。滨海军区拟于7月下旬攻击伪军李永平部。鲁中军区拟于8月下旬攻克沂水县城。”
罗荣桓接着说：“夏天攻势的重点是攻克沂水城，告诉王建安他们要严密组织，精心部署，我军首次攻打设防坚固的城市要多动脑筋，总的方针是以小的代价，夺取大的胜利。”
1944年的夏天雨水很大，沂河里的水一天天涨起来，巨浪翻滚，涛声惊岸。
为了进一步靠近沂水城，鲁中军区的八路军在这个多雨的夏季发起了新的攻势，于1944年6月11日，先在临朐南部地区攻克了大关、小关、蒋峪3个日、伪据点，切断了敌临朐至沂水公路的交通线。12日以后，八路军又在蒙阴南部、费县以北地区作战，消灭了伪第3方面军1旅的王立庆部1100余人，摧毁了日伪环绕蒙山的封锁线。接着，在沂水城南，八路军部队攻克了大虎头、孟家围子、袁家城子3个日、伪据点，切断了敌沂水至临沂的公路。这样，沂水城的北、南、西三面均暴露在八路军的威胁之下，城中守敌立即陷入了孤立状态。
沂水城是鲁中地区的重镇，也是沂蒙山区的腹地。它东靠苍松翠柏的山岭，西临咆哮奔腾的沂水河。这里交通方便，是沂水至青州、沂水至临沂、沂水至博山、沂水至蒙阴、沂水至莒县5条公路的连接点，东达黄海之滨，西通沂蒙山区，南抵鲁南重镇临沂，北接胶济铁路上的青州市，历来都是兵家必争之地。
自1939年日军侵占沂水城以来，他们为了控制和巩固这一战略要地，苦心经营，构筑工事，修建飞机场，加固了城防设施。城内守敌，为伪县长牛先元部的8个中队，共1000余人。城的南关，则由1个日军中队据守，建有3米高的坚固围墙，围墙内的东北、西北、东南、西南角和中心都建有碉堡，高高矗立。沂水城四周，也安置了小据点，西有黄山铺、崖庄、龙山，南有斜午，西北有武家洼，东北有凤凰头，东南有满堂坡、四十里铺等。每个据点都有伪军把守，和沂水城中之敌遥相呼应，形成了一个牢固完整的防御体系。从此，沂水城就成了日军在鲁中发动“扫荡”的基地。日军的军事指挥机关、特务机关，都设在城里，每次对鲁中地区进行“扫荡”，几乎都在这里策划和调动兵马。
如今，八路军已经兵临城下。罗荣桓适时地向鲁中军区发来命令：认真准备，力争一举拿下沂水城。
鲁中军区司令员王建安、政治委员罗舜初、区党委副书记高克亭、参谋处处长胡奇才等多次开会研讨攻城计划，并几次召集各军分区和各团的负责人，讲明攻打沂水城的重要意义，研究兵力部署及任务区分。
经商讨，最后决定：参战部队由鲁中军区的1团、2团、4团、11团、军区特务营和部分地方武装及民兵构成。4团1、2营负责攻坚，主攻日军炮楼据点；3营在沂莒公路阻击莒县增援之敌；1团为主、11团配合负责攻城，歼灭城里伪军；2团一部在蒙阴城以东，准备打击蒙阴出援之敌；军区特务营负责攻歼城南斜午伪军；地方武装围攻外围据点。由于王建安要去山东军区开会，这次攻城作战由罗舜初、高克亭负责指挥，胡奇才予以协助。此次攻城，在战术上要步兵与爆破相结合、攻城与打援相结合，要隐蔽突然，奔袭包围，速战速决，一定要在敌援兵赶到之前结束战斗。
任务确定后，各部队马上行动，侦察敌情，熟悉地形，准备炸药，细化任务。
8月15日晚，罗舜初命令4团发起对沂水城东南炮楼据点的进攻。信号弹乘着夜色飞入沂水上空。顿时，枪声大作，弹飞如雨，火光闪闪，响声冲天。
对东南炮楼据点的进攻也是各路部队发起总攻的信号。4团的枪声一响，所有部队全部启动原定作战计划。攻城部队如猛虎下山，排山倒海似的向沂水城冲去。
至17日6时，攻打沂水城的战斗全部结束。被日伪统治6年之久的沂水城，获得了新生。八路军解放沂水城的消息，像浩荡的东风，吹遍了沂河两岸。群众欣喜若狂，奔走相告。在通往沂水城的大道上，人群拥挤，热闹异常。欢乐的歌声，愉快的笑声，叮叮当当的锣鼓声，响遍山岭上下，沂河两岸。
这一战，历经一天两夜，鲁中八路军全歼沂水城守敌，打死日军83人，俘20余人，毙伤伪军200人，俘伪县长牛先元以下800余人。沂水城的解放，拔除了日、伪占领的据点，扩大了解放区，缩小了敌占区，不仅使鲁中区内部连成了一片，同时也使鲁中和滨海两个战略区更加紧密地连在了一起。