经过10昼夜的苦干，一条310米的坑道终于挖成了。之后部队又用一天时间，将从山东军区和鲁中军区运来的1500公斤黑色炸药和150公斤黄色炸药安装好。
一切准备就绪，李作鹏将部署上报罗荣桓批准。
部署是：以原教导2旅4团担任第一突击部队，一部在城西北角实施突击，主力位于城南待机；以鲁中2分区11团和警卫营担任第二突击部队，主攻西北角，特务团配置在城东待机；其余部队为预备队。同时派王全珍率两个步兵连和两个民兵连负责运送弹药。鲁中2分区政治部主任孔繁彬负责救护伤员。
为便于靠前指挥，攻城部队将突击部队各团指挥所在距爆炸洞口约300米处开设。吴瑞林把鲁中2分区指挥所设在距突破口350米处。
10日夜，一阵震耳欲聋的爆炸声划破静寂的夜空。硝烟和尘埃散尽之后，120米长的大缺口裸露在指战员眼前，爆破成功了。
教导2旅4团1个营按计划率先向爆破口冲去，然而两次攻击均受阻。
“第二突击队的第一、二两个梯队上！”吴瑞林果断地下达了命令。
话音刚落，11团1营在营长彭玉龙率领下冲上西北角城墙，控制了西北角，之后，由突破口向东侧卷击。
警卫营营长董至相率该营1连紧随其后进入突破口，之后向突破口西侧卷击。突破得手后，为防止敌反击重新封闭突破口，吴瑞林命令担任第三梯队的11团3营迅速巩固突破口，第11团2营和教导2旅4团的1个营为预备队，随时准备加入战斗。
部署完毕，吴瑞林把指挥所转移到突破口西城墙上的一个用麻袋包临时搭起的掩体里，指挥纵深战斗。
尽管遭到敌拼命抵抗，部队仍进展迅速，当向两翼攻击的部队进至距北门和西门楼200米左右的距离时，吴瑞林令第三、四梯队和教导2旅4团的1个营，除以部分兵力巩固突破口外，主力加入纵深战斗。
西北角被突破后，敌军慌忙从东面和南面调集兵力，企图实施反击，恢复防御。见敌东、南两面兵力空虚，吴瑞林遂令特务团和教导2旅4团两个营从东、南两面架云梯攻城。两部登上城后，迅速向纵深挺进。
战斗进行得相当惨烈。这是较劲的时候绝不能后退，吴瑞林与团的指挥员商量后，决定将特别预备队投入交战。这支预备队由30名经过认真挑选的大汉组成，他们每人配有1把匣子枪、100发子弹和一柄7尺长带钩的长矛，用以专门对付敌四五尺长的关公式大刀，同时杀死敌人后还可以把敌尸体拖过来。就这样攻城部队与敌一个堡一个堡地争，一条街一条街地夺，经过十余个小时的枪战和肉搏，终于全歼皇协军主力敢死队，并包围了北门城楼和西门城楼。城楼上的敌军见大势已去，纷纷缴械投降。
与此同时，11团3营攻占了城内天主教堂。至此4个城门均为攻城部队控制，胜利在即，吴瑞林接通电话，向罗荣桓汇报了攻城进展情况。
“好啊，打得好呵，祝贺全体攻城指战员同志们取得的胜利，祝他们继续奋勇前进，彻底消灭一切顽抗的敌人！”罗荣桓高兴地说。之后罗荣桓又严肃地说，“同时，所有攻城部队都不得伤害城内人民，不允许对城内商店和资本家有任何侵犯行为，违者要按纪律论处！”
放下电话后，吴瑞林命令道：“立即把罗司令员的命令传达到每一个指战员。”
5路大军攻入城后，经过十余个小时的激战，于9月11日全歼守敌。活捉汉奸许兰生和邵子厚。临沂城解放了。
战后，攻城部队举行了盛大的入城式。鸣礼炮10响。
至此历时近一个月的临沂战斗胜利结束，为了这一胜利，英勇的八路军付出了3000人的伤亡代价。
临沂解放后不久，山东分局、山东省政府和山东军区指挥机关于8月20日进城，后来华中局和新四军军部也进驻该城。
临沂成为中国共产党和人民军队在山东乃至华中地区的指挥中心。