两军交战，形势瞬息万变。由于高遵裕忙着处理刘昌祚，而贻误了攻打灵州的最佳战机。如果再想攻打灵州城，可就没那么容易了……
首先夏军已经开始回防了，城里已经不光只有和尚、老道，也有士兵了。其次，宋军轻骑突进，粮草都没带够，就更别提攻城器械了。宋军原本想的是我军一攻进夏境，夏军主力迎击，野战歼灭了夏军主力之后，再去攻城略地。没想到找不着夏军主力，所有的城门都大开着，欢迎欢迎热烈欢迎，全都如此，以至于我军没攻过城，一路兵不血刃接收地盘。到这儿才发现，要攻城了，连云梯都没有。
怎么攻啊？高国舅下令现砍现做，把灵州周围的树砍了，制成云梯攻城。士兵四处侦察了一番，启禀国舅，周围的树可能都没有我们胳膊粗，您去看看吧，此地临近沙漠，水源奇缺，种树也长不高，砍完也没用。这些树甭说士兵往上爬了，五岁孩子一踩就折了，您看怎么办？高国舅也无可奈何。既然没有攻城器械，那就劝降吧。城里没几个人，也许喊两嗓子就投降了。于是高国舅派人到城底下喊，王师所至，尔等竟敢抵抗，还不投降吗？你看我们十几万大军，你城里就这么点儿人，还想顽抗吗？城里的人有意思，上来一个老和尚，慈眉善目，一派仙风道骨。和尚先是一嗓子阿弥陀佛，然后说我是夏国人，没叛变宋朝，我也没跟你们交战，你们来打我，老僧我并没去进攻你吧？我一没叛变，二没跟你交战，我为啥要投降呢？阿弥陀佛。宋军听完，哭笑不得。
刘昌祚和高遵裕束手无策。高国舅一看，既然砍树不成，那就让士兵们都出去背土，十多万大军，甭管原来是步兵、骑兵，现在全改行干工兵，背土垒墙，等垒到跟灵州城墙一边高的时候，咱们就可以发动进攻了。于是宋军士兵纷纷下马，刀枪甲胄全都放下，都去背土垒墙。问题是垒墙也没有工具啊，垒墙得把土夯实了，没有桩子怎么夯土？就这么折腾了十八天，大军困于灵州城下。梁太后在御前军事会议问计的时候，老将就建议囤积大兵在灵州、夏州准备反击，梁太后依照此计调拨兵马，此时夏军主力已经在灵州、夏州云集。一看宋军垒墙，梁太后下令掘开黄河七星渠，以水代兵。大水咆哮着冲向宋军，宋军没做好思想准备，土墙让河水一冲，立刻就垮了。两路大军十多万人马，最后仅剩一万三千多人。有些宋军士兵为了躲水，竟然投奔到灵州城内。请开开城门，我要投降，我就是刚才劝你们投降的那个人，现在我降了，我用实际行动证明我错了。
高遵裕打马就跑，我是皇上的舅舅，我不能死啊！他告诉刘昌祚，你可是被免职的，戴罪立功，你殿后吧。刘昌祚边战边退，伤亡惨重，一直退到了陕西渭州，才站稳了脚，这两路大军算是完全失败了。李宪那路也早已经败了。种谔的大军行至夏州，军粮供应不上，三军无食，号泣不行。当兵的饿得躺在地上哭，竖起招兵旗，自有吃粮人。你竖旗，我吃粮，天经地义，现在你不给我粮吃，我凭什么给你玩儿命啊？再加上遇上暴风雪，九万多人还剩三万，根本无力再战，只好也狼狈撤回。王中正王大公公一看，四路都垮了，就剩我一路了？得，二话甭说，咱们收兵吧，也就撤了。