即将与王耀武交锋的是日军第二十军司令官坂西一良中将。日军的指挥机构可以临时配属，第二十军原先是为了对苏备战而在东北编成，只是一个空头机构，到达衡阳后，才配属了大量部队，曾列于日军第十一军系列的第一一六师团、第六十八师团如今都是其麾下主力。
接到作战任务后，坂西即开始进行战前准备。日军使用的是五万分之一地图，这样的地图在中国军队里只有营长以上才有，而日军班长以上就有一份。就比例尺而言，五万分之一已经非常精确和详细，但坂西仍觉得不够，为了校正、充实现有地图，他专门派出密探，混过两军的交界线进行了实地侦察。
这些密探并不是一般日本特务就能充任，他们必须具备一定的商业地位，且在邵阳以北、以西地区原来就具有一定社会基础，这样才能在不引人怀疑的前提下，根据已定作战任务，对当地的兵要地志资料进行搜集。
通过侦察，日军纠正了地图中的一些错误。纠正后的图上连一座小桥、一间小庙、一处小树丛都有标记，战时日军便可以比较方便地识别、通过以及组织战斗。
驻邵阳的日军第一一六师团情报队还通过收买汉奸等办法，广泛收集第四方面军的军政活动资料。3月末，情报队发现邵阳以西靠近守军主阵地一带的村庄已经“空室清野”，老百姓纷纷进山，于是他们判断第四方面军已经发现了日军的进攻企图。
战前准备并没有因此而被打断。3月30日，冈村乘飞机到达衡阳，对第二十军进攻芷江的准备情况进行视察。不看还好，一看让他的心凉了半截。
与中国军队呈上升势头不同，此时日军却在走下坡路。第二十军新编的几个独立混成旅团均武器不足，士兵全部使用湘桂会战中缴获的汉阳造或中正式步枪，而且相当数量的士兵都是刚刚从国内征来的十七岁少年兵，缺乏战斗经验。
即便第一一六师团这样的主力，也在“一号作战”中因伤亡和疾病出现较大减员，有的步兵中队仅有约一百人。虽然补充了大量新兵，但因为运输中断，部队常常需要自己到乡村筹集生活必需品。抢掠食粮、油盐、生猪、菜蔬成了他们的主业，有些人居然还在经商，在这种情况下，新兵训练也只能处于半停顿状态。
日军主力向来以火力强盛著称。可是第一一六师团所属的野炮兵联队吃老本已经吃到了要吐，队内火炮型号各式各样，五花八门，连日俄战争中使用过的陈旧山炮都舍不得扔掉，就是看不到一门野炮兵联队应有的野炮。
视察完毕，冈村大有今不胜昔之感，也更加深刻地意识到中日战局已到了危急时刻。陪同视察的坂西倒没有这么悲观，这位日军将领和已经被调回国的横山勇在性格上有颇多相似之处，就是都很爱挑剔上级和上级机关的毛病，有时甚至还会毫无顾忌地破口大骂——那一刻，两人所表现出来的那一份得意和孤芳自赏，别说出将入相，就是让他们登基坐殿，升佛成仙，大约也不肯换。
挑剔和孤傲都得有资本才行。横山勇桀骜不驯，可人家就是能打胜仗，坂西的肚子里也同样装着几句春秋，论指挥经验更不输于横山勇，早在侵华战争初期，他便在土肥原手下担任大佐联队长，是依靠战功一步步晋升上来的。
另外一方面，那些冈村看着掉价的独立混成旅团此次并不参与芷江作战，跟着一道去的都是向第一一六师团看齐的一线野战部队，坂西自然有理由相信自己可以比横山勇做得更好更出色。
4月5日，日军第二十军在衡阳召开会议，坂西向各部下达了进攻芷江的作战命令。会议结束后，第一一六师团长菱田元四郎中将在一个小队的警卫下，于晚间从衡阳返回邵阳。半途中突然遭到游击队的袭击，警卫小队死的死，伤的伤，仅少数人护卫着菱田逃回邵阳。
仿佛是三国演义中，一阵劲风吹断了营前的旗杆，对坂西和第二十军来说，这绝对不是什么吉兆。只是事已至此，当事者也只能佯做不知，继续把唬人模样装到足。
在战术安排上，坂西与横山勇相比也没有太大差别，都是遵循“反天炉战法”的模式，即两翼加厚，中间突出，具体表现为南北中三面进兵，其中的中路为进攻重点，由第一一六师团承担。
4月11日，日军第一一六师团所组织的饭岛挺进队开始第一个秘密西进。他们的任务是在会战正式开始之前，抢先占据雪峰山隘口，同时造成守军混乱，从而为日军后续部队顺利进入山区创造条件。
挺进队成员都是选拔出来的精兵，共四百人，所有人都不带任何行李、马匹，随队的步兵炮、重机枪、弹药、粮秣均靠自己挑抬。
因战术需要，日军各部队在会战中投入作战的先后时间不一，但无一例外都携带了充足的弹药，除挺进队外，其余部队沿途均须强拉民夫进行运送。与此同时，日军所带的军粮却不多，粮食方面完全依赖于就地征掠。这说明坂西和横山勇一样，都不太顾忌于后方联络线的安全，一心只想着赶紧攻占芷江。