被迫开始历经磨难的征程之初，经过毛泽东等人的坚持，中央红军决定放弃与红军二、六军团会合的险棋，挥师进军贵州。在强渡乌江天险进入贵州地盘以后，中央红军面临休整的大问题。红军将领们将夺取遵义作为目标，因为遵义是贵州第二大城市，是黔北政治、经济、文化中心，地理位置重要，易守难攻，非常利于部队安扎和休整。
中央红军发起强渡乌江战斗后，贵州守敌惊恐万分。1935年1月3日，贵州守军第二十五军教导师副师长、江防指挥侯汉佑，将防务交给部下第三旅旅长林秀生，于4日仓皇逃回遵义。令他万万没有想到的是，在遵义负责乌江全线防务的第二十五军副军长兼教导师师长侯之担已经上了汽车，准备逃往重庆。他将遵义城防任务交给川南边防军第二旅旅长兼城防司令侯之玺。侯之玺虽自知避免不了被消灭的命运，但依然寄希望于川军援兵，让他“绝处逢生”。
红军总参谋长刘伯承分析了上述情况后，亲自到红一军团第二师布置夺取遵义事宜。考虑到第四团在夺取乌江时吃了很多苦，决定将夺取遵义的任务交给第六团。1月5日晚间，红六团赶到了离遵义只有几十里的团溪镇。第二天拂晓时刻，刘伯承赶到了红六团指挥部，立即召集团领导听取汇报，研究攻打遵义的方案。他要求红六团仗要打得好，还要伤亡少，又要节省子弹，要“多用点智慧”。
1月6日，刘伯承同红六团向遵义进发。中午时分，侦察员报告说，遵义附近发现敌人的外围据点，大约有1个营兵力。按照刘伯承的指示，红六团第一营兵分两路，趁着大雨，以迅雷不及掩耳之势将敌军团团包围，并于当日下午3时向敌军发起猛攻。激战不到1小时，就将这股敌人全歼，击毙了敌营长。敌官兵死伤过半，余下的全部被俘。
为了减少部队伤亡，迅速夺取遵义，红六团团长朱水秋和政治委员王集成建议先头分队化装成敌人溃军，智取遵义。刘伯承立即批准了他们的建议。
6日晚9时，红六团第一营营长曾宝堂带着第三连和团直属侦察排、司号员等，化装成敌军，由十几个经过教育的俘虏带路，冒雨向遵义进发。其余部队随后跟进，准备诈城不成便实行强攻，迅速夺取遵义。红军先遣部队经过两个多小时的急行军，顺利抵达遵义城南门下。这时，城门紧关，敌军的哨兵在城墙上巡逻，悠闲自得。突然间，红军先遣部队故意制造了一种兵荒马乱的气氛，急匆匆地跑到城下，要求迅速打开城门，放部队进去。
在城墙上，巡逻的哨兵被这突如其来的叫喊声惊呆了。过了一会，才气势汹汹地叫喊：“干什么的？”枪栓哗啦啦乱响。
“自己人！”城墙下，俘虏装出一副悲哀的样子说，“我们是外围营的，今天叫‘共匪’包围了，寨子丢了，营长也被打死了，我是一连连长，领着一部分兄弟好歹逃出来了。‘共匪’还在追我们，请快点开门，救救我们吧！”
“你们营长叫什么名字？”城墙上的哨兵不太相信，继续询问。那俘虏毫不迟疑都回答上来了，哨兵没有发现什么破绽。过了片刻，城楼上的哨兵射下几道手电光来，认为这些戴大盖帽的确是自己人，这才放下心来。
城门开了，曾宝堂营长率部队迅速冲了进去，割断电话线，俘虏了城楼上的所有哨兵。这时，司号员吹响了冲锋号，主力部队风驰电掣般冲进遵义城。守敌顿时惊恐万状、乱作一团，在猝不及防的情况下，被打得丢盔弃甲、弃城而逃。
1月7日凌晨，红军胜利占领贵州重镇遵义城。9日，大部队开进遵义城，随后召开了遵义会议。遵义会议结束了以王明为代表的“左”倾教条主义在中共中央长达4年之久的统治，开始确立毛泽东在中共中央和红军中的领导地位，在最危急的时刻，挽救了党，挽救了红军，挽救了中国革命。
此后，红军在正确的思想指导下，开始了新的征程。