农业支撑不了过大规模的建设。陈云力主动员两千万城市人口下乡。
要渡过难关，光在粮食来源上打主意是不够的，还必须想办法把粮食销量减下去，减轻国家粮食供应的压力。陈云当时计算，进口粮食超过100亿斤有困难，因为没有那么多的外汇，也没有那么大的运输力量。农业欠收引起了严重的粮食危机，城市人口增长过快更加剧了这一危机。“大跃进”以来，建设规模迅速膨胀，几年间增加了2000万职工。这么多的劳动力从农村进入城市，一方面削弱了农业生产，另一方面增加了国家的粮食负担。为此，陈云力主动员大批城市人口下乡。
1961年5月21日至6月12日，中共中央在北京召开工作会议，主要是讨论农村工作、商业工作和城乡手工业工作问题。在会上，陈云就精减职工和城镇人口下乡问题，作了重要讲话。
陈云提出，面前摆着两条路：一个是继续挖农民的口粮；一个是城市人口下乡。两条路必须选一条，没有什么别的路可走。
陈云不主张再挖农民的口粮了。当时农民口粮已经挖得很苦，再挖下去，农业就没法恢复。
挤农民口粮的一条路走不通，那就只有下决心动员城镇人口下乡。但是，这个决心实在是很难下的。
陈云的这一主张，与周恩来、邓小平等中央领导人不谋而合。中央迅速采纳了这一主张。6月16日，中共中央批准并于18日发出由中央工作会议制定的《关于减少城镇人口和压缩城镇粮食销量的9条办法》，提出在1960年底的基础上，3年内减少城镇人口2000万以上。同日，中央还发出《关于核实城市人口和粮食供应的紧急指示》。为此，中央成立了核实城市人口和粮食供应小组，由安子文任组长。当年，就有1000万城镇职工告别城市，回到乡村。
陈云一直在呼吁抓紧这项工作不放松。他的一再呼吁与督促下，1962年5月27日，中共中央、国务院下达《关于进一步精减职工和减少城镇人口的决定》。
中央作出精减城镇人口的决定以后，各地迅速行动起来。2000多万城镇人民，体谅国家困难，响应党的号召，打点起行李，扶老携幼，回到祖祖辈辈生息繁衍的土地上，重新拿起了锄头镰刀。他们为国民经济的恢复和发展作出巨大的牺牲和贡献。
1963年7月31日，中共中央在批转中央精简小组《关于精减任务完成情况和结束精减工作的意见的报告》中，宣布减少职工，压缩城镇人口的工作基本结束。据统计，自1961年1月到1963年6月，全国职工减少1887万人，城镇人口减少2600万人，吃商品粮人数减少2800万人。上述报告指出：“由于大量地减少了职工、城镇人口和吃商品粮的人口，加强了农业战线，减少了工资开支，减少了粮食销量，提高了企业的劳动生产率，对于改善城乡关系，争取财政经济状况的好转，起了很大的作用。”