40年代初期，陕甘宁边区和各敌后抗日根据地发生了空前严重的物质困难，机构庞大、农民负担过重的问题比较突出。
当时，陕甘宁边区人口不到150万，其中脱产人员呈直线上升趋势。1939年后，主要是0年和1941年，国民党发动两次反共摩擦，用重兵包围边区，并伺机大举进攻。中共中央被迫从前线陆续调回军队，保卫边区。边区脱产人员（主要是军队）猛增：1938年仅16万人，39年增至49万人，1940年61万人，1941年达73万人。人员增加，支出随之大幅度增长。而1940年10月国民党停发了八路军军饷，同时实行断邮，外援大部断绝，财政收入锐减。
支出增加，收入减少，势必增加人民的负担。
党中央曾规定，党政军脱产人员不能超过人口总数的3%，但此时实际已达到54%。1941年征公粮20万石，已占边区粮食总产量的138%，比1937年只占128%，增加了10多倍；人均负担1斗4升，比1937年负担1升，也增加了多倍。
为克服困难，减轻人民负担，中共中央除开展大生产运动，从发展经济中解决财政问题，进行“开源”外，另一个方法是节流。毛泽东说：“我们必须克服这个困难，我们的重要的办法之一就是精兵简政。”
精兵简政，是李鼎铭等人提出来的。
1941年11月，陕甘宁边区召开了第二届参议会，李鼎铭受共产党“自力更生，克服困难”原则启发，联想到“汉高祖之成功，是在关中推行精兵简政”的史实，认为现在边区要渡过难关，只有开源节流，实行精兵简政。他同姬伯雄等几位参议员商议后，毅然向大会提出提案：
“政府应彻底计划经济，实行精兵简政主义，避免入不敷出、经济紊乱之现象。”
“兵要精，政要简，行政机构要质胜量，提高办事效率。”
这一提案提出后，反响很大。
有的议员说：“现在正值抗日救国的紧急关头，敌人以大量的兵力向我们进攻，这时还要我们边区精兵简政，这不是叫我们自己束手就擒吗？”
这些人认为这个提案是别有用心。
大多数议员则认为这个提案对于解决边区财政经济困难很有用。因此，大会表决时，以票的多数拥护通过，并决议“交政府速办”。
精兵简政的提案送到毛泽东手里后，毛泽东极为欣赏和赞成，他反复阅读，拿起红笔把重要的段落圈起来，一字一句地抄下来，旁边还加了批注：
“这个办法很好，恰恰是改变我们的机关主义、官僚主义、形式主义的对症药。”
第二天，毛泽东出席参议会，充分肯定了这一提案，并亲自找李鼎铭谈话，进一步征求他的意见。
经党中央讨论后，1941年12月13日，向各抗日根据地发出了精兵简政、发展经济的指示，普遍推行。
1942年9月，毛泽东为延安《解放日报》写了题为《一个极其重要的政策》的社论，指出：
要把精兵简政作为一个极其重要的政策看待。
他以“气候变化了，衣服必须随时变化”的生动事例来说明这个政策。他说：精简庞大的机构，就好比是人褪去冬衣，穿起夏服，以便轻轻快快地同敌人作斗争。
他还说：“我们八路军新四军是孙行者和小老虎，是很有办法对付这个日本妖精或日本驴子的。目前精兵简政，我们变一变，把我们的身体变小些，但是变得更加扎实些，我们就会变成无敌了。”
此后，党中央把精兵简政作为边区和各抗日根据地的一项基本政策列入十大政策之一。
陕甘宁边区最先实行精兵简政，并把它当作政府工作的一件大事来抓。
1941年底，边区召开政务会议，决定设立一级编整委员会，由刘景范、高自立、周文、周兴、南汉宸等5人组成，负责边区各级行政机构的精简、裁并，拟定人员编制和编政计划。
边区政府还陆续制定了一些政府机关组织条例、管理条例、奖惩条例、公约，为简政规定了具体目标、任务和要求。
对调整出来的人员，有以下处理原则：
（1）凡是有相当文化程度，有能力，能工作的干部，应该尽量往下移，以加强县、区、乡的机构；（2）凡是须继续培养，加以深造的干部，应该经过一定的系统，送学校学习；（3）凡有疾病不能工作或学习的干部，应该经过一定的系统，送学校学习；（4）凡身体强壮的杂务人员，去参加生产事业；（5）凡落后的分子，以及太老弱的杂务人员，应帮助他们回家去务农，做到人人各得其所。
从1941年底至1943年底，陕甘宁边区先后进行了三次精兵简政。到1944年初检查，已基本实现预期效果。
在政府系统，各厅、处、院的内部机构，裁减1/4，边区政府直属机关从35个减至22个，专署及县府的内部机构从8、9个减至4、5个不等，消除了头重脚轻的积弊。
人员上，边府各机关的人员都已按计划精简，办公厅、民政厅、财政厅、建设厅、教育厅和物资局等6个单位从原有的469人减至279人，精简40%多。各级机关总人数减至7500名，达到脱离生产的政民工作人员不超过边区居民总数1%的目标。
干部调配上，从下级提拔了一些干部到专署和边府工作，也派一些得力干部去加强区、乡政府工作。如延安县有10个县级干部调区，20个区级干部调乡，边府调入5个县长当处长。
政策、法令、命令、指示已基本统一，政出多门的现象少了，组织上加强了“一元化”。
由于精简了机构和人员，从上到下“官僚”少了，精简后加强了基层工作，工作效能提高了。如边区通讯站日平均投递量在1至4月是16661件，5至11月激增至30078件，提高效率80%以上。在政府经营的工业中，效能提高的程度更惊人。由于在简政中反对官僚主义、改善领导作风，各级机关中干实事的人民勤务员多了。加上机关、军队厉行节约，自己动手，对经济建设贡献很大，边区民力的动员也大大减少了，如延安1941年动员民力6万多个，1942年只动员民力28万个，减少一倍多。绥德1941年动员民力75万个，1942年仅900个。
与此同时，八路军留守部队贯彻实行“精兵”方针，使部队人数不超过边区居民总人数的2%。直属部队裁减的人员转到生产战线。
根据这一方针，边区留守部队第一次精简了3000人，1943年又缩减了1400人，原有自卫队指战员1000多人，都转入农村生产，由完全脱产变为不脱产。
各抗日根据地也循此进行了精兵简政。
此项政策的实施，解决了抗日根据地存在的“鱼大水小”、“头重脚轻”的矛盾，减轻了老百姓的负担，便于克服物质上的困难；同时提高部队战斗力，改进了各级政权的行政工作，“出现了政简民便，兵精粮足的新局面”。
1944年9月，在追悼张思德大会上，毛泽东又一次肯定了精兵简政。他说：
“这一条意见，就是党外人士李鼎铭先生提出来的；他提得好，对人民有好处，我们就采用了。”