杨乃武出狱之后，与亲人相聚，又悲又喜，宛如隔世重逢。他虽然已是双踝肿烂，遍体鳞伤，但仍同杨詹氏乘车遍叩曾在此案中对他有帮助的人。但浙江京官，虽大多数人都曾插手此案，其意并不在杨乃武。既然得了便宜，不愿意再过招摇，所以很多人都是婉拒不见。
杨乃武打了三年官司用尽了家产，一贫如洗，家徒四壁，被革去的举人功名也没有恢复，更没有得到一丝一毫赔偿。就连杨乃武全家返回家乡的路费，还是靠了杨詹氏拿胡雪岩的书信找到北京阜康分号档手得到的资助。杨乃武回到家乡后，直养了一年刑伤方才痊愈。
平反这一年，杨乃武36岁。经历了三年多的牢狱之灾、各种刑罚残忍折磨以及长久的精神压力，杨乃武虽死里逃生，家人团聚，但受此打击，痛定思痛，性格大变，极怕招惹事端。由于他名声太盛，找他来写状子的人比以前更多了。杨乃武实在无法推托，家境又十分困难，希望借此得些补贴。便想出了把状子写在水牌上，别人抄好后擦除的方法；或用沙泥铺地，执棍棒在沙泥上写状词，再由别人缮抄入纸，不留笔迹，以免再遭横祸。
杨乃武养好伤后，还到上海去拜访《申报》编辑人员，对他们仗义执言表示感谢。《申报》的英国老板美查，知道他文采出众，又成了公众人物，便挽留他在《申报》担任主笔。杨乃武感恩图报，欣然从命。但只作了一个多月，就因一篇文章得罪了出使英法二国大臣郭嵩焘。郭嵩焘见报勃然大怒，一面从英国请了一位著名的律师，专程赶往上海，要与《申报》打官司；一面催责上海道要报馆交出编辑和作者。杨乃武一听如惊弓之鸟，当天便辞别《申报》逃回余杭。后来在余杭县对任何人都未提起过自己曾在《申报》任职的事，就是自己的家人也未告诉。
杨乃武祖上以种桑养蚕为业，因受官司家产荡尽，又心灰意冷绝了做功名的心，他便在亲戚朋友的帮助下赎回几亩桑地，以养蚕种桑为生，专心研究孵育蚕种。余杭盛产丝棉，行销全国。杨家本来就是世代养蚕，对育种有一定经验。过了三年，杨乃武所育蚕种名气就传开了，远近都来购买，日子也渐渐好转。杨乃武家的蚕种牌记是“风参牡丹，杨乃武记”。凡是杨家出卖的蚕种，都盖上了这个牌记。因为这种“凤参牡丹”蚕种的孵化率高、抗疫性强，所以名扬杭嘉湖平原。直到今天，该蚕种仍为业内人士所称道。
杨乃武认为自己畏刑乱供，攀咬钱宝生在先，钱宝生后来做伪证是不得已而为之。所以对钱宝生怀有愧疚之心，后来找机会还给“爱仁堂”药铺写了一副对子以表歉意。该对联上联是：名场利场，即是戏场，做得出满天富贵。下联为：寒药热药，无非良药，医不尽遍地炎凉。横批：镜花水月。
对于小白菜诬攀他，杨乃武多次对家人道：“毕秀姑屈打成招，逼于酷刑，不能怪她。”据有关人士考证，杨乃武曾到小白菜出家的“准提庵”去过一次，双方深感内疚。多年后，小白菜用黄表纸留下一段由她口述、妙真执笔的遗言，声明“杨二爷蒙受天大不白之冤”，“均我所害”，“二爷之恩，今生今世无法报答，只有来生再报。我与二爷之间绝无半点私情，纯属清白。后人如有怀疑，可凭此字条作证”。
杨乃武就是这样安静地度过了自己的后半生。直到民国三年（1914年），杨乃武后颈部患疮疽之症，医治无效去世，终年七十四虚岁。葬于余杭镇西门白虎山新庙前。据说杨乃武生前钻研阴阳术，墓地是他自己选定的。