民国初年，某地有个老石工手艺很好，据说能夺造化之秘，这当然是夸张。不过，传说当地有个姓陈的大户人家，老太爷八十八岁去世，家人请了这石工来刻过一对石马。这对石马刻得极为精致，乡间顽童放牛经过这里时，总要骑在上面玩。久而久之，马背都被磨得光可鉴人。
一天，一个打猪草的村民早起从这里经过。大人不比小孩，总要绕开坟地走。他路过时，忽然听得坟地那边有个人说：“糟糕，今天我有公事，‘照夜白’却伤了左前蹄。差五，把你‘干草黄’借我用一下吧。”另外有个声音道：“不成，今天我也有份公事。”说着说着就吵了起来，似乎要打架。一大早在坟地里听到两个当差的说什么公事，这村民觉得好奇，过去看了看，却没见人影。
他心里有点儿发毛，心想：莫非撞上鬼了？便急忙回去了。后来，他把这事当奇闻异事和人说了，一来二去，就传到了陈家人的耳朵里。陈家大少在外地，守家的陈二少一听却吃了一惊。原来，陈家老太爷早年从军有过两匹好马，一匹叫“照夜白”，另一匹叫“干草黄”。马的寿命只有四五十年，早已死了。但老太爷对这两匹爱马念念不忘，生前把图样画出来，要儿子在自己坟前树两匹马的石雕。陈二少请了老石工雕马，却没有跟他说过马的名字，村民更不可能知道。可是传言里却说得分毫不差，陈二少实在搞不明白。
有一年，陈二少接到一个久未来往的朋友寄来的信，说最近将要造访。这朋友名叫迟海生，经历相当奇特，口才极好，加上见多识广，陈二少很喜欢和他闲聊。刚接到信的第二天，迟海生就到了。陈二少有点儿奇怪，问怎么这么快。迟海生笑着说定是那邮局走得太慢，两人谈得很是投机。
有一天，天气晴好，两人便相约去乡间作踏青之游。经过老太爷的坟地附近时，陈二少想起了村民说的这件怪事，便向迟海生说了。迟海生一听却皱起眉头，说快过去查看一下，看是不是有匹石马的蹄上有破损了。陈二少过去一看，墓左边那匹石马的左前蹄果真缺了半个，只怕是乡间顽童玩闹时砸坏的，不注意看的话根本看不出来。迟海生看了却跺脚道：“糟糕！”陈二少吓了一跳，问他是怎么回事。迟海生说，村民听到的那两个人定是阴间的鬼差，所以才说什么公事。这两个鬼差原本一人一匹马，但一匹马瘸了，两人一匹，便起了争执。
鬼差以石马为坐骑，倒也很符合村言乡谈的诡异之风，陈二少一时想不出有什么糟糕。迟海生却说：“这石马是给老太爷的，鬼差是阴间的差官，怎么能占民财为己有？这两个鬼差定然跋扈不仁，在阴间欺凌老太爷了。”陈二少一想，觉得还当真如此，便问该怎么办。迟海生说：“当初只怕你没给老太爷烧纸马吧？”所谓“纸马”，倒也并不都是马，那些纸糊的仆人、器物全叫纸马。
陈二少接受过新教育，不太相信这些，老太爷下葬时还当真没烧纸马，就烧了些纸钱。迟海生这般说法他半信半疑，但既然这样，就姑妄听之，反正纸马也便宜。于是就说，清明快到了，到时去香烛店订一整套长班丫鬟，男男女女烧十七八个下去，想来老太爷在九泉之下有这么多仆人，鬼差也就不敢轻易欺负了。迟海生说事不宜迟，要烧就快点儿烧，老太爷在底下能少受点儿苦。陈二少见迟海生如此热心，倒不好忤他的意，便马上去香烛店订了一批纸马来。迟海生倒很内行，该糊成什么样子的，一一都有说道。奇怪的是，他还要香烛店在每个纸人脚下都写一个“五”字。写个“五”字也不是很难，香烛店自然遵从。
这天纸马烧下去，晚上就风雨大作。时近清明，阴晴无定，那倒也是常事。晚间，陈二少便和迟海生小酌。迟海生本是海量，这一天却像是不胜酒力，才两三杯就昏昏沉沉的。陈二少正觉没趣，迟海生却突然醒了过来，笑道：“老二，看谁狠！”陈二少问怎么了，迟海生说没事。两人谈笑风生，迟海生说的尽是些怪异之事。风雨之夜，两人高谈阔论，倒也颇得其乐。第二天迟海生便告辞走了，陈二少留他不住，也只能由他。
送走了迟海生，过了两天，家中佣人突然来报：“有位迟先生前来拜访。”陈二少呆了呆，出去一看，正是迟海生。他大为吃惊，便笑道：“迟兄，怎么去而复返？”迟海生却更吃惊，问陈二少何来此言，自己今天才到。陈二少诧异道：“你前几天不是来过了吗？”陈二少把此前的事一说，迟海生皱起眉头，道：“他要你给老太爷烧纸马吗？怪事！”他仔细听了前后经过，说：“我去看看吧，顺便也给老太爷上个坟。”
到了老太爷的坟地，附近村民说，前几天风雨大作之时，老太爷的坟地上怪声四起。仿佛有很多人在械斗，当中还有人惨叫，叫声大多听不清，只听得一句：“差五你好狠！”声音怪异，不像人声。陈二少听得奇怪，迟海生却问道：“附近有没有石翁仲？”所谓“石翁仲”就是石人。村民说老太爷坟地左边还真有一个，据说是明末一个巨公的坟地。当年墓前石人石马罗列成行，很是堂皇。现在墓早已不存，石人也只剩了一个。那天大风大雨，剩下的这石人突然成了碎片，不知是不是被雷打的。
迟海生依言在荒草中找了一阵，忽道：“在这里了。”陈二少过去一看，却见草丛里有一个破损的基座。当初应该是个石人，因为基座上还剩一双鞋，鞋面上刻着“差二”两个字。迟海生说：“对面肯定还有一个。”陈二少过去在草丛里一看，果然找到一个半埋在土中的石人，鞋面上刻的是“差五”两字。迟海生说：“就是这两个东西在捣鬼。”
他说，这两个石人受天地灵气已久，成了精怪，见老太爷坟前的石马雕得精致，便两相争夺。差五定然争不过差二，就变成迟海生的模样，骗得陈二少烧了不少纸人下去，这才将差二给毁了。
迟海生道：“这差五太下作，不能让他太便宜。”说着咬破手指，在老太爷墓右边那匹没有破损的石马背上写了个“五”字，道，“明天二少来看个新鲜吧。”
第二天，陈二少过来一看，却见石马背上多了一片黑痕。附近乡人说，昨晚坟地又有怪声，早上有人看到石马背上有一团黑影，似乎挣扎着想下来，却又好像被粘在了马背上。结果天一亮，太阳出来后这团黑烟也就散了。陈二少又去看那个鞋上写着“差五”的石人，只见它已成碎石，心知定是迟海生施的法。陈二少又问迟海生，这差二和差五争吵，对老太爷的魂魄有无妨害，迟海生笑道：“死了死了，一死便一了百了，老太爷是什么都不知道了。”说完便告辞离去。
这迟海生早年做过道士，后来还俗出国留学，刚拿了个博士回国。在那个时代，这样的人物多半能出人头地。但迟海生后来的下落，却没人知道，也不知他去了哪里。