词曰：
记当年，桃李下，遇娉婷。立画桥，流水滢滢。
多情蝴蝶，此时无计报深恩。玉堂金马尽都配，绝世倾城。
喜知音，同携手，山中约，薄虚名。羡丹砂，服食长生。金鱼紫绶，由来辜负了初心，何如丘壑少尘事，扰乱无闻？
——右调《金人捧玉盘》
话说袁太守将一切旧事交代明白，打点陆路进京到任，上下各官都来相饯。袁太守也无心赴席，夫妇二人终日同女儿女婿踌蹰不舍。又迁延了几日，已是十二月了。此时，秋蟾小姐已做过满月。袁太守只得要起身，看了本月初十日是登程吉日。
头两日驴轿夫马俱已齐备。初十日巳刻起马。蒋青岩和秋蟾小姐直送到三十里外方才洒泪而别。
不说袁太守进京。再表蒋青岩和秋蟾小姐转回到院中，随即雇了一只座船，行了十余日到了杭州。领秋蟾小姐到家中拜过家庙，因恐柔玉小姐和碧烟等悬望，刻不停留，带了几房家人媳妇，随即同秋蟾小姐起身往苎萝山去。行不数日，到了山中。
先行打发伴云和院子前去报知华刺史夫妇和柔玉小姐，随后缓缓来到华家。秋蟾小姐先拜过华刺史夫妇。次后与柔玉小姐及碧烟二人见礼，从此就分了次序：柔玉小姐第一，秋蟾小姐次之，碧烟又次之。见礼已毕，才是掌珠、步莲二位小姐过来，和秋蟾小姐行宾主之礼。
此时，张澄江和顾跃仙两人久已转回山中来了，都在外面与蒋青岩叙寒温、道恭喜。华刺史吩咐厨下备办喜筵，内外欢饮。
柔玉小姐在席间灯下，细看秋蟾小姐生得容貌超群，一向知她的才学，常时在家同碧烟、韩香两人谈说；碧烟和韩香也巴不得与秋蟾小姐相会，今日见了，大慰怀想。这秋蟾小姐见柔玉小姐姊妹及碧烟的姿色，自愧不如，也知柔玉小姐姊妹和碧烟都是女中才子，心中甚是欣羡。当夜酒散，吩咐家人媳妇替韩香将床帐箱笼移到楼下房中安置，让右边房与秋蟾小姐。
这日，蒋青岩少不得在柔玉小姐房中歇宿，两人叙旧。正是新婚不如远归，两人尽合卺之礼。次夜，轮到碧烟，蒋生真个应接不暇。
次日，秋蟾小姐看见韩香举止与婢子不同，细问柔玉小姐，方知韩香也是蒋青岩要收做小妾的。当日，也与韩香叙过大小之礼，果然，半月后，蒋青岩又收韩香做了第四。
从此，柔玉、秋蟾二位小姐和碧烟、韩香大小四人，就如一母所生的一般，同心合气，共事蒋青岩，彼此绝无一毫嫌隙。
蒋青岩也有大有小，绝不厚此薄彼。那秋蟾小姐感柔玉小姐待她情厚，她也十分敬重华刺史和华夫人，如同自己的父母一样；和掌珠、步莲二位小姐也往来得甚亲密。华刺史夫妇见秋蟾小姐有才有德，甚是爱她，视如己女，蒋青岩夫妇妻妾五人，时到花前月下，互相唱和，汇成卷帙，有诗一首，羡蒋青岩的快乐。诗曰：
名花簇拥玉堂人，月白花香笑语亲。
夫妇齐眉吟郢雪，小星携手赋阳春。
千秋想象谁能及，绝代风云孰与伦。
天上也应无此乐，蒋生端自有良因。
蒋青岩本来无意功名，不得已中了状元，于今受着这般快乐，一发把功名二字看做糟糠。又且见自观和尚遗训，教他“勿忘初志”，也是不要他做官的意思。因此，决意不仕。终日除了闺中之乐，便与华刺史、张澄江、顾跃仙三人究论古今，或寻幽觅胜，恍如世外神仙。张、顾二人也觉功名无味，便和蒋青岩订了同隐之盟。
一日，庭前腊梅盛开，华刺史备了酒席，约三个女婿同赏。
正饮酒间，门上人来传道：“门外有一个老翁，道他从京中来访老爷和三位姑老爷。”蒋青岩道：“一定是李半仙来了。”华刺史和张澄江、顾跃仙一齐都道：“料必是他。”翁婿四人连忙起身，迎将出来。果然是李半仙。后面跟了两个黄发村童，挑了两个行李，绝不似当年在京的气象。华刺史翁婿四人相见大喜，一齐携手进厅，叙礼看坐，献茶已毕。华刺史同三个女婿先向李半仙谢了一回旧德，又叙了一回间阔，然后，吩咐院子将李半仙的行李送到园中“大士堂”安置。从新换了酒席，替李半仙接风。
饮酒中间，华刺史问道：“那杨老儿怎肯放先生远来？”李半仙道：“老拙与杨公虽是前缘，亦有定数。于今缘数将尽，老拙一辞再辞，他也就见允了。若待缘数已尽之后，令他辞我，便见羞愧了。”华刺史听李半仙这段话，着实敬服。又问及京中近事，李半仙道：“近事一发难问了。那老一辈的文武，虽还有几个，却渐渐都是退时的人了。杨公虽在朝，却又老迈颠倒；其余新得志的那一班文武，都是怕死爱财的，至于那些失节的前朝旧绅，一发无耻丧心。且东宫相貌凶淫，将来定非老成之主。这隋家天下，恐未必久长。”蒋青岩叹道：“得之易、失之亦易，自古皆然。只可恨我们一时失脚，堕入污泥之中，悔无及矣。”主客五人说了一回，又饮一回，直至二鼓。李半仙不胜酒力，华刺史叫院子打灯笼同三个女婿亲送李半仙到大士堂内去。这大士堂，是华刺史夫妇求子之所。堂内供的是白衣大士，在花园左角，绝不用一毫雕画粉饰，甚是洁净幽雅。
他翁婿四人直候李半仙睡了，又派四个院子在此轮班上宿服事。
然后，同到厅上。华刺史和三个女婿商议道：“李半仙到此，老夫心下甚喜，要替他盖一个茅庵，使他快心终老，以报其德。
我想这山中人迹罕至，比静室还幽僻些，不若竟将那大士堂分作一边，另开一门，让他静养。一切薪水动用都在我家内供应，料也不让寻常庵院。三位贤婿以为何如？”蒋青岩等三人道：
“此事甚妙！待小婿明日将岳父此意对他说，看他肯否？”当夜不题。
次早，华刺史梳洗完毕，同三位女婿齐齐来望李半仙。说话之间，蒋青岩却将华刺史之意达与李半仙知道。李半仙甚喜，道：“此处最妙！老拙曾有一个梦境，与此处无异，极当领受。但恐搅扰不便。”华刺史道：“恩兄说哪里话？当日老夫在京中，若非恩兄相救，此处今日不知已属何人？此皆恩兄所赐，何必多心？老夫正要借此领教。”说罢，即吩咐院子叫匠人将大士堂砌隔一边，另开一门向西，不数日完成。华刺史题一匾在门上，曰：“报德隐居。”
从此，华刺史终日与李半仙讲究内养功夫。后来，连华夫人都拜了李半仙为师。果然，李半仙的内养功夫传自异人，真能延年祛病。蒋青岩和张澄江、顾跃仙三人时常得他指示气色，事事俱验。李半仙道蒋青岩相中有五子、张澄江有两子两女、顾跃仙有三子。三位之中，蒋青岩先应验了。柔玉小姐，秋蟾小姐，碧烟各生一子，倒是韩香生两子，五子之中倒是韩香的居长。掌珠、步莲二位小姐后来的儿女都各如其数。蒋青岩、张澄江、顾跃仙三人愈服李半仙相法之神。
一日，蒋青岩和华刺史同过大士堂，与李半仙闲坐，谈及修养夫，蒋青岩所发议论中与李半仙多相符合，李半仙惊道：
“先生幼读儒书，这节事何以得知？”蒋青岩笑道：“先生差矣！从来宗正学者，三教九流、诸子百家，何书不读，何事不讲？学生虽不及古人，然世间一切所有之书，未读者竟少。”
李半仙道：“先生真天人也！使遇汉文之主，又当在贾生之上矣！”华刺史听蒋青岩说及读书，因问道：“老夫向日见令先尊藏书最多，于今想都在湖上，何不着人取来，待老夫闲时看看？”蒋青岩道：“果然先君藏书颇多，变乱以来，独此幸未遭兵火之厄。小婿一向也有此意，明日即遣人去载来。”
次日，蒋青岩果然写了谕帖，差伴云和向日随身一个院子两人同到湖上去装载书籍，吩咐将谕帖把与家中管事的老仆，赏了盘缠。
伴云和院子领命，去不半月，便将书籍尽行装载入山来了。
约有十余车，真个是：拥书万卷，不让南面百城。
这日，是张澄江生日，请华刺史、蒋青岩、顾跃仙、李半仙四人同在东书院饮酒，闻得书籍到了，正要起身到厅上去看。
只见那装书籍来的院子将一条麻绳拴了两个人，伴云也拴了一个人。那拴的两人，一个头上歪戴破短方巾，一个反戴披风巾，身上各披着两块破席，赤脚烂鞋。伴云拴了一个人，身穿破衫破裤。华刺史和李半仙、张澄江、顾跃仙四人都不知就里，只有蒋青岩定眼将那两个人一看，惊讶道：“他是脱太虚和邦子玄那两个骗贼。你们在哪里捉获得来？”院子道：“经绍兴城外拿住的。闻得绍兴人说，他两个人在绍兴做骗局，不料反被他绍兴人将他行李衣物腰缠一骗精空。在城外讨饭，没有人舍与他。饥寒不能走动，却被小人捉住。”
蒋青岩闻言不觉大笑道：“好利害！此等人比骗贼更狠！”华刺史等闻知，始知道这两人就是姑苏神骗手，因笑道：“久闻他二公大名，带上前来，待我们认认他的尊面。”院子果然带上来。华刺史等大家看那脱、邦二骗贼，面瘦如鬼，仅有一丝余气，不能言语。蒋青岩此时就动侧隐之心，向院子道：“既然如此形状，不拿他来也罢！只不曾问他向日在金刚殿下遇见的那女子，毕竟是谁？”院子道：“小人们曾问他来，他道是他两人在阊门聘来的一个小粉头。”蒋青岩道：“原来如此！”又问伴云拴着的甚人，院子道：“他是脱太虚的义子脱风，就是在浴堂内骗小人的。”蒋青岩道：“我原料他是此二骗的支派，果然不差！他三个骗贼于今既已恶贯满盈，天报已至，我也不处治他，你二人可送他到十里之外，让他们生死自去。
速速回来收拾书籍，不可多事。”
华刺史、李半仙、张澄江、顾跃仙都道青岩处分得甚是。
伴云和院子只得遵命，送那三个骗贼出山去。去不多时，转来回复，然后，同书僮院子将书籍照单查明，搬到后园“集古轩”
中安放。不数日，有人从山外来，说山外有三个人齐齐饿死。
蒋青岩知是那三个骗贼，倒叹息了几声，丢过一边。
再说张澄江和顾跃仙两人，陡觉精神恍惚，梦寐不安，两人猜疑，不知主何吉凶？正要同去烦李半仙看气色，只见他两家家人道他两家老夫人都抱恙在身，请张澄江、顾跃仙回去。
张澄江、顾跃仙二人闻言，心中发惧，都要急急回家，延医调治。蒋家的院子道：“袁老爷差一个管家到我家，说有要紧的书信寄与老爷，要小人领他来。管家在外。”蒋青岩就叫传那管家进来。那管家的院子走进来，向蒋青岩叩了头，双手将书信呈上。蒋青岩拆开细看，方知韩擒虎已死，东宫弑父自立，改元大业，任用奸邪。袁太守因母舅死了，失了墙壁，已经罢官。夫妇二人在京思念女儿，要托蒋青岩替他在这山中寻觅一所房屋，他也要到山中来居住，以便和女儿来往。
蒋青岩将这书信送与华刺史看，华刺史看了，叹道：“纲常伦理紊灭已尽，此是何等世界？真令人人自危。我们这般日子休要轻视了。”蒋青岩也叹息了一回，带这袁家的院子去见秋蟾小姐。小姐问过父母平安消息，又见书信上说要到这山中来住，心下甚喜，便催蒋青岩着急去寻觅房屋。蒋青岩道：“这山中除了华家岳父这所房子，此外，并无第二所。除非在山外寻觅。”秋蟾小姐道：“这也无妨！只要近些。”蒋青岩便到前边来和华刺史商议。华刺史道：“山外倒有一所大住院，倒也干净。只恐袁老先生要雕梁画栋，这却没有。”蒋青岩道：
“他们西人倒也不论，既有这所宅院，却也甚好！”但不知是谁家的？要多少银子？”华刺史道：“那所宅院是个姓刘的土豪家的，我一向听得他要八百两银子。离此处只有一里之遥，若要看时，我着人跟随贤婿去。”蒋青岩道：“如此甚好！”华刺史即忙吩咐了院子同蒋青岩坐了两人小轿，竟往刘家宅院上去。暂且按下。
再说张澄江、顾跃仙二人闻得母亲有恙，急急要回，又想：
人家生儿娶妇，理当侍奉公婆的汤药。且自招亲以来，尚未庙见。当日岳父岳母曾说三年两载凭我们带去，于今已有三年了。
张、顾二人暗中商议一回，两人各自去与小姐说知。两位小姐都道：“媳妇侍奉汤药，理所当然。相公既去，与我爷娘说明，我自当同去。”张、顾二人忙将此意来请教华刺史和华夫人。
华刺史夫妇闻言，心下虽然舍不得女儿，见他二人说的是正礼，不好却他，且当日有言在先，只得道：“既然二位老亲母有恙，小女理当同去侍奉汤药。我两人岂有他说？只望二位贤婿待两位亲母病愈之后，还同小女来住住。我两老人无子，所娱目前暮景者，仅此三女。”张澄江、顾跃仙两人道：“此事何劳吩咐？若家母病愈之后，少不得带令爱来，同此居住。于今就回去时，也只各带些随身应用之物，其余都仍旧封锁在各房，以待重来。”华刺史和夫人都道：“如此极好！”张澄江和顾跃仙二人正说话间，蒋青岩看过房子回来，向华刺史道：“房子甚好［钱实要八百两，明日便去成事。”说罢，听得张、顾二人要回去奉母，也道该得。此时，是大业元年三月初九日。
张、顾二人见丈人丈母都依允了，忙去择了本月十一日起身。当日便去收拾随身用物及雇备轿马。次日，蒋青岩亲自带了银子去将那房子买了。到晚间，华刺史备酒，替张、顾两位女婿饯行。华夫人也在内堂替掌珠、步莲二位小姐惜别，母女十分难舍。当夜无话。
次早，张澄江、顾跃仙二人一齐带家眷起身。华刺史夫妇及柔玉小姐掌珠、步莲二人洒泪而别。蒋青岩也写了回书打发袁家院子回京去了。
光阴似箭，转眼间便是四个月。袁太守果然挚家来了，便住在那所宅院之内。蒋青岩和秋蟾小姐连忙同去省问。华刺史和袁太守也彼此拜望，请酒一番。柔玉小姐和碧烟、韩香都去拜见那袁太守夫妇，袁太守夫妇都极感谢柔玉小姐的贤德。自此，通家往来。秋蟾小姐时常到袁太守家中住。话分两头。
却说张澄江和顾跃仙两家的母亲，一个是本年七月殁了。
一个是九月殁了。两处的讣音报到华刺史和蒋青岩两处来。华刺史和蒋青岩同遣人致吊上祭。张澄江和顾跃仙二人同二位小姐都竭尽孝子之职。回首三年孝服已满，张澄江和顾跃仙两人都将母亲葬了，一同挚家来到山中居住。
蒋青岩和张澄江、顾跃仙三人同事华刺史夫妇，如同父母一样；华刺史夫妇甚是感激欢喜老景无忧，他联襟三人也就如同胞兄弟一样亲热，内外大小和气蔼然。真可谓：乱世三贤，升平麟凤。
华刺史夫妇直活到八十之外，无疾而终。家当分作三份，与三位小姐承受。
李半仙至年九十五岁，见双鹤下降，端坐而逝。
袁太守夫妇也都寿至七十。其两子后来皆出仕，官至七品。
蒋青岩和张澄江、顾跃仙三人，年过四十便绝欲修真，吩咐家人院子不得称老爷。后来，寿登九十，眼见四世，唐太宗屡征不起。临终时，俱见上帝敕书相召，各聚子孙，吩咐道：
“死后止用布衣瓦棺，木主上不得写官衔，恐无面目见先人于地下。
柔玉、秋蟾、掌珠、步莲四位小姐及碧烟、韩香，皆寿至古稀。临终时，或听空中仙乐，或闻鹤呜，先后去世。
蒋青岩五子俱登进士；张澄江、顾跃仙两人之子后来贵显；张澄江二女，一嫁蒋青岩次子，一嫁顾跃仙长子。三姓世世婚姻不绝。至元时，不知移住何处？后人有诗一首，绍此盛事。
诗道：
史笔多遗事，千秋竟失传。
孤臣亡国泪，才子异乡缘。
蝴蝶殊难报，鸳鸯岂羡仙！
恶风吹未散，明月喜重圆。
已验僧禅偈，真多淑女贤。
名花围玉树，上苑跨金鞍。
至乐人间尽，高名世外传。
偶然成独赏，不朽待如椽。
青溪醉客曰：
天生才子佳人，原有一定配合。是真正才子，自然配真正佳人，造化一丝不苟。虽山川隔绝，道路迢遥，少不得多方指引，如自观和尚、蝴蝶是也。若夫膏粱子弟与商贾之儿、屠败之子，不自引镜，自炤视其妍媸，清夜自思量其愚智而乃忘其凡筋俗骨、浊种庸胎，求得真正佳人，不亦难乎？即偶尔侥幸得之，亦有丧身破家之祸，慎之！慎之！
蒋生、张生、顾生皆旷世才也，即以柔玉、掌珠、步莲三国色配之；又因三人之中，蒋生更胜，复补之以秋蟾、碧烟、韩香，以称其才而满其份。天之待才人，诚厚矣Ｙ令蒋生等三人少年轻薄妄作，逞才邪淫无忌，则天又有妙算在！
又曰：华刺史为人忠纯仁厚，所以生三贤女得三贤婿，遇祸即解，寿考令终。李半仙因权行善，知足知讥，真术士中圣贤。即不修养，亦应仙去；双鹤来迎，此报实当。
蒋生平生昂昂人品，表表莫伦，临终嘱子孙数语的是，真大忠孝，千百世而下令人景仰。死后定是修文馆，白玉楼中人，上帝之召，宜矣。张生、顾生，能依其吉光，步其后尘，亦伟丈夫也。
柔玉、秋蟾、碧烟、韩香四人，其贤其德、其才其情，古今无二。使为臣者，如此四人之事夫以事其君，则天下未有不及三代之治者。可敬！可敬！
袁太守虽太刚而能廉，失势即退，亦一达人也。
若脱太虚、邦子玄之徒，饥死道旁，狗食其肉，好小之报，岂不昭昭哉！
是书可谓功参造化，读者当勿忽诸。《蝴蝶缘》卷之四终。