林语堂有个年轻的书童叫阿芳。
阿芳刚到林家年仅15岁，小孩儿脾气，林语堂对纯真的孩子毫无招架之力，奴大欺主，阿芳渐渐坐大，闹得林家一点规矩都没有。林语堂让他去买火柴，他一去就是两个小时，回来却带了一只新布鞋和送给小孩的蚱蜢，就是没有火柴。饭后，他把簸箕丢在饭台上，扫帚留在衣柜中，自己却跑到花园里捉蚱蜢。要是轮到阿芳预备早餐时，厨房里一定是不绝于耳的“乒——乒——乓”，一个星期打碎的碗碟比其他佣人一年打碎的都要多。翠凤教训他：“阿芳你今年18岁了，做事也得正经一点。”阿芳脸红了，低着头不说话。林语堂一直有个理论，脸红是作不得假的，忙护着说：“阿芳还小，分不清楚工作和游戏，你不要骂他。”家里其他的佣人因而都让着阿芳，林语堂却认为这是阿芳的天才所致。
阿芳确实聪明机灵。林语堂从英国带回来的那台不完整的打字机是他的命根子，谁也不许动。阿芳看中了那玩意，趁着两个小时的打扫时间，翻来覆去地摆弄，嘀嘀嗒嗒的声音便从书房不断地传出来。有一回，打字机平空坏了，林语堂修了好一阵都没有修好，气得他把宠爱的小男仆狠狠地责骂了一顿。阿芳依旧低着头，不言语。下午，林语堂去散步，回来后阿芳就对他说：“先生，机器修好了。”一试，果然好了！林语堂因为打字机被翠凤数落了好一阵子，又没有其他的同好可以切磋，喜出望外，以为发现了一个知音，不再把他当普通的佣人使唤。
阿芳对其他机械也很有天赋。修理电铃，接保险丝，悬挂镜箧，补抽水马桶的浮球等，这些原本都是林语堂的工作，阿芳却无师自通地会了。林语堂乐得逍遥，再也不用担心读《柏拉图》时得奉旨去修理自来水马桶，或是文章做得高兴，突然有人从厨房里喊：“堂！水管漏了。”
更让林语堂吃惊的是，阿芳居然会在电话上用英语、国语、上海语、安徽语、厦门语骂人。厦门话难学难懂，连林语堂那些语言学专家的朋友都叫苦不已，平常人更不消说。而且阿芳不知道哪里学来一口漂亮的英语，教一遍就会，他说“aiterminit”（等一会），流畅连贯，而不像一般大学生说“aitameenyoot”。“阿芳实在是天才！”林语堂常常对家里人说，很有伯乐相中千里马的自豪之意。他告诉阿芳，愿意出2/3的学费让他去念英文夜校。但阿芳不愿念书，上了几天就逃之夭夭。林语堂又感叹地说，天才都是恨学堂的。
后来，林家又请了一个20出头的洗衣婢女，阿芳越发的无法无天，成天和新来的婢女调笑戏谑，该做的工作没有一件做得好的，打扫的时间拖延到3个小时，每天例行的擦皮鞋草草了事。林语堂教训了一次、两次、三次，都没有结果。林语堂颜面无存，下定决心要整饬家纪，把所有的佣人召集来，板着脸警告说：“阿芳，如果明天六时半皮鞋不给我擦亮，放好在卧房前，定然把你辞退。”好好先生的男主人大发脾气，佣人面有惧色。林语堂安然就寝，沾沾自喜地对翠凤说，家里的纪纲恢复了！
第二天早晨，林语堂六点就醒了，静听门外的动静。结果是新来的婢女送皮鞋过来了，“我是叫阿芳带来的。你为什么替他带来？”林语堂故作气愤，厉声问。
“我正要上楼，顺便替他拿来。”那女仆恭而有礼地回答。
“他自己不会带来吗？是他叫你的，还是你自己作主？”
“他没叫我，我自己作主。”
林语堂心知肚明，阿芳铁定还在梦游周公，但女仆婉辞替阿芳辩护，反而显得自己小家子气，他讪然一笑，这家纪就随他去吧，老子说“无为而治”是有道理的。
不久之后，林语堂从外面回来突然发现女仆在换床单，他奇怪地问，这床单不是两天前换上的吗，怎么又换新的了？女仆神色慌张，支吾了半天也没说出个所以然来。林语堂情知有异，连问之下，才了解女仆和阿芳有私情，利用主人外出在房间里幽会。廖翠凤气得火冒三丈，一定要赶走阿芳，连带着把气撒到了语堂身上，说，要不是他的纵容，阿芳怎么会有那么大的胆？阿芳可怜兮兮地看着林语堂，语堂心立马软了，劝说翠凤消消气，从轻发落。翠凤被丈夫一搅和，这事糊里糊涂地就过去了。
然而阿芳不成器，不仅继续和女仆勾勾搭搭，而且伙同把林家的银器物什偷出去卖，还在外盗窃，东窗事发后，进了监狱。得到这个消息，翠凤白了丈夫一眼，语堂张张嘴，想说点什么，还是徒然地垂着头进了书房。
林家有这样自由主义的男主人，仆人们一再造反也不奇怪。夫妻俩到无锡去旅游，本来说好了隔天再回来，翠凤挂念不足岁的小女儿，半夜赶火车回来，却发现厨子和清扫的老妈子睡在了他们的床上。翠凤大为恼火，把里里外外消毒，累得够呛。老妈子没脸见人，主动收拾包袱走人。
“厨子也不能留！堂，你不准说情！”翠凤知道语堂的心思。
“可是，他做的八宝鸭实在好吃。”林语堂一脸讨好地拽着翠凤的衣角，磨蹭着替厨子求饶。
“不行！再这样下去，这个家一点样子都没有了！”翠凤下定了决心，板着脸进了厨房。
“可是，凤，我喜欢他的八宝鸭……”
林语堂软硬兼施，才保住了厨子的饭碗。他还把厨子乡下的老婆接过来，做点清扫的工作。
这又是一桩麻烦事。厨子爱赌博，输了钱就偷老婆的薪水，老婆不让，厨子大打出手，老婆哭哭啼啼，坐在台阶上面乱踢腿，破口大骂。“短命鬼！看我不剖破你的肚肠！”厨子抓起棍子要打她。“畜生！”她回骂，两人你掀我，我掀你搅成一团。这样的戏码隔一两天就要上演，闹得林家鸡飞狗跳，不得安生。
翠凤看得头大，恶狠狠地说：“再打架两人都得滚蛋！”才压住了他们。
林太乙说：“父亲心目中无恶人，信赖任何人。”这也正是最大的弊端之一，“这部小说的一个缺点，是在80多个人物中，没有一个坏人。”