林语堂一生和两位好友反目，一是鲁迅，一是美国作家赛珍珠。
林语堂和鲁迅因在女师大任教而结识，在“女师大事件”发生后的1925年12月5日，鲁迅主动给林写信，开始了二人的交往。林后来公开表示，当时北大教授分为两派，一派是以胡适为领袖的现代评论派，一派是以周氏兄弟为首的语丝派，而他“是属于后一派的”。林还为鲁迅绘过一张《鲁迅先生打叭儿狗图》。
张宗昌上台后，没有报纸敢发表林语堂写的文章，军人打扮的人还时不时地在林家门口溜达一圈，美其名曰“保护”。报纸上还流传着一张北洋政府准备第二批通缉的名单，其中，林名列17位，鲁迅排在21位。林在友人家中藏匿三个星期后，接受了厦门大学校长林文庆的邀请，到厦大任教。临行前，林语堂还特地去向鲁迅告别。之后，林语堂将鲁迅、孙伏园、沈兼士、章川岛等在京受到迫害的一干好友邀到厦大。
厦大靠理科起家，经费、校舍资源等各项政策都向理科倾斜。林语堂到校后，分去近一半的研究经费，遭到理科部主任刘树杞的忌恨。刘利用自己掌管财政之便，三次让鲁迅更换住所，最后竟让鲁迅搬到了理学院大厦的地下室。更过分的是，鲁迅的屋子里有两个灯泡，刘树杞说要节约电费，非让人摘下一个。鲁迅气得目瞪口呆，胡子都立了起来。鲁迅又是一个人在厦门生活，无人照料日常起居，有时只能在火炉上用水煮火腿度日。但鲁迅为了林语堂还是留了下来，他说：“只怕我一走，玉堂要立即被攻击。所以有些彷徨。”
由于在厦大备受排挤，最后鲁迅决定去中山大学任教，他说林语堂“太老实”，劝他也离开厦门，同往广州。厦门是林的家乡，况且此地还有其他朋友兄弟，林没有随鲁迅离开。他翻译了尼采的《走过去》，送别鲁迅。
林语堂曾以“白象”称呼鲁迅，意为鲁迅的可贵。许广平此后以“小白象”作为对鲁迅的爱称，周海婴出生后，鲁迅和许广平称呼他为“小红象”。
据说，鲁迅与林语堂曾同住在上海北四川路横滨桥附近，一次鲁迅不小心把烟头扔在了林语堂的帐门下，将林的蚊帐烧掉了一角，林心中十分不悦，厉声责怪了鲁迅。鲁迅觉得林小题大做，因为一床蚊帐这么大火气，便回敬说一床蚊帐不过五块钱，烧了又怎么样，两人就这样争吵了起来。
鲁迅和北新书店的老板李小峰闹版税官司，郁达夫作和事佬为二人调解。此后，李小峰宴请鲁迅，林语堂夫妇也被邀请参加。席间，林提到鲁迅的北大学生张友松请客之事（张曾请鲁迅和林语堂吃饭，说也要办一个书店，并承诺决不拖欠作者的稿酬），并说“奸人”在跟他捣乱（指张友松传播他在汉口发洋财一事）。李小峰便怀疑自己和鲁迅起纠纷是张从中作梗。鲁迅听罢，则疑心林讥讽自己受了张的挑拨，当即脸色发青，站起来大声喊道：“我要声明！我要声明！”一拍桌子，“玉堂，你这是什么话！我和北新的诉讼不关张友松的事！”林辩解道：“是你神经过敏，我没有那个意思！”两人越说越上火，互相瞪着对方，如斗鸡般足足对视了一两分钟。郁达夫见势不妙，赶紧按鲁迅坐下，又拉着林语堂和廖翠凤离开。宴席不欢而散。
川岛在给周作人的信中提及，二人的冲突极为厉害，发展到彼此以“畜生”相互对骂。
郁达夫回忆说，鲁迅后来也明白了这次是误会，但二人之间已经产生了裂痕，之后，大约有三年时间，二人没有往来。
1932年底，蔡元培和宋庆龄成立了中国民权保障同盟，林语堂和鲁迅都加入其中，二人又开始交往。次年，杨杏佛被暗杀，举行入殓仪式这天，林语堂因正被严密监控，无法出门，未去参加。鲁迅去后没有见到林，非常生气：“这种时候就看出人来了，林语堂就没有去，其实，他去送殓又有什么危险！”事实上，林冒着生命危险参加了7月2日杨杏佛的出殡下葬仪式，这一次，鲁迅没有去。
林语堂办，做了“幽默大师”，鲁迅不能理解，他认为在血与火的斗争中，是没有幽默可言的，“只要我活着，就要拿起笔，去回敬他们的手枪”。
1933年底，鲁迅曾写信给的主编陶亢德，推荐青年作者王志之的稿子，陶回复鲁迅说，留下“少许”，余则退还。鲁迅又写信给林语堂，说明此事，让林将王的稿子退还，林不明白鲁迅的意思，退回了稿子。两个多月后，林语堂和陶亢德先后致信鲁迅约稿，并让鲁迅提供照片，鲁迅断然拒绝，并附信说，以后他要看，也自己花钱购买，不劳寄赠。
1934年，林语堂和章克标意见不和，一气之下离开，另起炉灶，办起了《人间世》。据陶亢德回忆，《人间世》创刊前，林语堂请文坛好友来家里吃饭。客人来得差不多了，就差鲁迅。大家都知道二人最近闹得不太愉快，有人好心提醒他，要不要催一催。林摆摆手，很有把握地说，不必，他一定会来的。话音刚落，鲁迅就拖着胶皮鞋，嘀嘀嗒嗒地走进来了。
《人间世》也走的是谈幽默的老路子，遭到左翼文人的攻击。鲁迅也说幽默文学是“麻醉文学”。林、鲁两人关于翻译究竟应该“信达雅”还是“直译”发生争执，惹得鲁迅十分不快，林语堂批评鲁迅是“左倾急进主义”，是想“做偶像”。
鲁迅曾写信劝告林语堂不要搞这些小品了，多译点英文名著才是正途。林语堂回信：“等老了再说。”林说此语并非有意，但在鲁迅听来却以为林有意嘲笑，因为鲁迅比林大14岁，彼时已经53岁。
陈望道回忆，一次饭桌上，林语堂谈及在香港时，几个广东人兀自讲粤语，其他人听不懂，林便故意对他们讲英语，将他们吓住。不料，鲁迅怒不可遏，拍着桌子站起来厉声道：“你是什么东西！你想借外国话来压我们自己的同胞吗？！”林语堂哑口无言，尴尬无比。
徐在上海大观楼补摆婚宴，鲁迅来得晚，看见林语堂夫妇在座，二话不说抬腿就走。
鲁迅的《天生蛮性》一文，只有三句话：“辜鸿铭先生赞小脚；郑孝胥先生讲王道；林语堂先生谈性灵。”辜鸿铭是前清遗老，郑孝胥是伪满总理，鲁迅将林语堂和他们相提并论，此时的鄙夷之情可想而知。
1935年，胡风发表《林语堂论》《张天翼论》等文章，林语堂认为是鲁迅化名批评他，鲁迅说：“要是我写，不会写得那么长！”
两年之后，林语堂远赴美国，终此一生，两人再没有相见。
1936年10月19日，鲁迅病逝。四天后，林语堂写下了这样的文字：“鲁迅与我相得者二次，疏离者二次，其即其离，皆出自然，非吾与鲁迅有轾轩于其间也。吾始终敬鲁迅；鲁迅顾我，我喜其相知；鲁迅弃我，我亦无悔。大凡以所见相左相同，而为离合之迹，绝无私人意气存焉。”
在《忆鲁迅》一文中，林语堂说：“鲁迅这个人，我始终没有跟他闹翻。”
赵世洵回忆，在新加坡时，他曾问林语堂与鲁迅的那段不快经历，出乎他意料的是，林绝口不谈鲁迅的坏话，而且言语中多有推崇。林含着烟斗，吐出一口烟雾，左手略微摆动一下，若有所思地说：“过去的事别提了。不过，世洵，我可以告诉你，《中国小说史》到今天为止，还是他写的那一本最为完备。”后林语堂的女婿将《中国小说史》翻译成英文，林语堂为之作序。
除夫人廖翠凤外，与林语堂交往时间最长、关系最为密切的女性，莫过于诺贝尔文学奖的获得者、美国女作家赛珍珠。
赛珍珠是在中国布道的美国牧师的女儿，出生于中国，后回到美国学习，毕业后仍回到中国，在南京大学担任英语老师。赛珍珠致力于向西方介绍中国，想写一本介绍中国传统文化的书，因自知对中国的了解还不透彻，想找一个合适的中国人来写。与林语堂结识后，赛珍珠便认定林语堂为撰写此书的最佳人选。
1934年，林语堂用英文写就。赛珍珠读完书稿，拍案叫绝，惊呼是“伟大著作”。此时赛珍珠已与美国出版商约翰·黛公司的老板R·沃尔结婚，由约翰·黛公司出版。
林语堂到美国后，就住在赛珍珠夫妇位于宾夕法尼亚州的乡间别墅。两个家庭中西合璧，像是一个大家庭，经常在一起聚餐。林夫人廖翠凤与赛珍珠经常用汉语聊天，廖翠凤给她讲中国故事，为她朗诵，赛珍珠一边听，一边用笔译成英文。两家的孩子也在一起玩耍，关系十分亲密。
林语堂的次女太乙上学时，美国同学常问她：“你为什么不裹小脚？”“你身后怎么不拖一条辫子？”“你吸鸦片吗？”“你吃鸽子白窠（指燕窝）吗？”“你不戴碗形的帽子（指瓜皮帽）吗？”等等。太乙回家说给父母听，林语堂感到西方人对中国历史文化偏见颇深，于是决定写一本书，以东方文明的悠闲哲学来批评美国高度工业机械化下所造成的人的异化，为西方文化人生价值取向的弊端寻找疗救的药方。在赛珍珠夫妇的建议下，林语堂在的基础上，将该书第九章“生活的艺术”进行扩展，用半年的时间，写成了一书。
1938年，赛珍珠反映中国生活的长篇小说荣获诺贝尔文学奖，激励起林语堂创作长篇小说的兴趣。一年后，林完成了70万字的长篇小说，仍由赛珍珠夫妇的约翰·黛公司出版。一出版就被译成多种文字，仅抗战期间在美国就热销25万部。
林语堂在美国住了30年，用英文写了近30部作品，由约翰·黛公司出版的还有小说（1943年版）、传记文学（1947年版）《美国的智慧》（1950年版）等。
林语堂为研制打字机投入了十多万美元，因为打字机没有投入生产，成本无法收回，连家庭的日常生活也无法维持。不得已，林只好硬着头皮向赛珍珠告贷。但赛珍珠断然拒绝。
赛珍珠夫妇为林语堂出版作品，海外版和翻译版都拿百分之五十的版税，而且版权还归约翰·黛公司所有，而一般情况下，出版公司的海外版和翻译版只拿百分之十的版税。1953年，林语堂才得知此事，他非常恼火，立即聘请律师向赛珍珠清算版税，并要求收回作品的版权。赛珍珠打电话给林太乙说：“你父亲是不是疯了！”后经朋友调解，约翰·黛公司才将林著作的版权归还。
1954年10月，林语堂应邀去新加坡出任南洋大学校长，曾打电报告知赛珍珠行期，赛珍珠不仅没有前来送行，连电报也没回。林语堂说：“我看穿了一个美国人！”
1955年，林语堂的《远景》一书交由另一家出版社出版，从此，林语堂与赛珍珠的关系完全破裂。