林语堂说：“影响我最深的，一是我的父亲，二是我的二姐，三是漳州西溪的山水。最深的还是西溪的山水。”
在《八十自述》中，林语堂又一次说：“童年之早期对我影响最大的，一是山景；二是家父，不可思议的理想主义者；三是亲情似海的基督教家庭。”
林语堂在自传体小说《赖柏英》中说：“人若在高山里张大，高山会使他的观点改变，融入他的血液之中……”
林语堂出生在大山中的一个小村，5岁之前，他没有离开过这个村子。他常和五个兄弟、两个姐姐到稻田或河岸，去远望日落的奇景，并互相讲神鬼的故事。儿时林语堂常幻想一个人如何才能走出这四面皆山的深谷。林语堂回忆说：“童时，我对于荏苒的光阴常起一种流连眷恋的感觉。”
林语堂自陈有恋母情节，儿时他喜欢抚摸母亲的乳房，一直到十岁还和母亲同睡。新婚前夜，他要求和母亲同睡，因为那是他能与母亲同睡的最后一夜。
二姐林美宫聪明美丽，成绩优秀，她很想上大学。但林家的经济能力有限，林父供养儿子们上大学已经很困难，再无力负担女儿的学费。二姐出嫁前一天的早晨，掏出四毛钱给林语堂，说：“你要去上大学了。不要糟蹋了这个好机会，要做个好人，做个有用的人，做个有名气的人。这是姐姐对你的愿望。”第二年林语堂回乡时，二姐已因鼠疫去世，死时怀有八个月的身孕。林语堂总有一种感觉，仿佛自己在替二姐上大学。他说：“我青年时代所流的眼泪，多是为二姐而流的。”晚年，他对外孙们谈及二姐，依旧泪下。
对于第一次离开坂仔村去漳州的夜景，林语堂记忆深刻。是夜，船泊在岸边的竹林下，竹叶飘飘打在船篷上，林盖着条毡子躺在船上听船家讲慈禧太后幼年的故事。对岸船上高悬纸灯，水上灯光掩映可见，人声亦一一可闻，如泣如诉的笛声随风传来……林语堂说：“我在这一幅天然图画之中，年方十二三岁，对着如此美景，如此良辰，将来在年长之时回忆此时岂不充满美感么？”
林语堂喜欢北京，1936年赴美前，他特地从上海北上，到北京中山公园“来今雨轩”，在太湖石座前方，欣赏朱栏玉砌，芍药圃灿烂盈枝的花朵。
在电影院中，林语堂听到邻座两位女孩用闽南语交谈，“恍如回到家乡，一乐也”；听见临院妇人用不干不净的闽南语骂孩子，“一乐也”。
在美国居住30年，林语堂不喜欢穿西装，也始终没有加入美国国籍。他说：“在美国住了二、三十年公寓式的楼房，游子心与高高在上的住屋一样，老有凌空找不着根的感觉。许多人劝我们入美国籍，我说这儿不是落根的地方；因此，我们宁愿年年月月付房租，不肯去买下一幢房子。”身居异国的高楼大厦，他却愈来愈思念纯朴幽美的闽南故乡，说：“少居漳州和坂仔之乡，高山峻岭，令人梦寐不忘。”
晚年，林语堂在蒋介石的邀请下定居台湾，他说：“我处处听到乡音，我们像回到漳州老家。”
1962年，林语堂只身到香港看望次女林太乙夫妇，林太乙说：“他好像在寻找什么。”女儿女婿带他到新界落马洲。这里有许多游客从山上眺望远处，看看中国大陆，林语堂也眯着眼睛，仔细地看着。女儿问他坂仔的山是什么样子，他说：“高山。香港的山好难看，许多都是光秃秃的。”到了山顶，他看见四面环水，又说：“环绕着坂仔的山是重重叠叠的，我们把坂仔叫做东湖，山中有水，不是水中有山。”林太乙这才知道：“原来他在寻找那些环绕着他的快乐的童年的山陵。”