现存最早的林徽因照片是三岁留下的那张，一人立在院子里，靠着气派的座椅，个子仅及椅子扶把，朦胧的眼光注视着陌生世界。后来的一张到了八岁，是她和胞妹麟趾（五岁，不久夭折）及表姐王孟瑜（十四岁）、王次亮（十二岁）、曾语儿（十一岁）的合影。那天林长民带她们逛街，留影纪念。照片有林长民题识，其中说道，“徽音白衫黑绔，左手邀语儿，意若甚暱。实则两子偶黠，往往相争果饵，调停时，费我唇舌也”。
关于林徽因童年的文字材料少得近于零。父亲去世过早，母亲没有文化，几乎没有人确切、具体地记述过她的童年。她自己不会没有记忆，也不会不曾对人说过，但未留下多少文字痕迹，即使对她儿女也不大愿意回首那些往事。林徽因的一篇散文透露她六岁得过水痘，儿童都要经历一回的这个疾病，她家乡叫“水珠”。她竟然不像许多儿童那样感受难忍的病痛，却说：“当时我很喜欢那美丽的名字，忘却它是一种病，因而也觉到一种神秘的骄傲。只要人过我窗口问问出‘水珠’么？我就感到一种荣耀。”在这异乎寻常的感受是她最早显露的艺术气质。
幼小的林徽因和一群表兄弟表姊妹住在杭州祖父大院里，享受了大户人家少爷小姐们都有的欢乐。她的启蒙教育落在同住一起的大姑母身上，大姑母出嫁后依然常年住在娘家。林徽因异母弟林暄曾回忆：“林徽音生长在这个书香家庭，受到严格的教育。父亲不在时，由大姑母督促。大姑母比父亲大三岁，为人忠厚和蔼，对我们姊兄弟亲胜生母。”（致著者信）这位姑母弥补了母亲性格、文化方面的缺陷，此时林徽因的天地有如祖父的庭院一片阳光灿烂。
父亲时常在外，留林徽因在祖父身边，留下一个通信员。她六岁开始代笔为祖父给父亲写家信，今天无法读到这些信了，所幸家人保存了一批父亲给她的回信，此录最早的一封，那年林徽因七岁。
徽儿：
知悉得汝两信，我心甚喜。儿读书进益，又驯良，知道理，我尤爱汝。闻娘娘往嘉兴，现已归否？趾趾闻甚可爱，尚有闹癖（脾）气否？望告我。
祖父日来安好否？汝要好好讨老人欢喜。兹寄甜真酥糕一筒赏汝。我本期不及作长书，汝可禀告祖父母，我都安好。
父长民三月廿日
要说此时的林徽因还是个需要父亲哄骗的孩子，那么从下一封信可以见出，尽管她还只是十二岁儿童，却已长成能够倾听父亲心声的早熟的小姑娘：
本日寄一书当已到。我终日在家理医药，亦藉此偷闲也。天下事，玄黄未定，我又何去何从？念汝读书正是及时。蹉跎悞了，亦爹爹之过。二娘病好，我当到津一作计□。春深风候正暖，庭花丁香开过，牡丹本亦有两三葩向人作态，惜儿未来耳。葛雷武女儿前在六国饭店与汝见后时时念汝，昨归国我饯其父母，对我依依，为汝留□，并以相告家事。儿当学理，勿尽作孩子气，千万□□。
徽儿
桂室老人五月五日
林徽因对知友费慰梅谈论过自己的童年生活，费慰梅这句话或许是那时林徽因情状的记录：“她的早熟可能使家中的亲戚把她当成一个成人而因此骗走了她的童年。”（《梁思成与林徽因》）早熟二字点中了林徽因童年生活的特征。祖父病故以后，父亲常在北京忙于政事，全家人住在天津，林徽因几乎成了天津家里的主心骨，伺候两位母亲，照应几个弟妹，乃至搬家打点行李，全部由这个十二三岁的女孩承担起来了。她成年后在保存的一封父亲给她信上这么批注：“二娘病不居医院，爹爹在京不放心，嘱吾日以快信报病情。时天苦热，桓病新愈，燕玉及恒则啼哭无常。尝至夜阑，犹不得睡。一夜月明，桓哭久，吾不忍听，起抱之，徘徊廊外一时许，桓始熟睡。乳媪粗心，任病孩久哭，思之可恨。”
林徽因所以早熟，除了由于聪慧，主要应该归于几乎是遭遗弃的母亲给她心理蒙上的阴影。纵然她自己深得父亲以及其他长辈的宠爱，但是，当受宠之后回到冷落的后院，面对母亲阴沉怨愤的神情，她不得不过早地体会世态的阴暗。
一九一六年林长民全家开始定居北京，林徽因进了有名的培华女子中学读书。此前京城政局不定，林长民卷入是非，家庭便安置在天津，他乃两地往返。四年前合影的表姐妹都进了培华女中，林徽因又和她们合拍了一张照片，统一的校服，个个亭亭玉立，美丽端庄。四姐妹像幼时一样的亲密无间，如今依旧形影相随。姑娘们星期天上街特别招引目光，有轻薄男子尾随而来，于是不得不叫来身材高大的表兄弟充当保镖。
培华女中是所教会办的贵族学校，教风谨严而得法，原本聪明的林徽因受它良好培育，日后出色的英语水平即起步于此。由大户旧宅跨入这一方充溢朝气、讲究文明的新天地，为不久放飞的才女奠定了坚实基础。置身这样的教育环境，林徽因早早萌生了文化意识，乘父亲远游日本的时候，她翻出家藏的数量可观字画，一件件过目分类，编成收藏目录。编得幼稚是一定的，她在父亲家信上注道：“徽自信能担任编字画目录，及爹爹归取阅，以为不适用，颇暗惭。”
培华女中的林徽因已走出了她的童年。