林徽因原籍福建闽县，今天的福州。再往上推，祖籍是河南。而她说，杭州是“一半家乡”（《纪念志摩去世四周年》），因为她诞生在杭州陆官巷，她祖父林孝恂的寓所。祖父从取“徽音”两字为她命名，诗曰：“思齐大任，文王之母。思媚周姜，京室之妇。大姒嗣徽音，则百斯男。”（《大雅?思齐》）老人的意思，要林徽因继承美德。再引出孙儿满堂吧，她是祖父长子的头生孩子，又是个女孩。
据说林徽因容貌得自祖父母的遗传基因，她有神的双眸像祖父，漂亮脸蛋像祖母。为此她特别获祖母溺爱，祖母竟不要林徽因母亲照料她，放在自己卧房里绕膝左右。那时她父亲留学海外，但几个出了嫁的姑姑仍时常带孩子回到娘家，她和表姐妹们成天嬉闹，童年一点也不寂寞。七载的欢乐之后，林徽因八岁随祖父移居上海；十岁又跟着祖父进京才到了父亲身边。这一年祖父病故。
五四那一代女性作家几乎都是出身官宦的千金，最早的陈衡哲如此，冰心、庐隐、冯沅君、苏雪林莫不如此，凌叔华更属世代豪门。林徽因虽比之二十年代成名的冰心她们略小几岁，到三十年代正式步入文坛，算是晚了一代，但同样是官宦出身。祖父林孝恂，字伯颖，前清光绪十五年（一九八九）己丑科二甲第一百一十一名进士，与康有为同科，授翰林院编修。
福建闽侯林氏是望族，但林孝恂这一支已经式微沦为布衣，他本人实起于寒微。林孝恂年轻时做过富户人家的教书先生，已没有了养尊处优的公子生活。林长民回忆说：“爹别就人家教读，与年所入不过数十千制钱，家计贫苦。”（《嫁王氏大姊和姊夫熙农先生五十双庆寿序》）有时林孝恂买一个梨子回来，儿女不能尽兴解馋，只好切成一片片分给几个孩子。
林氏转机始于林孝恂考中进士。至今林氏后人保存着一张全家福照片，它摄于杭州的官邸，林孝恂正在浙江的知县任上。拍照时间大约在光绪二十几年，即十九世纪的最后岁月。地点应是县太爷衙门后院，下青砖铺地，上枝叶扶疏，似乎有意规避富贵而近儒雅。照片上人物，男性都长袍马褂，瓜皮小帽；女性则偏襟大袄，额上扎青缎帽箍。虽是清朝装束，看去却离民国不远了。上照的林家两代，包括儿媳和女婿，共十三人。林氏后人曾依次一个个注明了身份，有两个男性身份不明打了问号。长子林长民居右三，相貌比起弟兄们来格外清癯，最和林孝恂相似。照片里没有林徽因，数年后她父亲林长民才成立家室，自然没有赶上。
林孝恂在翰林院做京官，官场应酬开销太大，而家底很薄，便想外放。外放有条捷径，翰林院年度甄别考试时只要故意写错一个字，考官即明白此人希望离开京城。林孝恂如法行事，到了杭州地区的金华、孝丰、仁和、石门、海宁诸州县，任地方长官，最后代理了杭州知府。
做了官的林孝恂，尽管头顶乌纱，却仍然不脱书卷气。二十世纪末浙江石门民间发现林孝恂手书的对联：
书幌露寒青简湿
墨花润香紫毫圆
对联正是林孝恂宦余生活的写照。或许是这样的经历，这样的气质，有助林孝恂挣脱封建思想的泥潭。他本人曾经学习技艺，又谙熟医术，显示出务实的倾向。知府大人并不以“无才便是德”的教条禁锢眷属，夫人游氏即喜好典籍，且工于书法。子女教育也不分性别，女儿照样随男孩子一起启蒙，她们日后个个能诵诗写字。家塾设置的课程，固然请了国学大家林琴南，不免讲析四书五经，更延聘新派名流林白水，既介绍天文地理，又细述境外概况，甚至招了外籍教师华惠德（加拿大）、嵯峨峙（日本）来家教习英文、日文。虽说晚清风气逐渐开放，但基层官吏中能如此新旧不拒，中外兼学，毕竟不多见的。
林孝恂的开明还惠及嫡系以外的后辈，入杭州家塾启蒙的除自身儿女，并有老家福建的侄儿，其中不乏出类拔萃者，如以凛然殉道的林觉民，与林觉民一起为黄花岗七十二烈士之一的林尹民，前仆后继组织起义光复福建的林肇民。林孝恂又出资送外姓的蒋百里赴日本留学，蒋后来成为民国时期著名的军事教育家。
辛亥后那些前清官吏纷纷回老家广置田产以保晚年，林孝恂却客居新开埠的上海，投股商务印书馆以助现代出版事业，始终非同俗流。
这样开明的家庭出来的后代，追求时代潮流当在意料之中了。