建国后，经过学习，金岳霖说：“知识分子头等重要的问题是为谁服务的问题。在政治上我追随毛主席接受了革命的哲学，实际上是接收了历史唯物主义。”
新中国成立后，金岳霖带头在清华大学开设马克思主义哲学大课，并谦虚地把自己比做一年级的学生：今年是一年级，明年是二年级，十年八年总有进步。说：“因为马克思主义救了中国，所以我放弃了以前所作的学院哲学，转成了一个马克思主义者。”
从1951年起，金岳霖开始用马克思主义的观点进行自我批评。金岳霖后来在他的回忆中说：他的勇气来自于周恩来总理的示范。周恩来在知识分子思想改造动员报告会上，公开承认自己犯过错误，这对金岳霖的震动很大，也使他对中国共产党有了更深的认识，因而在思想改造上进行得较为彻底。
金岳霖于1953年加入中国民主同盟，1956年加入中国共产党。他说：“解放后，我们花大功夫，长时间，学习政治，端正政治态度。我这样的人有条件争取入盟入党，难道我可以不争取吗？不错，我是一个搞抽象思维的人，但是，我终究是一个活的、具体的人。”
解放初，金岳霖应邀到怀仁堂，见到了毛泽东，毛泽东明确地对金岳霖说：你搞的那一套还是有用的！金岳霖一下找到了自己在新社会的位置。1956年春节，毛泽东在宴请知识界人士时，对金岳霖说：数理逻辑重要，应该搞，你应该写书介绍数理逻辑，书出来后我愿意看。1957年4月，逻辑学界展开了一场争论，毛泽东在约见哲学界、逻辑学界代表时，再次邀请了金岳霖。1959年，在毛泽东“要学点逻辑”的指示下，金岳霖带领同事，开始逻辑教材改革和逻辑学的普及工作。
毛主席曾经对金岳霖说：“你要接触接触社会。”金先生已经八十岁了，怎么接触社会呢？他就和一个蹬平板三轮车的约好，每天蹬着他到王府井一带转一大圈。
一次，金岳霖在王府井一时兴起，花几百元买了一顶高级皮帽，事后竟诚惶诚恐了好一阵，虽然没有人指责他，他却多次在小组会上主动忏悔，说是过去资产阶级生活方式的余毒未清。阶级性主宰了他的思维逻辑。
金岳霖的侄女从美国回来去看他，当他得知侄女加入了美国籍后，竟二话没说把她赶了出去。
金岳霖写过一篇是《我没有成为公而忘私的共产党人》。他是56年入党，但是他说入党后，生活方式没有什么大的改变。他说“衣服在冬天仍穿满清的长袍。曾有人在王府井善意的批评我，说：‘老先生呀，现在不要穿你的长袍了。’可我仍然没有改。”
金岳霖曾说：“我培养了只做概念游戏，不关心政治，甚至于反动的人。例如殷福生（殷海光）就是我所供给所培养的一个反动分子，他现在在台湾为蒋匪帮服务。”“我宣传逻辑上的纯技术观点，天才教育观点，在这一方面我特别捧王浩，他现在仍然留在美国大学里，为美帝国主义服务。”
1958年，金岳霖参加一个文化代表团访英。王浩当时正任教于牛津大学，便安排老师在牛津哲学教师会作了一个不长的报告。金岳霖谈到，因为马克思主义救了中国，所以他放弃了以前所研究的学院哲学，转成一个马克思主义者。据王浩回忆，当时听讲的大部分教师觉得像这样的论证太简单了一些，“可是因为金先生的英式英语特别高雅漂亮，牛津的教师大多数对他很尊敬”。
全国开展知识分子“上山下乡”运动时，金岳霖已经70多岁，但却主动要求“下放”。为准备“下放”后有所作为，他有一段时间专门看养鱼的书。他对别人说，“我要是‘下放’了，农林牧副渔五业中，农业我现在干不了，林，我干不了，牧，我也干不了，副业，我也没有技术，就剩下养养鱼。”
晚年金岳霖写回忆录，第一句话是：“我和毛主席吃过四次饭。”他接下来写道：
“他大概已经知道我是湖南人，坐下来，他就给几只辣椒（好像特别为他预备的）。这一次最突出的事，是一年轻小伙子跑来抱住了毛主席。毛主席在他背上轻轻地拍个不停，这时主席饭也不能吃。后来有人（可能是青年的朋友）把那一青年请回去了。这件事充分表明人民的领袖和人民是没有任何隔阂的。”
1982年，重病期间的金岳霖留下了一份遗嘱：“哲学所党组负责同志：我可能很快结束。我要借此机会表示我感谢党，感谢毛泽东同志，感谢全国劳动人民，把中国救了。瓜分问题完全解决了。四个现代化问题也一定会解决。我死之后，请在我的存折中提出三千元献给党。请不要开追悼会，骨灰请让清风吹走。”
1982年，当金岳霖听说逻辑与语言函授大学招生六万人的时候，激动得说：“真了不起！真了不起！”翌年，他听说该校招生25万人时，更是兴奋不已。他向函大的老师表示“致敬”，感慨地说：“在解放前，一所很大的大学一年只培养几个、几十个学逻辑的学生，现在一年就有几万，几十万人学逻辑，这应该感谢伟大的时代。”