蔡元培一生致力于教育，办学无数。早在1885年他17岁时，就开始设馆教书。
蔡元培培植家乡青年不遗余力，先后主办过绍郡中西学堂、绍兴府学堂、越郡公学、明道女校，曾任稽山中学名誉校董。
1898年，蔡元培从北京回到绍兴，就在这年冬天担任绍兴中西学堂监督（校长）。中西学堂创始于1887年（光绪十三年），是绍兴最早的一所学校，即浙江第五中学的前身。这是一所旧式学校，蔡元培在这里办学，其艰难情况可以想见。中西学堂的课程中原有英语、法语两种外国语，蔡元培到校以后，又添设了日语，聘请日本人中川到绍兴来任教。中西学堂教师之中，分为新旧两派：新派教师有杜亚泉、寿孝天、胡道南、马天锡等；旧派教师有任秋田、薛闺轩、陶斐然、周凤苞等。英文教师是许翰西，算学教师为何豫才。新旧两派教师之间，斗争是激烈的。常常为了校里革新的问题发生争论。蔡元培当然站在新派一边，全体学生也同情新派。为此，蔡元培受到校董的警告，他就愤然辞职，于1899年离开了中西学堂。
1901年夏，蔡元培到上海代理澄衷学堂校长。同年年9月，被聘为南洋公学经济特科班总教习。
1902年，蔡元培同蒋智由等在上海创办中国教育会并任会长，创立爱国学社、爱国女学，均曾被推为总理。次年，爱国学社的活动引起清政府的警觉，清政府下令侦讯。蔡元培辗转青岛、日本、绍兴、上海等地，一方面学习德语，准备赴德留学以躲避风头，一方面仍从事教育和革命活动。
1915年6月，民国四年，蔡元培48岁时，他与李石曾、吴玉章等发起组织华法教育会，在法国倡勤勤工俭学，希望以次组织帮助更多华人到欧洲求学，后来的周恩来、邓小平等均是通过这个组织的帮助后顺利在法国进行学习的。
1916年12月26日，蔡元培受命担任北京大学校长。从1912年京师大学堂更名为北京大学，到1917年蔡元培出任北京大学校长，短短5年间，北大走马灯似地换了四任校长：严复、章士钊、何燏时、胡仁源。他们都是民国文化教育界鼎鼎有名的精英人物，尽管使尽了十八般武艺，可就是当不好这样一个脱胎于旧体制的大学的校长，难有作为。赴任前，蔡元培的众多友人认为北大校方腐败，如赴任有碍名望。孙中山认为，“北方当有革命思想的传播，像蔡元培这样的老同志，应当去那历代帝王和官僚气氛笼罩下的北京，主持全国教育。”蔡元培慨然领命。
1920年初，蔡元培与李石曾、吴敬恒，利用庚子赔款，创办中法大学于北京。蔡元培任校长。同年年底，蔡元培被北京大学派遣去欧洲考察，与法国里昂市长赫礼欧（），里昂大学医学院院长雷宾（Lepine）等，合作设立里昂中法大学协会，决定在里昂成立中法大学。
有一则逸事说明蔡元培办学之多：北平孔德学校因地界纠葛，与某大学打官司。对簿公堂时发现，原告为“某大学校长蔡元培”，被告为“孔德学校校长蔡元培”。实属罕见。