北京的春天风沙扑面，巴黎和会外交失败的消息传来，更加使人烦躁不安。5月3日，北京市各阶层举行了各式各样的集会。
北大学生是从校长蔡元培那里得到消息的。亲历者许德珩回忆说：“5月2日，我从蔡校长那里听到了这个晴天霹雳的消息，便约集参加《国民》杂志社的各校学生代表，当天下午在北大西斋饭厅召开了一个紧急会议，讨论办法。高工的一位学生代表夏秀峰当场咬破手指，写血书，大家激动得眼里要冒出火来。于是发出通知，决定5月3日晚7时在北河沿北大法科大礼堂召开全体学生大会，并约北京13个中等以上学校学生代表参加。”
另据亲历者俞劲回忆：五四运动爆发前两天，少年中国学会、爱国会、国民杂志社3个团体的成员20多人开了一个秘密会议。与会者异常愤慨，有主张暗杀卖国贼的，有主张实行暴动的。最后决定派人密查卖国贼曹汝霖、章宗祥、陆宗舆等人的行踪，并准备于5月4日采取行动。
1919年5月4日下午1时左右，各校学生约3000多人，在天安门前集会，每人手执小旗，上而写着“打倒卖国贼，收回山东权利”等标语。大会决议先向各国公使馆游行示威，再向总统府请愿，要求惩办卖国贼曹汝霖、章宗祥、陆宗舆；拒绝在巴黎合约上签字。大会后，队伍向各国公使馆所在地东交民巷出发。到达东交民巷口，队伍被外国兵阻挡不准通过。根据《辛丑条约》，中国人不能成群结队通过公使馆所在地。学生派代表向各国公使交涉了两三个小时，还是没有结果。经过一再要求，最后学生们只被准许通行大约200米左右，由一个小胡同出来。队伍出了小胡同之后，依照大会决议，应到总统府去请愿，但走在队伍前而的人却引导队伍浩浩荡荡向赵家楼曹汝霖公馆走去。
队伍到达曹汝霖公馆，只见公馆大门紧闭，有数十名警察守卫着大门，学生只好在大门外怒吼，高喊“打倒卖国贼”的口号。公馆大门左右两边各有一个一人多高的小窗户，曾经练习过武术的高师数理部学生匡互生突然奋不顾身纵步跳右边小窗户，几个警察拉住他的腿往下拽，领队的学生们看到后用力掰开警察的手。另有部分学生向警察慷慨演说。警察们被感动而放松了手。匡互生向里面望，见里面还有数十名警察，正用枪口对着他。他向这些警察演说，警察不敢开枪，改变了瞄准的姿态。匡互生便不顾切地跳下去，迅速把大口打开了，大队学生蜂拥谢入。
学生涌进了曹汝霖公馆之后，便分散到这个像“大观园”一样的公馆的各个角落，每个角落都是一片喊打声、捣毁家具声。各处搜寻曹贼不见踪影，忽而搜出了一个人来，有认识的人喊道：“这是章宗祥啊！”学生愤怒极了，你一拳、我一脚把他打倒在地。正打得起劲儿的时候，忽然来了一个人，拼死命地保护章宗祥。有人喊道：“这是个日本人，真是奇怪得很啊！”大家恐怕闹出国际交涉来，把章宗祥打个半死，才让那个日本人把他护送而去了。
曹汝霖91岁的时候，清晰地回忆了当时的情景：“我于仓猝间，避入小屋（箱子间），仲和（即章宗祥）由仆引到地下锅炉房（此房小而黑）。这箱子间，一面通我妇卧室，一面通两女卧室，都有门可通。我在里面，听了砰然一大声，知道大门已撞倒了，学生蜂拥而入。只听得找曹某打他，他到哪里去了。后又听得砰砰嘣嘣玻璃碎声，知道。窗玻璃都打碎了。继又听得瓷器掷地声，知道客厅书房陈饰的花瓶等物件都摔破了。后又打到两女卧室，两女不在室中，学生即将铁床的杆柱零件，拆作武器，走出了女儿卧室，转到我妇卧室。我妇正锁了房门，独坐房中。学生即将铁杆撞开房门，问我在哪里。妇答，他到总统府上吃饭，不知回来没有？……我在小室，听得逼真……我想即将破门到小屋来，岂知他们一齐乱嚷，都从窗口跳出去了，这真是奇迹。”
天快黑的时候，曹汝霖府忽然冒起黑烟，不一会儿，火势熊熊地蔓延了起来。青年学生痛快淋漓地高呼口号而散。第二天，他们才知道，后而走得慢的同学被捕了32人。这场火究竞是怎样起的，当时知道的人不太多。放火的人正是跳窗户开大门的匡互生。队伍在大街游行的时候，俞劲和匡互生走在队伍前面，匡互生要俞劲快跑去买盒火柴。俞劲回忆：“我知道他不吸烟，干吗要火柴？但立刻体会他要买火柴的意图，便迅速地离开队伍买了一盒给他，这盒火柴果然得到了妙用。这就是痛打章宗祥、火烧赵家楼的情形。”