首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

o1 pro挑战美国本科生最难数学竞赛，30分钟交卷却被「大佬」现场打脸！

文化 2024-12-11 08:26 天津

新智元报道

编辑：编辑部 HYZ

【新智元导读】美国本科生最难数学竞赛，o1 pro竟然只用半小时就全部做出来了？要知道，参赛学生的正常答题时长是6小时。不过网友们仔细看它的解题过程后发现，错误率似乎高达100%，12道题没有一道完全正确？

一年一次的北美最难本科数学竞赛，刚在MIT沃克纪念堂（Walker Memorial）落幕。

这场普特南数学竞赛（Putnam Exam），每年汇聚了来自北美数百所高校的3500多名学生前来参赛。

既有个体，也有团体，他们需要在总时长为6小时的时间内完成作答。

在这场比赛还未开始之前，来自IBM研究员曾暗示，在公开题目发布后，会有人对大模型（AlphaProof、o1、Gemini）进行题目测试。

恰好，OpenAI最近发布了满血版o1，以及最强o1 pro，不知它们在这场考试表现如何？

相较于o1-preview，o1数学性能提升27%，o1 pro提升36%

o1 Pro半小时做出全部赛题

令人吃惊的是，有网友把此次普特南考试的考题给了OpenAI o1 pro。

上下滑动查看

6个小时的赛题，它居然半小时就做出来了！

用时最长的一道题花了6分52秒，最短的只用了1分12秒（上下滑动查看）

详细看了答案的网友们表示松了一口气：o1 pro还远未达到普特南考试的水平。

比如对于A1这道题，虽然它只用了1分钟58秒就做了出来，总体思路也是正确的，但仍有很多错误。

上下滑动查看

A2也没有完全解决。

如果在普特南答卷上写「……等等强烈表明我是对的」，显然你不会得分。

上下滑动查看

A3的答案，是错误的。

网友直接给出了正确的解题思路：可以利用鸽巢原理（抽屉原理）来证明在给定约束条件下，只存在唯一一个有效双射函数，并由此可以推导出不存在满足题目要求的a、b、c、d值。

上下滑动查看

对于B1，答案在n和k的形式上是正确的，但整个证明方法完全站不住脚。

上下滑动查看

总之，o1 pro似乎没有一道题是正确的。

这个结果属实有点惊人，因为其中一些问题难度没有那么高，比一些AIME竞赛题容易。

当然，如果从做出题目的数量来说，o1 pro的表现还是可圈可点。

目前来说，o1 pro做出的题目都是错误且不完整的。如果我们不以数学家的角度评判，可以认为它们很聪明。

更多评测

CodeSignal创始人Tigran Sloyan开启了两轮大测试，让o1 pro分别去解决普特南数学竞赛A1题，以及IMO试题。

显然，在普特南数学竞赛测试中，o1 pro成功做对了第一题。

得分+10，就已经超越了30%的参赛者。

如下，是o1 pro的全部解题过程。

而在IMO测试中，o1 pro完美解决了2006年测试集中最难的Q3题，仅仅用了6分48秒。

相较之下，在2006年全球大约500名19岁以下顶尖数学天才中，只有28人能在4个半小时内完全解出这道题。而美国对的6名成员，却无一人做到。

这是o1 pro的分析过程，虽然很简洁，好像省略了很多证明步骤。

Sloyan特别要求让其展示第4、5步的具体证明过程，o1 pro随后扩展出的思维过程同样令人印象深刻。

而且，他还测试其他模型（包括o1），尝试做这道题目，却都失败了。

没想到，这个结果惊动了xAI科学家Hieu Pham。

他表示，o1 pro的答案完全是胡说八道。如果在IMO竞赛中提交这样的解答，最多也只能给1分（满分7分）。如果遇到宽松的评判员，最多给2分，不会再多了。

他接着称，训练数据问题是一部分，这个答案 \frac{9}{16 \sqrt{2}}很可疑。IMO的题目和解答就像是数学CoT的黄金训练数据集，所以这些模型一会被反复训练无数遍。

另一位研究员Jason Li测试后惊叹道，o1似乎已经解决掉了一半的问题（60分/满分120），这在普特南竞赛的历史排名中大约能冲进前2%的参赛者之列。

o1挑战23年赛题

今年9月，o1发布不久后，AI评估平台HoneyHive曾让新模型去挑战了23年普特南数学竞赛的题目。

当时，OpenAI公开的测试结果显示，o1的数学性能大幅超越了GPT-4o，飙升43.3%实现了质的飞升。

在这场比赛中，o1-preview拿下了79分（满分120）位列第9，o1-mini取得了73，排名第19。

2023年普特南数学竞赛问题集，如下所示：

HoneyHive的评估方法是，每个模型重复运行2次，并让GPT-4o作为标准的判断者，以评估模型的答案，最终再由人类专家进行验证。

下面是让GPT-4o承担「评估者」角色的提示示例。

研究人员发现，第二次运行时，o1-preview得分从51提高到79，o1-mini从54提高到73，GPT-4o也从43提高到57。

在第二轮中，所有的模型都在努力给出证明，具体来说：

o1-preview完全解决了问题A1、A3、B4，部分解决了问题B2，但证明不足。

o1-mini的结果，与o1-preview类似。GPT-4o仅是完全解决了A1问题。

有趣的是，这些模型的结果虽然是正确的，但解决方案缺乏详细的分步解释，特别是对于证明类的问题。

比如，o1-preview和o1-mini在问题B2上都因证据不足、不够严谨失掉了一些分数，尽管最终结果是正确的。

他们认为，这可能是因为AI模型在表达或访问其内部「思维链」时，存在一定的局限性。

不过，IBM研究员表示，能够拿下一定的高分，当然也存在了数据泄露的可能性。

比赛介绍

普特南数学竞赛（全称William Lowell Putnam Mathematical Competition）专为美国和加拿大的本科生设立，每年于12月举办一届，今年是第85届年赛。

每年竞赛一共分为两场考试，分别是上午A试，下午B试，各三小时。

这场比赛可以追溯到1938年，最初只是各个高校数学系之间的友好较量。如今，它已经发展成为世界上最具权威的大学数学竞赛。

每年12月，数百所大学数学尖子生在为期6小时数学中展现自己的数学才华。

尽管考生需要独立完成试卷，但比赛同时设立了团队的环节。

普特南数学竞赛不仅仅是一场知识的较量，更是一个荣誉的殿堂。排名最高的团队的数学系可以获得现金奖励，学生成员还将被授予「普特南研究员」的称号。

与此同时，比赛还设立了「The Elizabeth Lowell Putnam Prize」奖项，专为表现卓越的女性数学家颁奖。

去年第84届比赛中，个体获奖者5名全部来自MIT，团体获奖者前五名也分别来自世界高校：MIT、哈佛、杜克、斯坦福、多伦多大学。

参考资料：

https://x.com/DanHendrycks/status/1865858756040704335

干货直达👇

数学建模之路

分享数学建模相关的学习教程、软件资源、视频课程、经验分享、通知文件等。涵盖大数据、Python、数据挖掘、人工智能、互联网前沿、计算机相关知识。期待与大家共同学习，共同进步！

最新文章

送给各学科老师的新春对联，快贴起来！

CS本科就业寒冬来袭！名校24届就业率被曝不足50%，企业宁用AI不招应届生

人类最后一次考试，AI惨败正确率＜10%！数百顶级专家联手出题，DeepSeek竟是王者

1964年，一个知青在看钱学森的论文时，发现方程推导错了

关于举办第五届全国数学建模微课程（案例）教学竞赛的通知

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

史上最全建模国赛论文集(1992-2024)

一法破万法，未出版就被周鸿祎等多位大佬推荐的爆款书新鲜出炉了....

清华大学刘知远团队新作，未出版就爆火，28位AI天才们的热血传奇，比番剧更燃！

AI风暴席卷达摩院青橙奖，六成获奖者用AI搞科研，平均年龄34岁

GPT-4o数学能力跑分直掉50%，上海AI Lab开始给大模型重新出题了

悼念！清华大学计算机教授、《数据结构》编著者严蔚敏去世，享年 86 岁

数字比你想得更复杂——一文带你了解大模型数字处理能力的方方面面

o1 pro挑战美国本科生最难数学竞赛，30分钟交卷却被「大佬」现场打脸！

困扰数学家近60年的搬沙发难题疑似被解决！119页论文证明最优解，百万网友围观

陶哲轩对谈OpenAI高管：AI也能做数据稀疏推理，“也许很快OpenAI就能证明陶哲轩是错的”

《我的世界》搞数学研究，估算欧拉数误差仅0.00766%！数学博士的跨界花活儿火了

微软：两个AI相互纠错，数学再涨5分

AI做数学学会「动脑子」！ UCL等发现LLM「程序性知识」，推理绝不是背答案

“华为杯”第二十一届中国研究生数学建模竞赛获奖名单公布

陶哲轩联手60多位数学家出题，世界顶尖模型通过率仅2%！专家级数学基准，让AI再苦战数年

【终稿】2024高教社杯全国大学生数学建模竞赛获奖名单

美国高中女生因数学竞赛，发现勾股定理新证明！论文已发《美国数学月刊》

UCLA、MIT数学家推翻39年经典数学猜想！AI证明卡在99.99%，人类最终证伪

2024全国大学生数学建模竞赛评阅要点无水印版，ABCDE集齐了，附成绩公布时间

“华为杯”第二十一届中国研究生数学建模竞赛开赛公告

“华为杯”第二十一届中国研究生数学建模竞赛开启倒计时！

全国大学生数学建模竞赛赛题评阅要点及成绩公布时间

全国大学生数学建模竞赛全国奖项评阅工作规范

2024年数学建模国赛十大热点问题全解答，忽视这几点，好多学生成绩被降级！

100个红绿球，让2万人集体翻车！数学家「罐中难题」引爆全网讨论

豆瓣9.6，多语言版本全球发行，这本书为啥这么受欢迎？

2024年高教社杯全国大学生数学建模竞赛使用手册发布！！！

全国大学生数学建模竞赛论文格式规范（2023年修订稿）

全国大学生数学建模竞赛章程(2023年修订稿)

10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了，主要作者全靠自学成才

百万在线，大圣归来！《黑神话：悟空》石破天惊，RTX 4090D飞越花果山

豆瓣9.5，陶哲轩最经典专业数学著作，徒手搭建起数学大厦！读者盛赞“连附录A都写得这么精彩”

史上最全研究生数学建模竞赛论文集(2004-2023)

浅议AI时代的数学建模

Mistral AI两连发：7B数学推理专用、Mamba2架构代码大模型

一枚「弃子」打破80年黎曼猜想纪录！菲尔兹奖得主MIT大拿联手，陶哲轩转赞

陶哲轩点破「天机」：不懂数学别想靠ChatGPT飞升！

2024阿贝尔奖得主致年轻数学家：你们选择了绝对正确且完美的领域

北大千问团队推出数学专用版CriticGPT，“找茬”让大模型进步更快

当地回应涉姜萍问题：月考成绩截图属实，预赛借的电脑

2024阿里巴巴全球数学竞赛决赛通知

AI将是数学家的得力助手，陶哲轩谈AI在证明过程中的潜力

2024阿里巴巴全球数学竞赛决赛入围名单

新架构Mamba更新二代！作者：别争了，数学上Transformer和SSM是一回事

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉