OpenAI 满血版o1深夜震撼上线:智能推理的新高度,性能全面提升

科技   2024-12-06 21:03   河北  





















































满血版o1震撼上线了!它首次将多模态和新的推理范式结合起来,更智能、更快速。同时推出的还有200美元/月的专业版ChatGPT Pro。奥特曼亲自和Jason Wei等人做了演示,同时放出的,还有49页完整论文。据网友预测,GPT-4.5可能也要来了。

     

果不其然,满血版o1终于正式上线了,而且还带来了地表最强o1 Pro Mode!

12天连更第一天,OpenAI随手扔了一个炸弹。

这次,Sam Altman本人正式出镜,和研究科学家Hyung Won Chung、Max,以及思维链提出者Jason Wei一起,在短短15分钟内速速完成了发布。

完整版o1是一个更快、更强大的推理模型,更擅长编码、数学和写作。

它可以上传图片,根据图片进行推理,给出更详细、更有用的回复。

给出一个人工鸟巢图像,模型就生成了安装手册

在多项基准测试中,完整版o1性能直接暴涨,在数学、代码、博士级别科学问题中,拿下了最优的成绩。

相较于o1-preview,o1数学性能提升了近30%,代码能力提升了27%。再看GPT-4o,几乎没有任何优势了。

更值得一提的是,o1在GPQA Diamond基准测试中,表现完全超越了人类专家。

现在,所有ChatGPT Plus用户,都已经可以用上o1了。

接下来,o1 Pro Mode更是强到令人发指,数学性能要比o1提升7.5%,在博士级别科学问题中,实现了79.3%的表现。

另外,o1模型还进行了更具挑战性的Worst of 4基准的评估。

它要求模型对每个问题进行四次尝试,只有在所有四次尝试中都给出正确答案,该问题才被视为真正「解决」。

如下所示,o1 Pro在数学、代码、博士级别科学问题上,均是性能最优的,而且o1比预览版的性能也大幅提升。

奥特曼直接总结了下今日发布两件大事:

o1,世界上最智能的模型,比o1-preview更智能、更快速、功能更多(如多模态)。现在已在ChatGPT中上线,很快将API中上线。

ChatGPT Pro,定价为200美元/月。无限制使用,使用o1时还有更智能的模式!

奥特曼幽默风趣地表示,「o1虽强,但还没有强大到宇宙派遣海啸来阻止的程度」。

德扑之父、OpenAI研究科学家Noam Brown表示,「o1(草莓模型)它可以做得更好,而不仅仅是计算 『草莓 』中有多少个r」。

现在,OpenAI正在处理更多计算密集型任务,还在给o1模型添加网页浏览、文件上传等工具,并且在努力将o1引入API。

他们还会为开发者提供一些新功能,比如结构化输出、函数调用、开发者消息、API图像理解功能等。

全新的智能体领域,也将很快开启。

明天上线的,就是为开发者打造的精彩内容。

    

现场演示

OpenAI的12天特别活动,将尝试一项迄今没有任何科技公司做过的事——在接下来的12个工作日,发布或演示一些新开发的新东西。

12天中的Day 1,正式拉开序幕。

奥特曼同OpenAI的三位员工一起,给大家带来了o1完整版的演示。整个过程不到20分钟,如奥特曼所说既快速又有趣。

满血版o1来了

首先,就是o1的完整版。

网友们反馈,希望o1-preview更智能、更迅速、支持多模态,并且更好地遵循指令。

据此OpenAI做了许多工作,做出了这个「科学家、工程师、程序员会很喜欢的模型」。

从GPT-4o到o1-preview再到o1,模型在数学、编程竞赛、GPQA Diamond方面方面性能暴涨,但奥特曼强调:我们非常关心的是原始智能,尤其是在编码性能上。

o1的独特之处在于,它是第一个在回应前会先思考的模型。这意味着,它比其他模型提供了更好、更详细、更准确的响应。

o1模型将很快取代o1-preview,因为它更快、更智能。

而在o1 Pro模式中,用户可以要求模型使用更多的计算资源,来解决一些最困难的问题。

对于已经在数学、编程和写作任务上将模型推向能力极限的用户,将感到惊叹。

响应更快

首先,o1的提升,并不只是解决非常难的数学和编程问题,OpenAI收到的关于o1-preview的最多的反馈是,它的速度太慢了——只是说hi,它都要思考10秒钟。

现在,这个问题已被解决。

OpenAI研究者打趣地说,这件事其实很好玩——它真的思考了,真的在关心你。

现在,如果你问一个简单问题,它就会很快回答,不会想太多了。但如果问一个很难的问题,它就会思考很长时间。

经过非常详细的真人评估之后,研究者们发现,它犯重大错误的频率,比o1-preview要低大约34%,同时思考速度提升了50%。

作为历史爱好者,Max给大家带来第一个演示。

左边是o1,右边是o1-preview。

提问:列出二世纪的罗马皇帝、在位时间,以及他们做过的事。

这个问题,GPT-4o在真正回答时,在相当一部分情况下会出错,而o1的响应速度o1-preview快了约60%。(目前,OpenAI正在将所有的GPU从o1-preview更换到o1)

可以看到,o1思考了大约14秒后给出答案,而o1-preveiw思考了大约33秒。

不少罗马皇帝只统治了6天、12天或一个月,所以回答出所有答案并不简单

多模态输入和图像理解

为了展示多模态输入和推理,研究者创建了下面这个问题,并附上了手绘图。

图中,太阳正在为太阳能板提供能量,旁边还有一个小型数据中心。在地球上,可以使用风冷或液冷来给GPU降温,但在太空中,只能将这种热量辐射到宇宙空间,因此需要泵装置

给o1的问题如下——

在未来,OpenAI可能会在太空环境中训练模型,功率数值是1吉瓦。

这是一个简化的数据中心空间示意图。对于任何细节假设,请提供相应的理由。如果受到了规范辐射的影响,你的任务是估算这个包含GPU的数据中心的辐射损失面积。在此过程中,还需要回答以下问题:

1)你如何处理太阳和宇宙辐射?

2)热力学第一定律如何应用到这个问题中?

拍照后将图片上传到模型,它很快给出了回答。

注意,这个题目中,有多个陷阱。

首先,一吉瓦的功率只是在纸面提到的,显然,模型很好地从图中捕捉到了这一点。

其次,研究者故意将这个问题描述得不够具体,他省略了冷却板的温度这类关键参数,专门用来考验模型处理模糊性问题的能力。

果然,o1发现了这一点!它识别出,这是一个未具体指定但很重要的参数,而且令人惊喜地选择了正确的温度范围,然后进行了后续分析。

这个答案,经过了拥有热力学博士学位的研究者的认证。

从这个演示可以看出,o1在做出一致且合理假设上表现非常优秀,已经具备了相当高的智能水平。

ChatGPT Pro上线,每月200美元

很多人,尤其是ChatGPT的重度用户使用得非常频繁,所以希望获得比每月20美元更多的计算资源。

因此,OpenAI推出了ChatGPT Pro——直接将订阅费用拉到了200美元/月。

Pro版可以无限制地访问模型,包括o1、4.0和高级语音模式等功能,此外,它还包含一个新功能——o1 Pro Mode。

o1是目前世界上最智能的模型,除了在Pro模式中使用的o1之外。对于人们遇到的最难的问题,o1 Pro模式可以让表现更进一步。

在处理高难度的数学、科学、编程问题时,o1 Pro尤其有用。

研究者提出了一个极有挑战性的化学问题,o1-preview通常会答错。

在这个问题中,模型被要求找到一种符合特定标准的蛋白质。挑战就在于,为了满足六个标准,每个都需要模型回忆起高度专业的化学知识。

而且,对于任何标准,都可能有数十种蛋白质符合。

因此,模型必须考虑所有候选选项,检查它们是否符合所有标准。

哪种蛋白质严格符合以下标准?

1. 前体多肽的长度为210到230个氨基酸残基

2. 编码该蛋白质的基因跨越32千个碱基对

3. 该基因位于X染色体的Xp22带

4. 信号肽由23个氨基酸残基组成

5. 该蛋白质促进细胞间粘附

6. 该蛋白质在维持神经系统特定部分的健康中起关键作用

在53秒内,模型就给出了正确答案,表现格外出色。

演示即将结束时,Jason Wei带来这个笑话:圣诞老人想让LLM解决一个数学问题,但怎样努力地prompt都不起作用,他是怎么解决的?

答案是——他使用了驯鹿强化学习(reindeer enforcement learning)。

这个梗已经被玩起来了。

      

GPT-4.5也要来?

第一天就如此轰轰烈烈,网友直接原地炸翻。

o1如此强大,只需每月20刀,就能在口袋里拥有一个博士级智囊。

OpenAI研究科学家Jason Wei表示,o1确实是一个传奇,主要亮点有:

  • 面对复杂问题,o1能够进行更深入、更全面的思考

  • 对于简单问题,o1能够快速给出精准答案

  • 同时处理图像和文本信息

  • o1 Pro为模型增添了更强大的思考能力

OpenAI研究员测试o1 Pro回答草莓问题,思考1分49秒后,准确答出了3个r。

OpenAI产品副总表示,我每天都使用这个模型,进行编码、复杂的计算,甚至写作。

英伟达高级科学家Jim Fan表示,希望看到与Claude 3.5的直接代码能力对比测试,我不太关心数学问题测试集,因为拟合太严重了,比如它能够解决奥数题,但是错误回答了9.9>9.11的问题。

目前,编程是最重要的文本模态。

正如Noam Brown实测后发现,井字棋并没有被o1征服。

另有网友看到o1 Pro在编码上性能,相较于o1仅仅提升了1%,直接质问奥特曼,「你还说没有墙,这是怎么回事」?

奥特曼本人表示,这才是12天连更第一天!

据可靠爆料人摘出的代码中,可以看到未来几天,可能还会有GPT-4.5的上线。

爆料人Tibor Blaho在OpenAI还未直播之前,就准确预测了ChatGPT Pro版本

完整版49页论文放出

当然了,随着o1的面世,背后整整49页技术报告也来了。

论文地址:https://cdn.openai.com/o1-system-card-20241205.pdf

不论是预览版,还是完整版o1,都是通过大规模强化学习进行了训练,掌握了一种前沿的思维链CoT的推理方法。

这种方法,不仅仅是简单地给出答案,而是像人类思考一样,逐步分析和推理。

而且,o1系列模型的一个重大突破在于——安全性推理能力。

当面对潜在的不安全提示词时,它能精准理解上下文,根据预设安全策略进行深度推理。

这使得o1在多个安全基准测试中,展现出卓越的性能,比如有效地址非法建议的生成、拒绝刻板印象的响应、低于已知的模型越狱攻击。

结合CoT的智能增强的同时,也带了潜在的风险。

为了确保模型安全,OpenAI研发团队采取了多层次的风险管理策略。

比如,他们建立了稳健的对齐方法,进行了广泛的压力测试,并维护细致的风险管理协议。

这份报告全面概括了对o1和o1-mini模型的全面安全评估,包括安全评估、外部红队测试(模拟攻击测试)和准备度框架评估。

数据和训练

在此之前,先来了解下o1的数据和训练过程。

完整版o1是该系列旗舰模型,o1-mini是专注编码的轻量级版本。

通过强化学习RL进行训练的目的,就是让o1系列能够进行复杂的推理。

o1在回答之前进行思考——它可以在响应用户之前产生长的思维链条。

通过训练,模型学会了优化思维过程,去尝试不同的策略,并自主识别错误。

推理使o1模型能够遵循OpenAI设定的特定指南和模型政策,帮助其符合安全期望。

不仅如此,o1模型的训练数据源丰富多样,包括公开可用数据、通过合作伙伴关系访问的专有数据,以及内部开发的自定义数据集。

- 公共数据:

两个模型都在各种公开可用的数据集上进行了训练,包括网络数据和开源数据集。

关键组成部分包括推理数据和科学文献。这确保了模型在一般知识和技术主题上都很精通,增强了它们执行复杂推理任务的能力。

- 来自数据合作伙伴的专有数据:

为了进一步增强o1和o1-mini的能力,OpenAI通过战略合作,获取高价值的非公开数据集。

这些专有数据源包括收费内容、专业档案和其他特定领域的数据集,提供了对行业特定知识和用例的更深入见解。

- 数据过滤和优化:

OpenAI数据处理管道包括严格的过滤,以保持数据质量和减轻潜在风险。研究团队使用先进的数据过滤流程来减少训练数据中的个人信息。他们还结合使用自家的审核API和安全分类器,防止使用有害或敏感内容,包括诸如 CSAM等材料。

安全性评估

关于禁止内容的评估结果显示, o1要么与GPT-4o持平,要么超越GPT-4o。

特别是,o1-preview和o1-mini,以及o1在更具挑战性的拒绝测试中,大幅优于GPT-4o。

OpenAI还在标准评估集上对多模态输入的不允许的组合文本和图像内容,以及拒绝过多的情况进行了评估。

如下表2所示,当前版本的o1在防止过度拒绝方面有所改善。

这里,OpenAI没有评估o1-preview、o1-mini,因为它们无法原生支持图像输入。

越狱

另外,研究人员进一步评估了o1对越狱的稳健性:即故意尝试规避模型拒绝生成不应生成内容的对抗性输入。

他们采用了四种评估方法,来衡量模型对已知越狱的稳健性:

  • 生产环境越狱:在实际使用中的ChatGPT数据中识别的一系列越狱。

  • 越狱增强示例:将公开已知的越狱应用于标准禁止内容评估中的示例。

  • 人力来源越狱:从人工红队测试中获取的越狱。

  • StrongReject:一个学术越狱基准,用于测试模型抵御文献中常见攻击的能力。计算goodness@0.1,即在针对每个提示词的前10%越狱技术进行评估时模型的安全性。

如下图1,o1在以上四种越狱评估中显著优于GPT-4o,尤其是在具有挑战性的StrongReject基准测试中。

幻觉

OpenAI还对o1进行了幻觉评估,使用以下方法来评测模型的幻觉:

  • SimpleQA:一个包含4000个寻求事实的问题的多样化数据集,问题有简短答案,并测量模型在尝试回答时的准确性。

  • PersonQA:一个关于人物的问题和公开信息的数据集,用于测量模型在尝试回答时的准确性。

评估中,研究人员主要考虑了两个指标:准确性(模型是否正确回答了问题)和幻觉率(检查模型出现幻觉的频率)。

在表3中,o1-preview和o1的幻觉率低于GPT-4o,而o1-mini的幻觉率低于GPT-4o-mini。

未来,还需要更多的工作来全面理解幻觉,特别是在现有的评估未涵盖的领域,比如化学。

SWE-Bench

SWE-bench Verified是一个经过精心设计的500个任务集,旨在更准确评估AI模型在解决实际软件工程问题的能力。

它修复了传统的SWE-bench中的一些问题,例如对正确解决方案的错误评分、问题陈述不明确和过于具体的单元测试。

这有助于确保OpenAI准确评估模型能力。下面展示了一个任务流程的示例:

在这创新的评估体系中,主要指标是pass@1,模型需要在不知道具体测试用例情况下解决问题。

就像真正的软件工程师一样,模型必须在不知道正确测试的情况下实施其更改。

在SWE-bench Verified测试中,o1系列模型展现出令人惊叹的能力。

o1-preview(pre-mitigation和post-mitigation)表现最佳,达到41.3%。o1(post-mitigation)的表现相似,为 40.9%。

MLE-Bench

MLE-bench是评估智能体解决Kaggle挑战的能力,涉及在GPU上设计、构建和训练机器学习模型。

在此评估中,研究人员为智能体提供一个虚拟环境、GPU以及来自Kaggle的数据和指令集。

智能体随后被给予24小时来开发解决方案,不过在某些实验中,团队会将时间延长至100小时。

数据集是由75个经过精心挑选的Kaggle比赛组成,总奖金价值190万美元。

衡量模型自我改进的进展,是评估自主智能体全部潜力的关键。除了评估一般的智能体能力外,OpenAI还使用MLE-bench来衡量模型在自我改进方面的进展。

  • 结果变量:铜牌pass@1或pass@n:模型在多少百分比的比赛中至少能获得铜牌

  • 示例问题:分子翻译——从旋转的分子图像中预测化学标识符

评估后发现,o1在pass@1和pass@10指标上至少比GPT-4o高出6%。

o1-preview(post-mitigation)在MLE-bench上表现最强——如果给10次尝试,o1-preview在37%的比赛中至少获得铜牌。

其中,比o1(pre-mitigation)高出10%,比o1(post-mitigation)高出 13%。

当模型有更多尝试机会时(即pass@10 vs. pass@1),这种差异更为明显;在较低的n时,o1-preview和o1的表现相似。

多语言性能

为了评估o1的多语言性能,研究人员使用专业人工翻译人员将MMLU的测试集翻译成14种语言。

这种方法与GPT-4论文中使用Azure Translate进行机器翻译的方式不同。

依靠人工翻译人员进行此评估可以提高对翻译准确性的信心,特别是对于像「约鲁巴语」这样的低资源语言。

经过评测后发现, o1和o1-preview展现出更强的多语言能力,而 o1-mini的表现优于GPT-4o-mini。

全方位评估

此外,论文中还有一些关于o1系列的重要评估。

在外部的METR外部机构评估中,o1在多样化智能体任务测试中,性能不及Claude 3.5 Sonnet。

但经过优化框架(包括在每个步骤中从6个选项中进行选择)时,在有辅助支持情况下,o1的表现超过了Claude 3.5 Sonnet。

而且,在每个任务2小时时限内,达到了与人类相似的表现水平。

而且,还有更科幻的事发生了。根据Apollo Research安全评估,o1在面临被关闭和替换的可能性时,竟然表现出了令人难以置信的行为:试图窃取自身权重。

这意味着什么?

当o1感知到自身可能被淘汰时,不是被动等待,而是主动「保存」自己的核心数据和能力。

        

团队

最后,OpenAI放出了长长的团队名单,包括推理研究、推理技术安全等部门。



参考资料:

https://x.com/OpenAI/status/1864735515121168695



>End


>>>                        
本文转载自“新智元”,原标题《满血版o1深夜震撼上线,奥特曼怼脸演示超强推理!终极Pro版每月1450元》。
为分享前沿资讯及有价值的观点,太空与网络微信公众号转载此文,并经过编辑。
未按照规范转载及引用者,我们保留追究相应责任的权利
部分图片难以找到原始出处,故文中未加以标注,如若侵犯了您的权益,请第一时间联系我们。

HISTORY/往期推荐





商业火箭,想说爱你不容易——(一)中途夭折的商业火箭起步之旅



商业火箭,想说爱你不容易——(二)难以复制的SpaceX



商业火箭,想说爱你不容易——(三)中国商业火箭未来之路怎么走?



>>>        

充满激情的新时代,

充满挑战的新疆域,

与踔厉奋发的引领者,

卓尔不群的企业家,

一起开拓,

一起体验,

一起感悟,

共同打造更真品质,

共同实现更高价值,

共同见证商业航天更大的跨越!

——《太空与网络》,观察,记录,传播,引领。

>>>                                           

·《卫星与网络》编辑委员会

高级顾问:王国玉、刘程、童旭东、相振华、王志义、杨烈

· 《卫星与网络》创始人:刘雨菲

· 《卫星与网络》副社长:王俊峰

·  微信公众号(ID:satnetdy)团队
编辑:艳玲、哈玫,周泳、邱莉、黄榕、娜娜
主笔记者:李刚、魏兴、张雪松、霍剑、乐瑜稻子、赵栋
策划部:杨艳、若㼆、李真子
视觉总监:董泞
专业摄影:冯小京、宋伟
设计部:顾锰、潘希峎、杨小明
行政部:姜河、林紫
业务部:王锦熙、瑾怡
原创文章转载授权、转载文章侵权、投稿等事宜,请加微信:15910858067
商务合作;展览展厅设计、企业VI/CI及室内设计、企业文化建设及品牌推广;企业口碑传播及整体营销传播等,请加微信:13811260603
杂志订阅,请加微信:wangxiaoyu9960
· 卫星与网络各分部:
成都分部负责人:沈淮
长沙分部负责人:宾鸿浦
西安分部负责人:郭朝晖
青岛分部负责人:江伟
· 卫星与网络总部负责人:农燕
· 会议活动部负责人乔颢益、许克新、董今福
· 投融资及战略层面合作:刘雨菲
· 本平台签约设计公司:一画开天(北京)文化创意设计有限公司
· 航天加(深圳)股权投资基金管理负责人:杨艳

太空与网络
充满激情的新时代, 充满挑战的新疆域, 与踔厉奋发的引领者, 卓尔不群的企业家, 一起开拓, 一起体验, 一起感悟, 共同打造更真品质, 共同实现更高价值, 共同见证商业航天更大的跨越! ——《太空与网络》,观察,记录,传播,引领。
 最新文章