满血版o1震撼上线了!它首次将多模态和新的推理范式结合起来,更智能、更快速。同时推出的还有200美元/月的专业版ChatGPT Pro。奥特曼亲自和Jason Wei等人做了演示,同时放出的,还有49页完整论文。据网友预测,GPT-4.5可能也要来了。
满血版o1震撼上线了!它首次将多模态和新的推理范式结合起来,更智能、更快速。同时推出的还有200美元/月的专业版ChatGPT Pro。奥特曼亲自和Jason Wei等人做了演示,同时放出的,还有49页完整论文。据网友预测,GPT-4.5可能也要来了。
果不其然,满血版o1终于正式上线了,而且还带来了地表最强o1 Pro Mode!
12天连更第一天,OpenAI随手扔了一个炸弹。
这次,Sam Altman本人正式出镜,和研究科学家Hyung Won Chung、Max,以及思维链提出者Jason Wei一起,在短短15分钟内速速完成了发布。
完整版o1是一个更快、更强大的推理模型,更擅长编码、数学和写作。
它可以上传图片,根据图片进行推理,给出更详细、更有用的回复。
给出一个人工鸟巢图像,模型就生成了安装手册
在多项基准测试中,完整版o1性能直接暴涨,在数学、代码、博士级别科学问题中,拿下了最优的成绩。
相较于o1-preview,o1数学性能提升了近30%,代码能力提升了27%。再看GPT-4o,几乎没有任何优势了。
更值得一提的是,o1在GPQA Diamond基准测试中,表现完全超越了人类专家。
现在,所有ChatGPT Plus用户,都已经可以用上o1了。
接下来,o1 Pro Mode更是强到令人发指,数学性能要比o1提升7.5%,在博士级别科学问题中,实现了79.3%的表现。
另外,o1模型还进行了更具挑战性的Worst of 4基准的评估。
它要求模型对每个问题进行四次尝试,只有在所有四次尝试中都给出正确答案,该问题才被视为真正「解决」。
如下所示,o1 Pro在数学、代码、博士级别科学问题上,均是性能最优的,而且o1比预览版的性能也大幅提升。
奥特曼直接总结了下今日发布两件大事:
o1,世界上最智能的模型,比o1-preview更智能、更快速、功能更多(如多模态)。现在已在ChatGPT中上线,很快将API中上线。
ChatGPT Pro,定价为200美元/月。无限制使用,使用o1时还有更智能的模式!
奥特曼幽默风趣地表示,「o1虽强,但还没有强大到宇宙派遣海啸来阻止的程度」。
德扑之父、OpenAI研究科学家Noam Brown表示,「o1(草莓模型)它可以做得更好,而不仅仅是计算 『草莓 』中有多少个r」。
现在,OpenAI正在处理更多计算密集型任务,还在给o1模型添加网页浏览、文件上传等工具,并且在努力将o1引入API。
他们还会为开发者提供一些新功能,比如结构化输出、函数调用、开发者消息、API图像理解功能等。
全新的智能体领域,也将很快开启。
明天上线的,就是为开发者打造的精彩内容。
OpenAI的12天特别活动,将尝试一项迄今没有任何科技公司做过的事——在接下来的12个工作日,发布或演示一些新开发的新东西。
12天中的Day 1,正式拉开序幕。
奥特曼同OpenAI的三位员工一起,给大家带来了o1完整版的演示。整个过程不到20分钟,如奥特曼所说既快速又有趣。
首先,就是o1的完整版。
网友们反馈,希望o1-preview更智能、更迅速、支持多模态,并且更好地遵循指令。
据此OpenAI做了许多工作,做出了这个「科学家、工程师、程序员会很喜欢的模型」。
从GPT-4o到o1-preview再到o1,模型在数学、编程竞赛、GPQA Diamond方面方面性能暴涨,但奥特曼强调:我们非常关心的是原始智能,尤其是在编码性能上。
o1的独特之处在于,它是第一个在回应前会先思考的模型。这意味着,它比其他模型提供了更好、更详细、更准确的响应。
o1模型将很快取代o1-preview,因为它更快、更智能。
而在o1 Pro模式中,用户可以要求模型使用更多的计算资源,来解决一些最困难的问题。
对于已经在数学、编程和写作任务上将模型推向能力极限的用户,将感到惊叹。
响应更快
首先,o1的提升,并不只是解决非常难的数学和编程问题,OpenAI收到的关于o1-preview的最多的反馈是,它的速度太慢了——只是说hi,它都要思考10秒钟。
现在,这个问题已被解决。
OpenAI研究者打趣地说,这件事其实很好玩——它真的思考了,真的在关心你。
现在,如果你问一个简单问题,它就会很快回答,不会想太多了。但如果问一个很难的问题,它就会思考很长时间。
经过非常详细的真人评估之后,研究者们发现,它犯重大错误的频率,比o1-preview要低大约34%,同时思考速度提升了50%。
作为历史爱好者,Max给大家带来第一个演示。
左边是o1,右边是o1-preview。
提问:列出二世纪的罗马皇帝、在位时间,以及他们做过的事。
这个问题,GPT-4o在真正回答时,在相当一部分情况下会出错,而o1的响应速度o1-preview快了约60%。(目前,OpenAI正在将所有的GPU从o1-preview更换到o1)
可以看到,o1思考了大约14秒后给出答案,而o1-preveiw思考了大约33秒。
不少罗马皇帝只统治了6天、12天或一个月,所以回答出所有答案并不简单
多模态输入和图像理解
为了展示多模态输入和推理,研究者创建了下面这个问题,并附上了手绘图。
图中,太阳正在为太阳能板提供能量,旁边还有一个小型数据中心。在地球上,可以使用风冷或液冷来给GPU降温,但在太空中,只能将这种热量辐射到宇宙空间,因此需要泵装置
给o1的问题如下——
在未来,OpenAI可能会在太空环境中训练模型,功率数值是1吉瓦。
这是一个简化的数据中心空间示意图。对于任何细节假设,请提供相应的理由。如果受到了规范辐射的影响,你的任务是估算这个包含GPU的数据中心的辐射损失面积。在此过程中,还需要回答以下问题:
1)你如何处理太阳和宇宙辐射?
2)热力学第一定律如何应用到这个问题中?
拍照后将图片上传到模型,它很快给出了回答。
注意,这个题目中,有多个陷阱。
首先,一吉瓦的功率只是在纸面提到的,显然,模型很好地从图中捕捉到了这一点。
其次,研究者故意将这个问题描述得不够具体,他省略了冷却板的温度这类关键参数,专门用来考验模型处理模糊性问题的能力。
果然,o1发现了这一点!它识别出,这是一个未具体指定但很重要的参数,而且令人惊喜地选择了正确的温度范围,然后进行了后续分析。
这个答案,经过了拥有热力学博士学位的研究者的认证。
从这个演示可以看出,o1在做出一致且合理假设上表现非常优秀,已经具备了相当高的智能水平。
很多人,尤其是ChatGPT的重度用户使用得非常频繁,所以希望获得比每月20美元更多的计算资源。
因此,OpenAI推出了ChatGPT Pro——直接将订阅费用拉到了200美元/月。
Pro版可以无限制地访问模型,包括o1、4.0和高级语音模式等功能,此外,它还包含一个新功能——o1 Pro Mode。
o1是目前世界上最智能的模型,除了在Pro模式中使用的o1之外。对于人们遇到的最难的问题,o1 Pro模式可以让表现更进一步。
在处理高难度的数学、科学、编程问题时,o1 Pro尤其有用。
研究者提出了一个极有挑战性的化学问题,o1-preview通常会答错。
在这个问题中,模型被要求找到一种符合特定标准的蛋白质。挑战就在于,为了满足六个标准,每个都需要模型回忆起高度专业的化学知识。
而且,对于任何标准,都可能有数十种蛋白质符合。
因此,模型必须考虑所有候选选项,检查它们是否符合所有标准。
哪种蛋白质严格符合以下标准?
1. 前体多肽的长度为210到230个氨基酸残基
2. 编码该蛋白质的基因跨越32千个碱基对
3. 该基因位于X染色体的Xp22带
4. 信号肽由23个氨基酸残基组成
5. 该蛋白质促进细胞间粘附
6. 该蛋白质在维持神经系统特定部分的健康中起关键作用
在53秒内,模型就给出了正确答案,表现格外出色。
演示即将结束时,Jason Wei带来这个笑话:圣诞老人想让LLM解决一个数学问题,但怎样努力地prompt都不起作用,他是怎么解决的?
答案是——他使用了驯鹿强化学习(reindeer enforcement learning)。
这个梗已经被玩起来了。
第一天就如此轰轰烈烈,网友直接原地炸翻。
o1如此强大,只需每月20刀,就能在口袋里拥有一个博士级智囊。
OpenAI研究科学家Jason Wei表示,o1确实是一个传奇,主要亮点有:
面对复杂问题,o1能够进行更深入、更全面的思考
对于简单问题,o1能够快速给出精准答案
同时处理图像和文本信息
o1 Pro为模型增添了更强大的思考能力
OpenAI研究员测试o1 Pro回答草莓问题,思考1分49秒后,准确答出了3个r。
OpenAI产品副总表示,我每天都使用这个模型,进行编码、复杂的计算,甚至写作。
英伟达高级科学家Jim Fan表示,希望看到与Claude 3.5的直接代码能力对比测试,我不太关心数学问题测试集,因为拟合太严重了,比如它能够解决奥数题,但是错误回答了9.9>9.11的问题。
目前,编程是最重要的文本模态。
正如Noam Brown实测后发现,井字棋并没有被o1征服。
另有网友看到o1 Pro在编码上性能,相较于o1仅仅提升了1%,直接质问奥特曼,「你还说没有墙,这是怎么回事」?
奥特曼本人表示,这才是12天连更第一天!
据可靠爆料人摘出的代码中,可以看到未来几天,可能还会有GPT-4.5的上线。
爆料人Tibor Blaho在OpenAI还未直播之前,就准确预测了ChatGPT Pro版本
当然了,随着o1的面世,背后整整49页技术报告也来了。
论文地址:https://cdn.openai.com/o1-system-card-20241205.pdf
不论是预览版,还是完整版o1,都是通过大规模强化学习进行了训练,掌握了一种前沿的思维链CoT的推理方法。
这种方法,不仅仅是简单地给出答案,而是像人类思考一样,逐步分析和推理。
而且,o1系列模型的一个重大突破在于——安全性推理能力。
当面对潜在的不安全提示词时,它能精准理解上下文,根据预设安全策略进行深度推理。
这使得o1在多个安全基准测试中,展现出卓越的性能,比如有效地址非法建议的生成、拒绝刻板印象的响应、低于已知的模型越狱攻击。
结合CoT的智能增强的同时,也带了潜在的风险。
为了确保模型安全,OpenAI研发团队采取了多层次的风险管理策略。
比如,他们建立了稳健的对齐方法,进行了广泛的压力测试,并维护细致的风险管理协议。
这份报告全面概括了对o1和o1-mini模型的全面安全评估,包括安全评估、外部红队测试(模拟攻击测试)和准备度框架评估。
在此之前,先来了解下o1的数据和训练过程。
完整版o1是该系列旗舰模型,o1-mini是专注编码的轻量级版本。
通过强化学习RL进行训练的目的,就是让o1系列能够进行复杂的推理。
o1在回答之前进行思考——它可以在响应用户之前产生长的思维链条。
通过训练,模型学会了优化思维过程,去尝试不同的策略,并自主识别错误。
推理使o1模型能够遵循OpenAI设定的特定指南和模型政策,帮助其符合安全期望。
不仅如此,o1模型的训练数据源丰富多样,包括公开可用数据、通过合作伙伴关系访问的专有数据,以及内部开发的自定义数据集。
- 公共数据:
两个模型都在各种公开可用的数据集上进行了训练,包括网络数据和开源数据集。
关键组成部分包括推理数据和科学文献。这确保了模型在一般知识和技术主题上都很精通,增强了它们执行复杂推理任务的能力。
- 来自数据合作伙伴的专有数据:
为了进一步增强o1和o1-mini的能力,OpenAI通过战略合作,获取高价值的非公开数据集。
这些专有数据源包括收费内容、专业档案和其他特定领域的数据集,提供了对行业特定知识和用例的更深入见解。
- 数据过滤和优化:
OpenAI数据处理管道包括严格的过滤,以保持数据质量和减轻潜在风险。研究团队使用先进的数据过滤流程来减少训练数据中的个人信息。他们还结合使用自家的审核API和安全分类器,防止使用有害或敏感内容,包括诸如 CSAM等材料。
关于禁止内容的评估结果显示, o1要么与GPT-4o持平,要么超越GPT-4o。
特别是,o1-preview和o1-mini,以及o1在更具挑战性的拒绝测试中,大幅优于GPT-4o。
OpenAI还在标准评估集上对多模态输入的不允许的组合文本和图像内容,以及拒绝过多的情况进行了评估。
如下表2所示,当前版本的o1在防止过度拒绝方面有所改善。
这里,OpenAI没有评估o1-preview、o1-mini,因为它们无法原生支持图像输入。
越狱
另外,研究人员进一步评估了o1对越狱的稳健性:即故意尝试规避模型拒绝生成不应生成内容的对抗性输入。
他们采用了四种评估方法,来衡量模型对已知越狱的稳健性:
生产环境越狱:在实际使用中的ChatGPT数据中识别的一系列越狱。
越狱增强示例:将公开已知的越狱应用于标准禁止内容评估中的示例。
人力来源越狱:从人工红队测试中获取的越狱。
StrongReject:一个学术越狱基准,用于测试模型抵御文献中常见攻击的能力。计算goodness@0.1,即在针对每个提示词的前10%越狱技术进行评估时模型的安全性。
如下图1,o1在以上四种越狱评估中显著优于GPT-4o,尤其是在具有挑战性的StrongReject基准测试中。
幻觉
OpenAI还对o1进行了幻觉评估,使用以下方法来评测模型的幻觉:
SimpleQA:一个包含4000个寻求事实的问题的多样化数据集,问题有简短答案,并测量模型在尝试回答时的准确性。
PersonQA:一个关于人物的问题和公开信息的数据集,用于测量模型在尝试回答时的准确性。
评估中,研究人员主要考虑了两个指标:准确性(模型是否正确回答了问题)和幻觉率(检查模型出现幻觉的频率)。
在表3中,o1-preview和o1的幻觉率低于GPT-4o,而o1-mini的幻觉率低于GPT-4o-mini。
未来,还需要更多的工作来全面理解幻觉,特别是在现有的评估未涵盖的领域,比如化学。
SWE-bench Verified是一个经过精心设计的500个任务集,旨在更准确评估AI模型在解决实际软件工程问题的能力。
它修复了传统的SWE-bench中的一些问题,例如对正确解决方案的错误评分、问题陈述不明确和过于具体的单元测试。
这有助于确保OpenAI准确评估模型能力。下面展示了一个任务流程的示例:
在这创新的评估体系中,主要指标是pass@1,模型需要在不知道具体测试用例情况下解决问题。
就像真正的软件工程师一样,模型必须在不知道正确测试的情况下实施其更改。
在SWE-bench Verified测试中,o1系列模型展现出令人惊叹的能力。
o1-preview(pre-mitigation和post-mitigation)表现最佳,达到41.3%。o1(post-mitigation)的表现相似,为 40.9%。
MLE-bench是评估智能体解决Kaggle挑战的能力,涉及在GPU上设计、构建和训练机器学习模型。
在此评估中,研究人员为智能体提供一个虚拟环境、GPU以及来自Kaggle的数据和指令集。
智能体随后被给予24小时来开发解决方案,不过在某些实验中,团队会将时间延长至100小时。
数据集是由75个经过精心挑选的Kaggle比赛组成,总奖金价值190万美元。
衡量模型自我改进的进展,是评估自主智能体全部潜力的关键。除了评估一般的智能体能力外,OpenAI还使用MLE-bench来衡量模型在自我改进方面的进展。
结果变量:铜牌pass@1或pass@n:模型在多少百分比的比赛中至少能获得铜牌
示例问题:分子翻译——从旋转的分子图像中预测化学标识符
评估后发现,o1在pass@1和pass@10指标上至少比GPT-4o高出6%。
o1-preview(post-mitigation)在MLE-bench上表现最强——如果给10次尝试,o1-preview在37%的比赛中至少获得铜牌。
其中,比o1(pre-mitigation)高出10%,比o1(post-mitigation)高出 13%。
当模型有更多尝试机会时(即pass@10 vs. pass@1),这种差异更为明显;在较低的n时,o1-preview和o1的表现相似。
为了评估o1的多语言性能,研究人员使用专业人工翻译人员将MMLU的测试集翻译成14种语言。
这种方法与GPT-4论文中使用Azure Translate进行机器翻译的方式不同。
依靠人工翻译人员进行此评估可以提高对翻译准确性的信心,特别是对于像「约鲁巴语」这样的低资源语言。
经过评测后发现, o1和o1-preview展现出更强的多语言能力,而 o1-mini的表现优于GPT-4o-mini。
此外,论文中还有一些关于o1系列的重要评估。
在外部的METR外部机构评估中,o1在多样化智能体任务测试中,性能不及Claude 3.5 Sonnet。
但经过优化框架(包括在每个步骤中从6个选项中进行选择)时,在有辅助支持情况下,o1的表现超过了Claude 3.5 Sonnet。
而且,在每个任务2小时时限内,达到了与人类相似的表现水平。
而且,还有更科幻的事发生了。根据Apollo Research安全评估,o1在面临被关闭和替换的可能性时,竟然表现出了令人难以置信的行为:试图窃取自身权重。
这意味着什么?
当o1感知到自身可能被淘汰时,不是被动等待,而是主动「保存」自己的核心数据和能力。
最后,OpenAI放出了长长的团队名单,包括推理研究、推理技术安全等部门。
参考资料:
https://x.com/OpenAI/status/1864735515121168695
>End
>>>
充满激情的新时代,
充满挑战的新疆域,
与踔厉奋发的引领者,
卓尔不群的企业家,
一起开拓,
一起体验,
一起感悟,
共同打造更真品质,
共同实现更高价值,
共同见证商业航天更大的跨越!
——《太空与网络》,观察,记录,传播,引领。
>>>
·《卫星与网络》编辑委员会
高级顾问:王国玉、刘程、童旭东、相振华、王志义、杨烈
· 《卫星与网络》创始人:刘雨菲
· 《卫星与网络》副社长:王俊峰