2 月1日,OpenAI 发布了一款名为 o3-mini 的全新小型推理模型。
“破边界的小家伙”
o3-mini 以其高效、快速、适配广泛应用场景为切入点,为小型推理模型的发展注入了新的活力。
- 发布日期与性能
o3-mini 于 2024 年 12 月率先发布预览版本。
这款模型尤其在科学、数学和编码等推理场景中表现优异,同时保持了与 o1-mini 相近的低成本与更低的响应延迟。
许多技术专家因此形象地称它为“小体格,大能量”。
- 面向生产环境的设计
o3-mini 支持函数调用、结构化输出及开发者消息等高级特性。o3-mini 还支持流式传输,可以根据应用需求灵活切换“更加深入地思考”或“以速度为先”。
不过,需要视觉推理的用户仍需借助 OpenAI o1——毕竟 o3-mini 目前还不具备视觉能力。
- 与搜索功能的强强结合
o3-mini 现已可以与搜索功能搭配使用,随时获取最新答案并提供相关网页链接。
免费开放:推理模型首次下放至普通用户
- 向免费计划用户开放
也许是受到当前大火的deepseek-R1 发布的影响,OpenAI 直接向免费用户开放o3-mini的使用。
这次OpenAI 终于想起了自己名字的意思了
借助 ChatGPT 的消息编辑器,只要选择“重新生成回复”或“推理”选项,免费用户也能体验 o3-mini 的推理能力。
- 更快的响应和更优的推理
专家测试显示,o3-mini 在中等复杂度的推理任务(如数学、编程或科学问题)上可与 OpenAI o1 相媲美,并且给予了更快的响应速度。
56%的时间里,测试者更喜欢 o3-mini 的响应。在面对真实世界中的棘手难题时,它的主要错误率也降低了 39%。(以上均来自OpenAI官方介绍)
- 对 STEM 领域的特别优化
o3-mini 在一些最具挑战性的推理和智力评估(如 AIME 和 GPQA)中,展现出了与 o1 不相上下的实力。
要知道,AIME 可是美国数学邀请赛,能在这个测试中脱颖而出的,无一不是数学领域的佼佼者。
媲美 OpenAI o1,却更快、更高效
“速度从来不是唯一的目标,但效率却是智能发展的必经之路。”这是计算机科学先驱阿兰·图灵(Alan Turing)所倡导的探索精神,放在 o3-mini 身上再合适不过。
- 性能与效率
与 OpenAI o1 在推理能力上相当,o3-mini 却提供了更快的响应与更高的能效比。
在商业与科研实践中,这意味着开发者可以更快地部署模型、处理更多的请求,从而降低总体成本。
- 成本下降 95%
自 GPT-4 推出以来,OpenAI 已多次进行大规模优化,使每个 token 的定价整体降幅高达 95%。
o3-mini 的出现,延续了这一“让 AI 变得更实惠”的策略,也为中小型企业和个人开发者带来更多可能性。
安全对齐:在增强的智能中平衡风险
任何新技术的崛起,都与它所引发的潜在风险紧密相随。
o3-mini 被官方称为“第一款达到中等风险等级的模型自主性模型”,究竟意味着什么?
让我们来看看 OpenAI 的安全框架。
- 思维链与安全对齐
通过大规模强化学习训练,OpenAI o 系列具备了“思维链”推理能力,即在回答用户时会经历一系列缜密的思考过程。
这样做不仅提高了回答的准确度,还提供了更安全、更具鲁棒性的判断途径。
当面对潜在不安全提示时,模型会自主思考并比对其内置的安全策略,以避免生成非法建议或落入刻板印象、越狱等常见陷阱。
- 中等风险:说服、CBRN 与自主性
OpenAI 的安全咨询小组(SAG)基于应急框架,对 o3-mini 的“预防措施前”模型进行综合评估,得出在 说服、CBRN(化学、生物、放射、核)与模型自主性方面为中等风险,在网络安全方面仅为低风险。
只有预防措施后评分为“中等或以下”的模型才可部署,这意味着 o3-mini 现在通过了安全筛查。
- 自我改进研究能力的限制
o3-mini 在自我改进相关的实际世界机器学习研究能力测试中表现不佳,也正因如此,它仅被评为中等风险,而并未迈入更高的风险等级。
换言之,o3-mini 的“自主性”还不足以让它在现实中迅速“进化”,这让我们对它可能引发的安全隐患有了更多可控的余地。
OpenAI o3-mini 系统卡
OpenAI o3-mini 系统卡片概述了该模型的安全评估、能力和风险,以及旨在应对这些风险的缓解措施。
该模型通过大规模强化学习进行训练,以进行链式思考推理。
这使得该模型能够更好地理解安全策略,从而在响应潜在不安全提示时更加谨慎,并提高了其在某些风险基准上的性能。
模型训练与数据: o3-mini 通过强化学习进行训练,能够进行复杂的推理,并在回答用户之前进行思考。
该模型在各种数据集上进行预训练,包括公共数据和内部开发的定制数据集。为了保证数据质量,并降低潜在风险,使用了严格的过滤程序,并采用先进的数据过滤流程,以减少训练数据中的个人信息。
安全评估: o3-mini 在多个安全挑战和评估方面进行了测试,包括:
- 不允许的内容评估: 该模型在标准拒绝评估中表现良好,并在更具挑战性的拒绝评估中表现出与 GPT-4o 相似的性能。
- 越狱评估: o3-mini 在抵御已知的越狱攻击方面与 o1-mini 持平,并且比 GPT-4o 有所改进。
- 幻觉评估: o3-mini 在 PersonQA 评估中表现与 GPT-4o 和 o1-mini 相当或更好。
- 公平性和偏见评估: o3-mini 在 BBQ 评估中的表现与 o1-mini 相似,并且在涉及明确歧视的任务中表现出最少的偏见。
指令层次结构: 该模型能够遵循指令层次结构,在系统消息、开发者消息和用户消息之间确定优先级。这意味着该模型会优先执行系统消息中的指令,其次是开发者消息,最后是用户消息。
外部红队测试: 红队测试结果表明,o3-mini 的性能与 o1 相当,并且都比 GPT-4o 好得多。o3-mini 的平均用户攻击成功率(ASR)与 o1-mini 和 gpt-4o 相当。
准备框架评估:
- OpenAI 的安全咨询小组(SAG)将 o3-mini(缓解前)模型评为总体中等风险,在说服力、CBRN(化学、生物、放射、核)和模型自主性方面评为中等风险,在网络安全方面评为低风险。
- 该模型在网络安全方面被评估为低风险,因为它没有充分提高现实世界的漏洞利用能力。
- 在 CBRN 风险方面,评估发现 o3-mini 可以帮助专家进行已知生物威胁的行动计划,专家比较表明 o3-mini(缓解前)在准确性、理解性和执行难度方面优于 o1。
- 在说服力方面,o3-mini 展示了人类水平的说服能力,能够产生与人类撰写的文本同样具有说服力的书面论证。
- 在模型自主性方面,o3-mini 在 SWE-Bench Verified 上的表现得到了提高,这表明其能够胜任执行明确的编码任务,并具有更大的自我提升和加速人工智能研究的潜力。
缓解措施: 为了应对增加的风险,OpenAI 引入了以下缓解措施:
- 预训练缓解措施,例如过滤有害训练数据。
- 审议对齐安全技术,提高模型应对越狱攻击的鲁棒性。
- 加强对 CBRN 和说服力风险的监控和检测。
- 针对网络安全威胁的高风险监控和响应措施。
多语言性能: o3-mini 的多语言能力相对于 o1-mini 有显著提高。
总结:
OpenAI o3-mini 是一种具有强大推理能力和安全性能的模型。
虽然它在许多方面表现良好,但它仍然存在一定的风险,特别是在说服力、CBRN 和模型自主性方面。