终于ChatGPT-5没有等来，却等来了o1-preview 和 o1-mini，到了GPT-5，很多人期待它能进一步突破认知极限，但出乎意料的是，GPT-5并没有按期发布，而ChatGPT-5也并未如预期那般到来。相反，市场上出现了两个替代品：o1-preview 和 o1-mini。这些产品的到来标志着AI的发展方向发生了某种转变。
这次变化真的很大。下图展示了包括o1-preview模型的能力、评估结果、链式推理（Chain-of-Thought Reasoning）等技术细节。通过这张图可以快速掌握o1-preview模型在不同任务中的表现、学习方法、扩展能力以及其在各种领域如数学、编程和科学中的应用。
从图中可以看到，o1-preview采用了强化学习方法，并通过"链式推理"来提高模型的推理能力，在多个任务中超越了之前的模型，并且在人类偏好评估、逻辑推理等方面有显著改进。
1. Learning to Reason with LLMs (大语言模型学习推理)
OpenAI o1：这是一个使用强化学习训练的大语言模型，专注于复杂推理能力的提升。它在回答问题之前会“先思考”，产生一条较长的推理链，然后再给出答案，这使得它的推理能力更加准确和深入。
o1的能力：
贡献：
o1-preview是该模型的早期版本，目前已开放给ChatGPT Pro用户和API开发者使用。
在编程和数学推理任务（如Codeforces和AIME美国数学奥林匹克选拔赛）中表现优异，排名靠前，超过了普通的PhD水平。
2. Reinforcement Learning Approach (强化学习方法)
大规模强化学习算法：模型的训练方式是通过强化学习，教它如何在复杂问题中使用推理链。这使得模型在处理需要分步骤推理的任务时表现出色，能够逐步调整策略、修正错误。
性能改进：
扩展性：
正在探索如何将这种强化学习方法扩展到更大规模的推理任务和更广泛的领域。
o1的表现会随着训练和使用时间的增加而持续改善，这种强化学习过程的积累使它在复杂任务中表现得越来越好。
3. Evaluations (评估)
推理能力提升：o1在多个推理任务上超越了GPT-4.0，尤其在需要复杂逻辑和多步骤推理的任务上，如数学和编程竞赛题（AIME、Codeforces、GPOA）。在高级数学、科学和物理问题上的表现超过了PhD水平。
考试成绩：
在2024年的AIME考试中，o1的成绩为74%（11/15），并且在一致性较好的情况下达到了83%（12/15）。在重新排名的1000个样本中，达到了93%的表现，这表明它在高难度推理任务上的表现非常稳健。
整体表现：o1在数学和跨学科推理上明显优于GPT-4.0，并且在MMU（混合多模态任务）中也得到了78.2%的得分，显示出强大的推理能力。
4. Chain-of-Thought Reasoning (链式推理能力)
o1通过强化学习习得了“链式推理”的能力，即在回答问题之前，模型会生成一条详细的思维链，逐步解决问题。这种方法模仿了人类的思维过程，使得模型在处理复杂问题时更加有效。
链式推理的优势：
通过链式推理，o1能够不断修正自己的思路，分解复杂问题，并在尝试不同解决方案的过程中调整策略。
5. Chain-of-Thought Illustrations (链式推理的示例)
该图展示了链式推理在多个复杂问题中的应用，包括密码学（cipher）、数学（math）、编程（coding）、科学（science）等领域的推理任务。
6. Human Preference Evaluation (人类偏好评估)
在人类偏好评估中，o1-preview在包含复杂推理任务的开放式问题上表现得更好，优于GPT-4.0，特别是在数据分析、编程、数学等需要深入推理的领域。
然而，在一些较为简单的语言任务上，GPT-4可能仍然被偏好，表明不同模型在不同任务上表现有所差异。
7. Safety (安全性)
o1-preview还在安全性上做了显著的改进，尤其是在内容生成的可控性方面：
思维链的隐藏：模型生成的推理链不会直接展示给用户，而是用于内部决策，这确保了生成的内容更加安全可靠。
安全框架：进行了多项安全测试，包括红队测试和内部评估，以确保模型在多种场景下表现稳健，不会生成有害内容。
8. Conclusion (总结)
o1的表现：
在AI推理和复杂任务中，o1显著提升了推理能力。它的链式推理能力尤其表现突出，在数学、科学、编程等领域有巨大的应用潜力。
未来的改进版本将继续完善其推理能力和安全性，提升模型在实际场景中的应用效果。
未来应用前景：
o1及其后续版本有望解锁更多复杂领域的新应用，包括编程、数学和其他跨学科领域。
接下来就是价格吐槽了，虽然像o1-preview 和 o1-mini这样的模型在性能和功能上都有了显著提升，但在实际使用中，很多用户可能会感到这些技术的高昂成本成为了一个门槛。
随着模型越来越复杂，API调用的价格也水涨船高。尤其对于个人开发者或小型团队来说，频繁使用这些大语言模型的成本可能会超出预算。虽然这些模型提供了卓越的功能，但并不是每个人都能负担得起其长期的使用费用。
如何在代码中使用呢，只需14行代码即可。
o1-preview 和 o1-mini 是强化学习和链式推理技术的最新突破，特别是在复杂推理任务上超过了现有的大模型（如GPT-4.0）。它们的优势体现在数学、编程等高难度任务上，同时通过链式推理的引入，显著提升了模型的推理深度和灵活性。此外，o1还在安全性和可靠性方面做出了显著改进，确保了其在多任务处理中的稳定表现。
参考资料：
https://x.com/search?q=openai&src=typed_query
