9 月份，OpenAI 正式公开前所未有的复杂推理大模型 o1，这是一个重大突破，新模型既具有通用的能力，也可以解决比此前的科学、代码和数学模型能做到的更难问题。
实验结果表明，在绝大多数推理任务中，o1 的表现明显优于 GPT-4o。
图：o1 在具有挑战性的推理基准上比 GPT-4o 有了很大的改进
OpenAI 为大模型的能力开启了新方向：「能不能像人一样思考与推理」已经成为了评判它们能力的重要指标。
最近这段时间，国内AI领域中，“推理模型”非常卷！
DeepSeek 发布了国内首个对标o1的推理模型 DeepSeek-R1-Lite
月之暗面 Kimi 推出的主打数学能力的推理能力强化模型 k0-math
阿里国际提出 Marco-o1 推理模型
昆仑万维推出「天工大模型 4.0」o1 版（Skywork o1），正式启动邀请测试
阿里Qwen团队发布首个开源推理大模型 QwQ-32B-Preview
北大、鹏城实验室等联合发布能够自主进行多阶段推理的视觉语言模型模型 LLaVA-o1
上交大 GAIR 研究组发布 o1 复现项目
AI 社区尤其是国内大模型公司正在向 o1 的霸主地位发起冲击，并开始在一些权威评测中取得领先。
部分公司称其推理模型的效果大幅超越/领先了 OpenAI 的 o1-preview、GPT-4o 模型。
DeepSeek-R1-Lite 是深度求索推出的新一代 AI 推理模型，用强化学习训练，具备长思维链推理能力，能实时展示推理思考过程，性能在多个基准测试中超越 GPT-4 等模型。
该模型在数学、编程和复杂逻辑推理任务上表现出色，提供媲美 OpenAI o1-preview 的推理效果。
比如，美国数学竞赛（AMC）中最高难度级别的 AIME，DeepSeek R1-Lite 领先 o1 一大截！
官方网站：https://chat.deepseek.com/
如下图所示，DeepSeek-R1-Lite-Preview 和 o1-preview 对比，随着思考长度的增加，AIME 上的得分稳步提高。
Kimi 正式发布新一代数学推理模型 k0-math。根据介绍，基准测试显示，Kimi k0-math 的数学能力可对标全球领先的 OpenAI o1 系列可公开使用的两个模型：o1-mini 和 o1-preview。
在中考、高考、考研以及包含入门竞赛题的MATH等 4 个数学基准测试中，k0-math 初代模型成绩超过 o1-mini 和 o1-preview 模型。
具体地，如下：
在数学能力基准测试 MATH 中，k0-math 模型得分 93.8，超过o1-mini 的 90 分和 o1-preview 的 85.5 分。k0-math 这一成绩仅次于暂未开放使用的 o1 完全版 94.8 分。
在两个难度更大的竞赛级别的数学题库 OMNI-MATH 和 AIME 基准测试中，k0-math 初代模型的表现分别达到了 o1-mini 最高成绩的 90% 和 83%。
实验结果表明，Marco-o1 模型在不同语言和配置下提高了推理能力。
Marco-o1-CoT 相比基线模型 Qwen2-7B-Instruct 提升了 1.37%；
Marco-o1-MCTS(step) 进一步提升至 90.40%，比基线模型提高了显著的 6.17%。
在中文MGSM数据集上:
Marco-o1-MCTS(mini-step of 32 tokens) 达到 82.40% 的准确率，比基线模型提高了令人瞩目的 5.60%。
11月27日，昆仑万维公司宣布正式推出其最新研发成果——“天工大模型4.0”o1版（Skywork o1）。
Skywork o1 是国内首款具备中文复杂推理能力的o1模型，具备自我反思和思考链技术，能模仿人类的思维过程，显著提升逻辑推理和复杂任务解决能力。
开源的 Skywork o1 Open，参数为 8B，在各项数学和代码指标上均有大幅提高，并将Llama-3.1-8B 的性能拉到同生态位SOTA，超越 Qwen-2.5-7B instruct。
同时，8B 的 Skywork o1 Open 也解锁了很多较大量级模型，如GPT 4o，无法完成的数学推理任务(如24点计算)。
基于天工自研的 Q* 线上推理算法配合模型在线思考，并寻找最佳推理路径。
这也是全球首次将 Q* 算法实现和公开，在 MATH 等数据集上可以显著提升 LLM 的推理能力，并降低计算资源的需求。
11月28日，阿里Qwen团队发布首个开源推理大模型 QwQ-32B-Preview！
QwQ（Qwenwith Questions）是通义千问Qwen系列的最新实验性研究模型，旨在提升 AI 的推理能力。
QwQ-32B-Preview 包含 325 亿个参数，能够处理最长 32000 个 tokens 的提示词；在 AIME 和 MATH 基准测试中，它的表现优于 OpenAI 的两个推理模型 o1-preview 和 o1-mini。
传送门：最新开源：阿里开源QwQ-32B-Preview推理大模型！
在考察科学问题解决能力的 GPQA 评测集上：QwQ-32B-Preview 获得 65.2% 的准确率，具备研究生水平的科学推理能力；
在涵盖综合数学主题的 AIME 评测中：QwQ-32B-Preview 以 50% 的胜率证明其拥有解决数学问题的丰富技能；
在全面考察数学解题能力的 MATH-500 评测中：QwQ-32B-Preview 斩获 90.6% 的高分，一举超越 OpenAI o1-preview 和 o1-mini，体现了在各类数学主题上的全面理解；
在评估高难度代码生成的 LiveCodeBench 评测中：QwQ-32B-Preview 成绩为 50.0%，验证了在实际编程场景中的出色表现。
北大、鹏城实验室等国内研究机构推出了多模态版o1开源模型 LLaVA-o1，基于 Llama-3.2-Vision 模型打造，超越传统思维链提示，实现自主“慢思考”推理。
与链式思维提示（CoT）不同，LLaVA-o1 可以按照四个阶段（摘要、视觉解释、逻辑推理和结论生成）进行结构化输出。这种结构化的方法使 LLaVA-o1 在推理密集型任务上的性能有显著提升。
根据论文介绍，仅用一个包含10万训练样本的数据集，LLaVA-o1 在多模态推理基准测试中超越了其基础模型 8.9%，并在性能上超越了一众开闭源模型，如 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct。
传送门：北大、清华等联合发布LLaVA-o1：首个自发性视觉 AI 模型
最近，国内有很多大模型公司开始发布类似 o1 的模型，虽然不排除有炒作的嫌疑，但说明大模型的竞争是非常激烈的！
根据OpenAI官方博客，o1 深度思考和复杂推理能力的提升归功于采用了自我对弈强化学习（Self-play RL）、思维链（CoT）等技术。
但 OpenAI 并没有公开 o1 模型的具体技术细节，从各高校、研究机构的 o1 模型复现研究来看，o1 的主要技术路线为「搜索+强化学习」，即对思维链进行搜索，然后用强化学习去学习搜索的过程。
国内做类 o1 推理模型的具体技术仍在探索中，有可能距离真正的 o1 还有一段较长的路要走！
近期国内推出的 7 个类 o1 推理模型中，仅有 3 个发布了技术报告，其余则没有公开技术细节。从已公开的三份技术报告来看，各家的技术路线也有一定差异。
不过，厂商发布的新模型要是不带点思维链，恐怕都不好意思拿出手了。
表：近期推出的国内推理模型所用技术情况
参考：
https://news.qq.com/rain/a/20241124A06O6T00?suid=&media_id=
https://mp.weixin.qq.com/s/B4UG8M0anhbFYxpoCParug
https://zhuanlan.zhihu.com/p/8863091236
