首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻

学术 2025-01-26 19:50 广东

这些天，硅谷彻底处于中国公司带来的大地震余波中。

全美都在恐慌：是否全球人工智能的中心已经转移到了中国？

就在这当口，全球复现DeepSeek的一波狂潮也来了。

诚如LeCun所言：「这一次，正是开源对闭源的胜利！」

在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的DeepSeek，或将威胁到美国的AI霸权。
大模型比拼的不再是动辄千万亿美元的算力战。
OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解，英伟达的股价将开始动摇。

种种这些观点和讨论，让人不禁怀疑：数百亿美元支出，对这个行业真的必要吗？甚至有人说，中国量化基金的一群天才，将导致纳斯达克崩盘。

从此，大模型时代很可能会进入一个分水岭：超强性能的模型不再独属于算力巨头，而是属于每个人。

30美金，就能看到「啊哈」时刻

来自UC伯克利博士生潘家怡和另两位研究人员，在CountDown游戏中复现了DeepSeek R1-Zero。

他们表示，结果相当出色！

实验中，团队验证了通过强化学习RL，3B的基础语言模型也能够自我验证和搜索。

更令人兴奋的是，成本不到30美金（约217元），就可以亲眼见证「啊哈」时刻。

这个项目叫做TinyZero，采用了R1-Zero算法——给定一个基础语言模型、提示和真实奖励信号，运行强化学习。

然后，团队将其应用在CountDown游戏中（这是一个玩家使用基础算术运算，将数字组合以达到目标数字的游戏）。

模型从最初的简单输出开始，逐步进化出自我纠正和搜索的策略。

在以下示例中，模型提出了解决方案，自我验证，并反复纠正，直到解决问题为止。

在消融实验中，研究人员运行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四种参数规模）。

结果发现，0.5B模型仅仅是猜测一个解决方案然后停止。而从1.5B开始，模型学会了搜索、自我验证和修正其解决方案，从而能够获得更高的分数。

他们认为，在这个过程，基础模型的是性能的关键。

他们还验证了，额外的指令微调（SFT）并非是必要的，这也印证了R1-Zero的设计决策。

这是首个验证LLM推理能力的实现可以纯粹通过RL，无需监督微调的开源研究

基础模型和指令模型两者区别：

指令模型运行速度快，但最终表现与基础模型相当
指令输出的模型更具结构性和可读性

此外，他们还发现，具体的RL算法并不重要。PPO、GRPO、PRIME这些算法中，长思维链（Long CoT）都能够涌现，且带来不错的性能表现。

而且，模型在推理行为中非常依赖于具体的任务：

对于Countdow任务，模型学习进行搜索和自我验证
对于数字乘法任务，模型反而学习使用分布规则分解问题，并逐步解决

苹果机器学习科学家Yizhe Zhang对此表示，太酷了，小到1.5B的模型，也能通过RL涌现出自我验证的能力。

7B模型复刻，结果令人惊讶

港科大助理教授何俊贤的团队（共同一作黄裕振、Weihao Zeng），只用了8K个样本，就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。

结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。

项目地址：https://github.com/hkust-nlp/simpleRL-reason

他们以Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。

整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。

最终，模型在AIME基准上实现了33.3%的准确率，在AMC上为62.5%，在MATH上为77.2%。

这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！

其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的，仅采用了MATH数据集中的8K样本。

Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调（SFT）作为冷启动，然后再进行强化学习。

在这两种方法中，团队都只使用了相同的8K MATH样本，仅此而已。

大概在第44步的时候，「啊哈时刻」出现了！模型的响应中，出现了自我反思。

并且，在这个过程中，模型还显现了更长的CoT推理能力和自我反思能力。

在博客中，研究者详细剖析了实验设置，以及在这个强化学习训练过程中所观察到的现象，例如长链式思考（CoT）和自我反思机制的自发形成。

与DeepSeek R1类似，研究者的强化学习方案极其简单，没有使用奖励模型或MCTS（蒙特卡洛树搜索）类技术。

他们使用的是PPO算法，并采用基于规则的奖励函数，根据生成输出的格式和正确性分配奖励：

如果输出以指定格式提供最终答案且正确，获得+1的奖励
如果输出提供最终答案但不正确，奖励设为-0.5
如果输出未能提供最终答案，奖励设为-1

该实现基于OpenRLHF。初步试验表明，这个奖励函数有助于策略模型快速收敛，产生符合期望格式的输出。

第一部分：SimpleRL-Zero（从头开始的强化学习）

接下来，研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。

训练过程动态分析

如下所示，所有基准测试的准确率在训练过程中都在稳步提高，而输出长度则呈现先减少后逐渐增加的趋势。

经过进一步调查，研究者发现，Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码，这可能源于模型原始训练数据的分布特征。

输出长度的首次下降，是因为强化学习训练逐渐消除了这种代码生成模式，转而学会使用自然语言进行推理。

随后，生成长度开始再次增加，此时出现了自我反思机制。

训练奖励和输出长度

基准测试准确率（pass@1）和输出长度

自我反思机制的涌现

在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的「aha moment」（顿悟时刻）。

第二部分：SimpleRL（基于模仿预热的强化学习）

如前所述，研究者在进行强化学习之前，先进行了long CoT SFT预热，使用了8,000个从QwQ-32B-Preview中提取的MATH示例响应作为SFT数据集。

这种冷启动的潜在优势在于：模型在开始强化学习时已具备long CoT思维模式和自我反思能力，从而可能在强化学习阶段实现更快更好的学习效果。

与RL训练前的模型（Qwen2.5-Math-7B-Base + 8K QwQ知识蒸馏版本）相比，Qwen2.5-7B-SimpleRL的平均性能显著提升了6.9个百分点。

此外，Qwen2.5-7B-SimpleRL不仅持续优于Eurus-2-7B-PRIME，还在5个基准测试中的3个上超越了Qwen2.5-7B-SimpleRL-Zero。

训练过程分析

训练奖励和输出长度

基准测试准确率（pass@1）和输出长度

Qwen2.5-SimpleRL的训练动态表现与Qwen2.5-SimpleRL-Zero相似。

有趣的是，尽管研究者先进行了long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。

他们推测，这可能是因为从QwQ提取的推理模式不适合小型策略模型，或超出了其能力范围。

因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。

最后，研究者用达芬奇的一句话，对这项研究做了总结——

简约，便是最终极的精致。

完全开源复刻，HuggingFace下场了

甚至，就连全球最大开源平台HuggingFace团队，今天官宣复刻DeepSeek R1所有pipeline。

复刻完成后，所有的训练数据、训练脚本等等，将全部开源。

这个项目叫做Open R1，当前还在进行中。发布到一天，星标冲破1.9k，斩获142个fork。

项目地址：https://github.com/huggingface/open-r1

研究团队以DeepSeek-R1技术报告为指导，将整个复刻过程划分为三个关键步骤。

步骤 1：通过从DeepSeek-R1蒸馏高质量语料库，复现R1-Distill模型。
步骤 2：复现DeepSeek用于创建R1-Zero的纯强化学习（RL）流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。
步骤 3：展示我们如何通过多阶段训练，从基础模型发展到经过RL调优的模型。

从斯坦福到MIT，R1成为首选

一个副业项目，让全世界科技大厂为之惶恐。

DeepSeek这波成功，也成为业界的神话，网友最新截图显示，这款应用已经在APP Store「效率」应用榜单中挤进前三。

在Hugging Face中，R1下载量直接登顶，另外3个模型也霸占着热榜。

a16z合伙人Anjney Midha称，一夜之间，从斯坦福到MIT，DeepSeek R1已经成为美国顶尖高校研究人员「首选模型」。

还有研究人员表示，DeepSeek基本上取代了我用ChatGPT的需求。

中国AI，这一次真的震撼了世界。

参考资料：

https://x.com/junxian_he/status/1883183099787571519

https://x.com/jiayi_pirate/status/1882839370505621655

来源：新智元

往期回顾

🔥【精选报告】清华大学2024年AIGC发展研究报告3.0版（附下载，181页）
🔥【精选报告】重磅：2024年全球AIGC产业全景报告（附下载，58页）
🔥【精选报告】斯坦福李飞飞最新巨著《AI agent综述》Agent AI开启多模态交互新纪元（附下载，中英版）
🔥【精选报告】生成式AI如何重塑未来，吴恩达等AI领袖的独家观点不容错过！（附下载，160页）
🔥【精选报告】重磅：2024年全球人工智能全景现状最新报告（212页，中英文版，附下载）
🔥【精选报告】华为&清华大学--2024年AI终端白皮书：AI与人协作、服务于人（附下载）
🔥【精选报告】清华大学-大模型工具学习（附下载）
🔥【精选报告】海外权威报告：生成式人工智能（114页，附下载）
🔥【精选报告】腾讯研究院：向AI而行, 共筑新质生产力--行业大模型调研报告（85页，附下载）
🔥【精选报告】国际先进人工智能安全科学报告中期报告（132页，附下载）
🔥【精选报告】2024大模型应用实践报告--爱分析（35页，附下载）
🔥【精选报告】AIGC实践案例集锦：对话先行者，洞见新未来（附下载）

水木人工智能学堂

水木人工智能学堂专注分享和普及AI知识，由清华大学、天津大学、深圳大学等AI团队创建，内容涵盖机器学习、深度学习、图像分析、语音及语义分析、AI求职及职业规划、行业报告等，汇集云知声、奥比中光、极视角等AI专家分享干货，欢迎关注。

最新文章

腾讯研究院2025年AI转型的进展洞察报告（免费下载）

OpenAI称有DeepSeek「偷窃」证据？美军已发起攻击！Anthropic CEO喊话加强芯片管制

2024年移动端AI应用场景研究报告（免费下载）

刷屏！蛇年春晚AI黑科技大揭秘!

辞旧迎新，共赴AI新程——蛇年新春祝福

2024年中国AI大模型产业发展与应用研究报告（附下载）

奥特曼惊世预言：下一代人类注定被AI碾压！人类工资暴跌，难以生存

2025年十大AI技术趋势，开启智能新时代！（免费下载）

全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻

AI眼镜行业深度市场现状发展展望产业链及相关企业深度梳理（免费下载）

2025智能体元年！斯坦福科学家8000字讲清所有要点

2024全球AI应用趋势年度报告深度解读：AI浪潮下的机遇与挑战（附下载）

Claude创始人：AI全面超越人类，只剩2-3年

AI大模型赋能B端应用，高ROI场景将率先爆发！深度解读！（免费下载）

李飞飞：语言之外，另一半的智能还有待实现

2024具身智能科技前沿热点（免费下载）

2024中国人工智能系列白皮书-复合多态机器人（附下载，62页）

AI浪潮汹涌来袭：模型能力向上，价格向下，应用繁荣！（免费下载）

百万真机数据只是杯水车薪，数据匮乏成为具身智能行业困境

AI产业全景洞察报告2025（附下载）

多活十年！OpenAI为研究长寿推出GPT-4b，联手清华大牛丁胜搞“细胞重编程”，奥特曼本人投资

2024年中国AI算力行业发展报告（免费下载）

确认了！o3-mini几周内发布，奥特曼表示AGI只需872兆瓦计算功率

2025具身智能行业发展研究报告：具身智能技术发展与行业应用简析（免费下载）

对话OpenAI前全球商业化负责人：效率、多模态、Agent是2025年AI的三大关键词

2024大模型技术发展及治理实践报告（附下载）

GPT-4私教辅导6周=在校上课2年，新研究引轰动：AI辅助越多进步越明显

新一代智能终端蓝皮书2024年（免费下载）

一句话让Agent自主干活，清华复旦斯坦福等开源的智能体开发框架抢先了OpenAI

2024年人工智能全景报告：全球 AI 发展的风向标（免费下载）

2025苹果人工智能发展战略研究报告（附下载）

2024算法与AI大模型的用户认知调研报告（免费下载）

Video Ocean V2.0：视频质量全面升级，依旧完全免费，薅羊毛的快乐等你来！

2024-2025年中国AI大模型市场现状及发展趋势研究报告（附下载）

OpenAI被曝重组机器人团队，4年前缺钱缺数据，如今要做硬件布局了

2025年AI产业发展十大趋势报告（免费下载）

深圳人形机器人街边溜达爆火海外！超自然步态大步流星十几米，“成本10万内、两月后商用”

AI智能眼镜：从1到10的放量之路，开启全天候应用落地新时代！（免费下载）

2025 AI手机交互体验：它能说会道，有眼有脑，是更聪明更懂你的AI伙伴

谷歌发布：2025年 AI Agent 智能体白皮书（附下载，中英文）

不完全调查：2024年大家都在用哪些AI软件

2024年度中文大模型测评报告：谁是AI界的“学霸”？（免费下载）

黄仁勋圈重点的世界模型平台是个啥？技术报告全解析，华人贡献中坚力量

腾讯：2025年AI图景解码50关键词（免费下载）

2025大模型应用落地白皮书（附下载）

2025年我国机器人产业发展形势展望报告（免费下载）

Felix Hill临终信公开：耗时18个月写完，AI天才的挣扎与告别

人工智能应用场景优秀案例白皮书(2024 年版)（附下载，133页）

奥特曼惊呼奇点临近！95%人类饭碗将被AI抢走，2028年百万AI上岗

2025年我国人工智能产业发展形势展望报告（免费下载）

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉