自然:中国廉价、开放的人工智能模型 DeepSeek 让科学家兴奋不已
全球顶尖科技期刊自然杂志网上文章认为”中国廉价、开放的人工智能模型 DeepSeek 让科学家兴奋不已“
美国人认为,这家中国初创公司将推动AI进入大众市场,但最大的价值可能仍将属于少数几家不断提高标准的公司。
中国研制的大型语言模型DeepSeek-R1令科学家们兴奋不已,因为它是 OpenAI 的 o1 等“推理”模型的经济实惠且开放的竞争对手。
这些模型一步一步地生成响应,其过程类似于人类的推理。这使得它们比早期的语言模型更善于解决科学问题,也意味着它们可能在研究中有用。1 月 20 日发布的 R1 的初步测试表明,它在化学、数学和编码的某些任务上的表现与 o1 相当——后者在 9 月由 OpenAI 发布时让研究人员惊叹不已。
“这太疯狂了,完全出乎意料,”人工智能研究员、英国人工智能咨询公司 DAIR.AI 联合创始人埃尔维斯·萨拉维亚 (Elvis Saravia) 在 X 上写道。
R1 脱颖而出还有另一个原因。建立该模型的杭州初创公司 DeepSeek 已将其作为“开放权重”发布,这意味着研究人员可以研究和构建该算法。该模型根据麻省理工学院的许可证发布,可以自由重复使用,但不被视为完全开源,因为其训练数据尚未公开。
德国埃尔朗根马克斯普朗克光科学研究所人工智能科学家实验室负责人马里奥·克伦 (Mario Krenn) 表示:“DeepSeek 的开放性非常了不起。”相比之下,加州旧金山 OpenAI 建立的 o1 和其他模型(包括其最新成果 o3)“本质上都是黑匣子”,他说。
DeepSeek 尚未公布训练 R1 的全部成本,但其界面收费仅为 o1 运行成本的三十分之一。该公司还创建了 R1 的迷你“精简”版本,以允许计算能力有限的研究人员使用该模型。“使用 o1 进行的实验成本超过 300 英镑 [370 美元],而使用 R1 的成本不到 10 美元,”Krenn 说。“这是一个巨大的差异,肯定会对其未来的采用产生影响。”
R1 是中文大型语言模型 (LLM) 热潮的一部分。DeepSeek 从一家对冲基金中分拆出来,上个月发布了一款名为 V3 的聊天机器人,一举成名。尽管预算极低,但这款机器人的表现却超越了主要竞争对手。专家估计,租用训练该模型所需的硬件成本约为 600 万美元,而 Meta 的 Llama 3.1 405B 则高达 6000 万美元,使用的计算资源是 V3 的 11 倍。
DeepSeek 的部分热门话题是,尽管美国出口管制限制中国公司获得为人工智能处理而设计的最佳计算机芯片,但它还是成功制造了 R1。华盛顿西雅图的人工智能研究员 François Chollet 说:“R1 来自中国,这一事实表明,高效利用资源比单纯的计算规模更重要。”
DeepSeek 的进展表明“美国曾经的领先优势已经大幅缩小”,华盛顿州贝尔维尤的技术专家 Alvin Wang Graylin 在 X 上写道,他在台湾沉浸式技术公司 HTC 工作。“两国需要采取合作的方式来打造先进的人工智能,而不是继续目前这种没有胜算的军备竞赛方式。”
LLM 训练数十亿个文本样本,将它们剪切成单词部分(称为标记),并学习数据中的模式。这些关联允许模型预测句子中的后续标记。但 LLM 容易捏造事实,这种现象称为幻觉,并且经常难以推理问题。
与 o1 一样,R1 使用“思路链”方法来提高 LLM 解决更复杂任务的能力,包括有时回溯和评估其方法。DeepSeek 通过使用强化学习对 V3 进行“微调”来制作 R1,强化学习会奖励模型得出正确答案并以概述其“思维”的方式解决问题。
英国爱丁堡大学人工智能研究员 Wenda Li 表示,计算能力有限促使该公司“在算法上进行创新”。在强化学习过程中,该团队估算了模型在每个阶段的进度,而不是使用单独的网络对其进行评估。英国剑桥大学计算机科学家 Mateja Jamnik 表示,这有助于降低培训和运行成本。研究人员还使用了“混合专家”架构,该架构允许模型仅激活与每项任务相关的部分。
在基准测试中,DeepSeek-R1 在加州大学伯克利分校研究人员编写的 MATH-500 数学问题集上获得了 97.3% 的分数,并在一项名为 Codeforces 的编程竞赛中击败了 96.3% 的人类参与者。这些能力与 o1 不相上下;o3 未被纳入比较范围(参见“AI 竞争对手”)。
很难判断基准测试是否反映了模型真正的推理或概括能力,还是仅仅反映了其通过此类测试的能力。但剑桥大学计算机科学家 Marco Dos Santos 表示,由于 R1 是开放的,研究人员可以访问其思路。“这使得模型的推理过程具有更好的可解释性,”他说。
科学家们已经开始测试 R1 的能力。克伦要求两个竞争模型对 3,000 个研究想法进行有趣程度排序,并将结果与人工排名进行比较。根据这一衡量标准,R1 的表现略逊于 o1。但克伦表示,R1 在量子光学的某些计算上胜过 o1。“这相当令人印象深刻。”
中国初创公司DeepSeek强大的新推理模型引发1万亿美元的股票抛售,其影响超出人工智能(AI)的训练成本和资本投资水平等问题的范畴,直指AI领域或许最核心的问题:AI的价值究竟在哪里?
从某种程度上说,这个问题很浅显。AI的领导地位是将继续留在美国,还是会转向中国?但疑问不止于此,因为AI市场本身就有多个层次。
DeepSeek可能会加速AI的商品化,助其进一步打入大众市场。即便如此,AI价值可能仍主要出自规模较小的高端市场,因为最好的创意就诞生于此,并且要在那里等待相当长时间才会被商品化。
DeepSeek和其他公司也有机会在高端市场取得成功,但要取代美国巨头,需要的远不止是该公司的R1模型。
尽管美国科技公司已经习惯了来自中国的一定程度的竞争,但DeepSeek可能会以更大的力度撼动全球创新版图。
这种竞争威胁的程度仍在评估之中,尤其是考虑到有消息称OpenAI正调查DeepSeek是否反复查询该美国公司的AI模型以获取大量数据,以此来训练自己的聊天机器人。这种技术过程被称为“蒸馏”。
然而,即使情况确实如此,美国科技公司面临的竞争威胁也在上升,保护自身知识产权的挑战也在加大。
撇开模型蒸馏的问题不谈,DeepSeek已经赢得美国技术人员的关注和尊重。微软(Microsoft) AI工作组首席营销官贾里德·斯帕塔罗(Jared Spataro)告诉我:“我个人认为,我们目前已经看到,中国人本周确立了自己作为一流软件开发者的地位。”
长期以来,硅谷的风险投资家和初创公司创始人一直将自己定义为颠覆者,从侧翼攻击老牌公司。过去半个多世纪以来,一家又一家初创公司涌现出来,它们或多或少都来自硅谷、旧金山或美国科技帝国的北方之都西雅图。
当其他地方出现有前途的初创公司时,它们被视为“农场球队”球员,可以通过投资和结盟的方式升至高级别联赛。微软与法国AI初创公司Mistral的合作就在欧洲引发了一些不满,因为似乎遵循了这种模式。Mistral本身是由Google DeepMind和Meta的资深人士创立的。该公司已获得美国投资者的资金支持,包括Lightspeed Venture Partners、General Catalyst和谷歌前首席执行官埃里克·施密特(Eric Schmidt)。
DeepSeek以一种更为深刻的方式颠覆了硅谷,因为这种颠覆来自其风险投资公司、企业家、科技巨头和大学圈子之外。
DeepSeek由梁文锋于2023年在杭州创立,完全归中国对冲基金幻方(High-Flyer)所有,梁文锋在2015年与两位大学好友共同创办了这家基金。
DeepSeek的崛起表明,来自中国和其他国家的公司可能会动摇美国的科技根基。而美国已经深陷与TikTok控制权以及英伟达(Nvidia)尖端AI芯片等技术出口相关的争斗之中。
这就是风险投资家马克·安德森(Marc Andreessen)将DeepSeek的R1称为“AI领域的斯普特尼克时刻”的原因。
但主导地位不一定来自于颠覆。
AI市场可能会像手机市场那样面临两极分化。研究机构国际数据公司(IDC)的数据显示,截至2024年第三季度末,全球Android市场份额为82%。与此同时,苹果公司(Apple)则凭借在高端智能手机这一高利润业务中的出色表现获取价值。
即使DeepSeek可以与美国目前提供的最佳产品相媲美,但它显然需要建立在美国公司的基础工作之上,而OpenAI等顶级AI开发商正在开发更强大的模型。
企业AI公司Collective[i]的联合创始人斯蒂芬·梅塞尔(Stephen Messer)表示,DeepSeek可以扮演Android的角色,帮助AI市场的大部分领域实现商品化,主要是因为R1最适合小型设备。“如果是这样的话,AI会变得更便宜、更容易获得,然后融入所有事务中,”梅塞尔说。
历史表明,随着AI性价比的提高,使用率也会上升。《华尔街日报》看到的公司文件显示,在OpenAI推出ChatGPT两年后,其成本效益最高的小模型4o mini处理一个令牌(数据单位)的成本仅为最初价格的1/150。
需求也有所增加;截至去年12月,ChatGPT每周平均免费和付费用户达到3亿,高于2023年11月的1亿。
“随着这些模型的商品化,不要认为这是一项糟糕的业务,”微软的斯帕塔罗说。“这只意味着使用量将上升。”
DeepSeek的效率可能会加速需求,这或许利好美国芯片巨头英伟达和其他主要芯片制造商和供应商。虽然对尖端芯片和模型的需求将一直存在,但科技领域更多的价值可能会从基础模型、基础设施和传统的软件即服务转向基于AI的代理。总部位于美国的Salesforce和ServiceNow已在该领域进行了早期布局。
“我们认为AI的价值最终将迁移到应用层,”斯帕塔罗说。“你会看到将一项伟大的技术应用于商业问题的价值。”
这些因素可能有助于美国大型科技公司保持在AI市场高端的领先地位,并获得AI创造的大部分价值,但毫无疑问,它们也将在此面临竞争。
OpenAI即将推出的o3推理模型预计将比其现有模型取得重大进步。这正是OpenAI和其他先驱模型开发商希望保持其优势的方式:不断推出各种模型来设定新的性能标准,而这些模型很快就会成为商品。
这种商业模式也推动着英伟达的发展,该模式预计,将有足够多的公司发现拥有最好的模型和芯片至关重要,并将继续为此付费。如果这种对尖端模型持续需求的假设是正确的,那么DeepSeek的惊人崛起有望为AI行业注入创新活力,帮助美国科技巨头加快实现通用人工智能开发等目标,并扩大其市场。但竞争压力也突然达到了一个新的水平,而且不可逆转。
技术专家表示,阻止模型蒸馏可能非常困难,甚至不可能。
人工智能计算公司Groq的首席执行官乔纳森·罗斯 (Jonathan Ross) 表示,该公司已采取措施阻止所有中国IP地址访问其云端存储,以阻止利用其托管存储的人工智能模型。但是,“这是不够的,因为人们可以找到绕过它的方法”,罗斯说。“这将是一场猫捉老鼠的游戏……我不知道解决方案是什么。如果有人想出办法,请告诉我们,我们会实施。”