写在前面
John Luttig：基础模型的未来是闭源
模型构建者
指数级数据：前沿模型是用互联网语料库训练的，但这种数据源是一种商品——未来十年的模型差异化将来自专有数据，包括通过模型使用和私人数据源。 开源模型在生产使用和模型训练之间没有反馈闭环，因此它们为所有增量训练数据买单，而闭源模型则利用不断增长的用户数据来推动复合价值。如果Meta根据其自有的社交图谱或用户反馈数据来差异化它的模型，它会希望通过闭源产品来捕获相应的价值，而不是与世界分享。 指数级资本支出：一个滞后模型的训练支出只占Meta 400亿美元资本支出的几个百分点，很容易开源，没有人会质疑。但一旦你在模型训练上的资本支出达到一百亿美元或更多，股东会希望看到明确的投资回报（Meta在元宇宙方向的支出在到达一定规模后也引发了一连串质疑） Meta内部受益于模型质量的边际收益递减：对Meta来说，其构建的开源模型即使比前沿的闭源模型更差，也会带来很大的前期收益。很多小的AI工作（如动态算法、推荐和图像生成）Meta不再需要像依赖 Apple 那样依赖第三方提供商。但目前尚不清楚Facebook产品是否会从接近AGI质量的模型中受益同样多。也有可能Meta的模型改进非常特定于他们自己的内部使用案例。这就是与用户需求不一致的地方：如果通用前沿模型的投资对Meta的产品没有太多意义，他们当然不会为开源社区构建这些模型。
开发者和消费者
作为选择开源模型的开发者，在成本、模型质量和数据安全方面你能得到什么？
开源模型给人一种免费的错觉。但开发者需要承担推理成本，这些成本通常比使用类似的LLM API调用更昂贵：要么支付中间商来管理GPU和托管模型，要么支付GPU折旧、电费和停机的直接成本。只有大型企业才能摊销这些固定成本。考虑其他的基础设施类服务，比如云服务，即使是最大的财富500强公司也使用第三方云托管，如AWS和Azure。未优化的GPU支出会因规模不经济（规模经济的反面）而惩罚你。
某些成本敏感的企业或消费者会忍受较弱的产品和付费墙；他们想要纯粹的成本优化。但闭源模型的成本曲线仍在大幅下降，因此即使在中期，开源也不一定更便宜。互联网公司过去曾经将预算的一半用于购买服务器机架，直到AWS解决了云的资本支出问题；闭源模型提供商为AI做了同样的事情
在美国这个资本主义市场上，免费从来都不是真正的免费，所以你应该思考最终这些“免费”要如何赚钱。这不是 Linux——由一个独立开发者开发的馈赠给人类的礼物；这些都是烧钱的项目，最终只能通过商业化来生存你可能最终会依赖一个闭源的补充产品。每个开源公司最终都会推出一个付费版本；即使是Android最终也通过Google Play和搜索实现了商业化。
即便自托管开源模型在某个盈亏平衡点以上略微便宜，但边际成本优化在目前这个阶段也不是正确的重点：对于大多数应用而言，阻碍采用的是AI的能力，而不是价格。
与住房、医疗保健和教育一样，付费版通常比免费版更好。即便在软件领域，开源赢家也很少是最好的产品：Android不如iOS，OpenOffice不如Office或Google Docs，Godot不如Unity，FreeCAD不如SolidWorks。一个推论是，专注于最佳平台的工程师赚得更多；他们更有可能打造最前沿的产品。
大家都在庆祝Llama-3与GPT-4齐头并进，但那是晚了一年。iOS和Android，或者MacOS和消费级Linux之间的产品质量差距长期以来一直很大，因为最好的软件创造者与付费客户保持一致。当你选择闭源模型时，你并不是在对模型在当下时点的质量做出即时决定；你是在为未来的模型改进付费，而这些改进的路线图与付费客户保持一致。
大多数人关注的是上一场战争（GPT-4），而不是下一场。因此，虽然开源模型是生态系统的健康组成部分，但它们在很大程度上是在往回看。我预计，在 GPU 和数据的资本支出达到数百亿美元（与半导体制造业相当）之前，前沿大模型的能力还会持续增长。关键的开源模型构建者是否能实现足够的收入来证明投入这么多是合理的？
一些企业需要最严格的数据安全：金融服务、医疗保健、法律。但我不确定在本地或通过第三方云托管使用开源模型是否真的比在云上使用第三方LLM更安全；这是早期互联网时代的遗留信念，当时本地数据中心是数据安全的诺克斯堡。
作为客户，我更信任微软在医疗数据安全方面的实力，而不是我的IT部门自管的数据中心。这座桥已经跨越：当65%的风险厌恶型财富500强公司已经使用Azure OpenAI时，你不禁会想，谁在处理对基于云的LLM来说非常敏感的数据。
国家安全
即使对模型构建者来说，最终构建开源模型在经济上是合理的，他们应该这样做吗？Yann LeCun等倡导者声称开源AI比闭源AI更安全。这让我怀疑他是否真的相信Meta的AI能力。基于不断增加算力、数据和自主工具使用能力的合理能力外推，AI在未来的危险性是显而易见的。
是的，Google也索引了危险信息，但LLM的自动化是使其危险的原因：虽然大模型尚处于起步阶段，但已经在生成网络攻击、研究生物武器和组装炸弹方面具有指导意义。没错，谷歌也会索引危险信息，但 LLM 的自动化才是危险所在：一个流氓模型不仅仅像Google结果那样解释网络攻击概念，而是可以编写代码、测试并大规模部署——使原本繁琐的犯罪活动变得简便快捷。
一个常见的开源主张是，模型的去中心化控制比信任一个中央机构更好。但这是美国的一种奢侈观念，在这种观念中，感知到的缺点仅限于内容审核和企业贪婪。但实际上AI是一种更具影响力的技术：它可以在关键选举期间推动虚假信息宣传，在战争期间发动网络攻击，实施欺诈。坏人将被开源模型赋权，并且已经在被赋权。新技术长期以来颠覆了世界的权力平衡。作为一种具有军事影响的技术，AI不应被轻视。
结论
对开源AI的乐观态度有不同程度：许多人简单地认为开源对人类有益，其他人声称构建开源模型是一个好的商业策略，而在极端情况下，有些人认为领先的模型提供者应该被迫开源他们的技术。但这三种观点都是可疑的：开源模型赋予我们的对手权力，并且会对模型构建者和开发者带来越来越负的投资回报。
开源将在需要较小、能力较弱且可配置模型的地方找到自己的家——例如企业工作负载——但AI中的大部分价值创造和捕获将使用前沿能力。发布开源模型的冲动作为一种免费营销策略和将互补品商品化的路径是有意义的。但随着开源投资回报率的持续下降，开源模型提供者将输掉资本支出之战。
对于那些即将花费数百亿但没有明确商业模式的公司，以及押注于该生态系统的开发者，我祝他们好运。但未来十年的赢家模型应该并且将是闭源的。
About Atom Capital
