AGI 投资的新思考:大模型尚在“前浏览器或前IOS时代”。

科技   2024-10-22 18:22   北京  


https://mp.weixin.qq.com/s/em5mTVsm0rgtF9d-w1lb1A
公众号:AI科技评论聊了一百位硅谷大模型从业者后,我们对 AGI 投资产生了新的思考



观点概览


大模型行业泡沫显现,垂直场景未全面爆发


尽管OpenAI的年经常性收入(ARR)已达到41亿美元,但这一成绩是在高昂的算力、研发和运营成本下实现的。近期,OpenAI的发展并不顺利,多位核心高管离职,苹果也退出了其最新一轮融资谈判。目前,各垂直场景尚未看到真正全面爆发的趋势,大模型行业泡沫正在显现。GPT插件和GPTs已经证明,底座LLM不能简单复制iOS的App Store模式。尽管OpenAI刚发布的o1模型用self-play RL的方法实现了更强的推理逻辑能力,但“平台化瓶颈”并未得到根本改变。



AI投资逻辑困局:应用场景派与底层技术派


AI领域的投资人和创业者,尤其是国内的,主要分为两个流派:应用场景派和底层技术派。这种划分受互联网时代“互联网应用”和“互联网平台”的思维惯性影响。但大模型尚未达到“分层解耦”的阶段,这两类投资方法论暂时未能奏效。平台更准确地应称为“操作系统(OS)”。OpenAI及同行们误认为自己创造了类似苹果这样的平台,但实际上只是创造了类似思科的Infra。相比互联网和移动互联网的进程,大模型还处在“前浏览器或前iOS时代”。


技术和商业化路线困局


张宏江博士提出,应该先“把大模型的性能做好,才能真正出现涌现”,再“通过蒸馏的方法和持续学习的方法把它做小,而不是一开始就做个小模型”。目前,“垂直应用场景企业”的私有数据尚未能充分贡献于Scaling Law进程,这是大模型未大规模落地应用的核心根源之一。应用和底座模型层未解耦的根本原因之一是数据在技术栈内的强耦合,包括预训练与后训练数据集、即底座模型数据与下游垂直数据的耦合。在最终效果呈现的归因、出差错后的责任切分上,用户私有数据、底座模型的预训练数据,也无法解耦。纯商业化产品公司利用前期积累的“垂直领域私有数据”,生成垂直模型,服务C/B端客户。这类公司大规模出现后,LLM的“平台性质”的商业化,才能真正爆发。


短期投资策略:垂直整合应用派



投资策略不建议只看纯应用或纯底座模型,而应暂时围绕上下层垂直整合的应用展开,同时密切观察、等待真正的平台/操作系统出现。“垂直整合应用”公司具备底座大模型算法能力,但放弃做通用底层平台的端到端的垂直整合应用。在硅谷,这类公司占VC投资的很大比例,如Cohere(企业大模型)、Harvey(AI法律大模型)、Perplexity(AI搜索)、EurekaLabs(AI教育)、Augment(AI编程)、HolisticAI(AI企业管治SaaS)。国内这个类型公司较少,核心原因在于,具备底层模型能力的团队极其稀缺,但具备这些能力的团队,又都执着于做底层平台。


核心总结:


  1. 各垂直场景未看到真正全面爆发的趋势大模型行业泡沫正在显现


OpenAI的ARR(年经常性收入)已达到41亿美元,但成本更高,难称“顺利”。

GPT插件和GPTs,已证明了底座LLM不能简单复制iOS的App Store。

o1用self-play RL,实现了更强的推理逻辑能力,但“平台化瓶颈”未根本改变



  1. AI领域投资人、创业者分成:应用场景派,底层技术派。这受互联网时代“互联网应用”、“互联网平台”的思维惯性影响,但

    大模型未达到“分层解耦”阶段,这两类投资方法论,暂未奏效。平台更准确地应称为“操作系统(OS)”。OpenAI及同行们误认为自己创造了类似苹果这样的的平台,但事实上只是创造了类似思科的Infra。

相比互联网和移动互联网的进程,可以说大模型还处在“前浏览器或前iOS时代”

 

  1. 先“把大模型的性能做好,才能真正出现涌现”,再“通过蒸馏的方法和持续学习的方法把它做小,而不是一开始就做个小模型”。


  1. “垂直应用场景企业”的私有数据,未充分贡献于Scaling Law进程,这是大模型未大规模落地应用的核心根源之一

应用和底座模型层,未解耦的根本原因之一:数据在技术栈内的强耦合,包括预训练与后训练数据集、即底座模型数据与下游垂直数据的耦合。

在最终效果呈现的归因、出差错后的责任切分上,用户私有数据、底座模型的预训练数据,也无法解耦。

纯商业化产品公司:利用前期积累的“垂直领域私有数据”,生成垂直模型,服务C/B端客户。这类公司大规模出现后,LLM的“平台性质”的商业化,才能真正爆发。



  1. 投资策略:不建议只看纯应用,或纯底座模型。可暂时围绕“上下层垂直整合的应用”展开,同时密切观察、等待真正的平台/操作系统出现。

“垂直整合应用”公司:具备底座大模型算法能力,但,放弃做通用底层平台的、端到端的垂直整合应用。

在硅谷,这类公司占VC投资的很大比例,如:Cohere(企业大模型)、Harvey(AI法律大模型)、Perplexity(AI搜索)、EurekaLabs(AI教育)、Augment(AI编程)、HolisticAI(AI企业管治SaaS)。

国内这个类型公司较少,核心原因在于,具备底层模型能力的团队极其稀缺,但具备这些能力的团队,又都执着于做底层平台



目标检测和深度学习
本公众号专注深度学习、计算机视觉相关技术、咨询。追求纯粹的技术,享受学习、分享的快乐,会不定期的推送人工智能前沿科技、相关模型代码实现、会议顶尖论文等学术资料和知识,欢迎大家分享和投稿!
 最新文章