本文全面回顾了 2024 年人工智能领域的发展，涵盖了基础设施层、基础模型层、工具层和应用层四个方面。作者指出，我们正处于一个全新基础设施时代的黎明，人工智能正从承诺走向实践，并在企业环境中实现真正的投资回报率。尽管面临着扩展瓶颈、模型盈利能力、监管挑战和数据隐私等问题，但人工智能的创新和应用仍在加速。文章重点强调了推理需求的增长、小型语言模型的兴起、多模态人工智能的进步以及智能体应用的潜力。最后，文章展望了未来人工智能的发展趋势，并呼吁人们负责任地创新，创造一个人类和技术可以和谐共存的未来。
免责声明：本报告仅供参考，不构成任何投资建议。请读者根据自身情况谨慎决策。
作者简介：Kelvin Mu 是 Translink Capital 的负责人 (Principal)，专注于人工智能和机器学习领域的投资。 他在该领域拥有丰富的经验，关注包括硬件、基础模型、基础设施和应用在内的整个 AI 技术栈。加入 Translink 之前，Kelvin 曾在 Carta 负责两个业务部门的战略和业务运营，并在美国和加拿大从事过战略咨询和投资银行工作。他拥有加州大学伯克利分校哈斯商学院的 MBA 学位和西安大略大学毅伟商学院的学士学位。Kelvin 热衷于分享他对技术和商业趋势的见解，并通过他的 Substack 专栏定期撰写相关文章。他还是一位狂热的阅读爱好者，目标是每周阅读一本非小说类书籍，并且对高尔夫球有着浓厚的兴趣。
Translink Capital 简介：Translink Capital 是一家总部位于硅谷的早期风险投资机构，成立于2007年，管理规模超10亿美元，其背后有包括现代、NEC、LG、富士康、Sompo、日本航空等30多家知名亚洲企业支持。Translink Capital 专注于投资早期科技公司，重点关注人工智能/机器学习、企业软件和消费技术等领域。除了为投资组合公司提供资金，Translink Capital 还致力于利用其在硅谷和亚洲的广泛网络资源，帮助投资组合公司对接其企业有限合伙人，建立客户或渠道合作伙伴关系，从而支持投资组合公司扩大业务规模并实现重要的市场影响力。
我知道每个人的时间都很宝贵，因此我已尽最大努力确保本文值得一读。希望您能从中获益，并鼓励您将其分享给任何可能从中受益的人。
2024年，AI从“量变”走向“质变”，企业级应用落地成为主旋律，预示着真正的AI时代已经到来。AI不再是空中楼阁，其商业价值日益凸显，并将持续渗透至各行各业，重塑产业格局。报告包含如下内容：
一、四大关键领域深度解析
• 基础设施领域 • 计算需求的演变: 推理需求的爆发式增长正推动计算架构从“训练为中心”向“推理为中心”转变。 • 芯片竞争格局: 英伟达的主导地位面临挑战，竞争加剧将推动芯片性能提升和成本下降，加速AI普及。 • 数据中心发展趋势: 传统数据中心难以满足AI算力需求，专用AI数据中心将成为未来主流，液冷等技术成为刚需。 • 值得关注的初创公司: 一批在芯片、散热、能效管理等领域拥有核心技术的初创公司正崭露头角，具备极高的投资价值。 • 基础模型领域 • 大模型的突破与局限: 大模型的能力边界仍在拓展，但其高昂的成本和能耗预示着“暴力美学”的尽头即将到来。 • 小型语言模型(SLM)的崛起: SLM凭借其高效和灵活性，将在边缘计算和特定任务中发挥关键作用，成为大模型的重要补充。 • 多模态AI的进展: 多模态融合技术将打破不同模态之间的壁垒，实现更自然、更全面的人机交互体验。 • 未来趋势：推理能力的提升: 模型架构的革新将推动AI从“记忆”走向“理解”，具备更强推理能力的模型将成为竞争焦点。 • 工具领域 • RAG技术的广泛应用: RAG技术有效解决了大模型的“幻觉”问题，成为企业构建可靠AI应用的首选方案。 • 数据处理与模型优化工具: 数据将成为AI时代的核心资产，高效的数据处理和模型优化工具将成为企业构建AI能力的关键。 • AI智能体的开发与挑战: 智能体开发工具的成熟将降低开发门槛，但构建具备通用性和可靠性的智能体仍需克服交互和安全等难题。 • 评估与安全性工具: 随着AI应用的深入，对模型进行全面、客观的评估以及确保其安全性将成为新的行业刚需。 • 应用层领域 • 企业级AI应用的落地案例: AI应用正从试点走向规模化部署，其价值已经在多个行业得到验证，并展现出巨大的提升空间。 • 代码生成、客户支持等领域的应用: 代码生成和智能客服等应用已率先实现商业化，并展现出替代人工、提升效率的巨大潜力。 • 垂直行业应用分析: AI与垂直行业的深度融合将是未来的主战场，针对特定行业痛点的解决方案将迎来爆发式增长。 • 消费者应用的现状与机遇: 虽然C端爆款应用尚未出现，但随着成本下降和个性化需求的增长，杀手级应用或将在未来几年内诞生。
二、投资、并购及行业趋势
• 2024年AI领域投资回顾: AI投资热度不减，但资本更加理性，更看重具有清晰商业模式和落地能力的公司。 • 并购市场的活跃度分析: 大型科技公司通过并购加速技术布局和市场扩张，行业整合将进一步加剧。 • 主权AI与区域化发展: 各国对AI主权的重视将催生区域性的AI生态，为本土企业带来新的发展机遇。 • 监管政策与版权问题: AI相关的监管政策将逐渐明晰，数据隐私和版权保护将成为行业健康发展的关键议题。
引言：对人工智能而言，这是多么非凡的一年！
人们期待已久的人工智能革命不再是遥远的愿景，而已成为现实。自 20 世纪 50 年代艾伦·图灵首次提出图灵测试、弗兰克·罗森布拉特开创第一个人工神经网络以来，人工智能一直被誉为能够重塑社会的变革性力量。然而，其发展历程并非一帆风顺——从 20 世纪 70 年代到 21 世纪初，人工智能经历了多个“寒冬”，期间人们对它的兴趣和资金投入都逐渐枯竭。直到近年来，随着 ImageNet (2009)、AlphaGo (2015)、Transformer (2017) 和 ChatGPT (2022) 等一系列突破的出现，人工智能才真正重拾发展势头。
今年是一个分水岭时刻，创新、投资和应用以前所未有的方式融合在一起。人工智能已经超越了研究实验室和学术界的范畴，成为董事会会议室、政治辩论和餐桌上的核心话题。今年有超过 600 亿美元的风险资本流入该领域，人工智能投资目前已占所有风险投资活动的三分之一以上，超过了医疗保健和消费等传统主导行业。
这是现代历史上仅有的第三次，整个技术基础设施和计算堆栈都在被彻底重构。英伟达作为这一转变的最大受益者，已跃升为全球市值最高的公司，其市值在短短 24 个月内增长了 10 倍，达到 3 万亿美元。与此同时，OpenAI 尽管经历了内部动荡，但仍创造了新的历史记录，在商业化短短三年内就实现了 40 亿美元的年度经常性收入 (ARR) 运营速率——这一速度至少是之前的记录保持者亚马逊的三倍。
企业也在大规模采用人工智能。一年前，摩根大通的一项调查显示，只有 5% 的企业在生产环境中使用了生成式人工智能应用。如今，这一比例已经增长了两倍多。虽然许多实施仍处于概念验证 (POC) 阶段，但一些用例（如代码生成和客户支持）已得到广泛采用。在谷歌，超过四分之一的新代码是由人工智能生成的，而 Klarna 的人工智能客户支持代理可以完成 700 名人工客服代表的工作。这些例子表明，人工智能正在从承诺走向实践，并开始为企业带来切实的效益。
然而，尽管取得了这些进展，质疑声依然存在。一些人开始质疑当前人工智能投资热潮的可持续性。6 月，红杉发表了一篇题为“人工智能的 6000 亿美元问题”的文章，对大规模基础设施支出的投资回报率 (ROI) 提出了质疑。不久之后，高盛在一篇题为“生成式 AI：投入过多，收益过少”的文章中表达了类似的担忧。也许不足为奇，超过 40% 的资产管理公司认为我们现在正处于人工智能泡沫之中。
无论一个人在这场争论中持何立场，有一个事实是无可争辩的：今年人工智能创新和应用的速度是前所未有的。现代历史上很少有哪一年像我们在 2024 年看到的那样，技术进步和投资如此集中地爆发。这不仅仅是一场技术革命，更是一场社会革命。我们不仅仅是这场革命的旁观者，更是积极的参与者——这是一个我们必须负责任地拥抱的难得机遇。
能够生活在这样一个非凡的时代，真是令人激动！
基础设施领域
“从 70 年的人工智能研究中可以得出的最大教训是，利用计算能力的通用方法最终是最有效的，并且具有极大优势。”
– Rich Sutton，《苦涩的教训》
I. 关键要点
• 我们正在见证一个全新基础设施时代的黎明。在现代历史上，只有两次全新的基础设施和计算堆栈被彻底重新定义——20 世纪末的互联网和电信繁荣，以及云计算和 SaaS 的兴起。现在，随着生成式人工智能的到来，我们正在进入第三个阶段。 • 但现在仍处于早期阶段。 在互联网建设期间，1996 年至 2001 年间投资了超过 1 万亿美元。而当前的生成式人工智能建设在过去两年中仅投资了 3000 亿美元。按照这个标准衡量，我们仍处于早期阶段。（有关此主题的更多详细信息，请参阅我深入探讨该问题的文章，该文章将当前的人工智能周期与互联网泡沫周期进行了比较）。 • 对推理的需求才刚刚开始增长。 虽然随着我们达到扩展极限，对_训练_的需求可能正在趋于稳定（稍后会详细介绍），但对_推理_的需求才刚刚开始增长。总的来说，有三个原因： • 早期应用。 企业对生成式人工智能的应用仍处于起步阶段，但正在迅速加速。OpenAI 是一个有用的指标：尽管去年其每个 token 的 API 成本下降了 10 倍以上，但其收入却从 10 亿美元的运营速率翻了两番，达到 40 亿美元，这意味着使用量增加了约 40 倍。** 这种增长水平表明我们仍处于应用推广的早期阶段。 • 多模态应用即将到来。 如今，大多数生成式人工智能应用都是基于文本的。多模态应用（例如，文本到视频、文本到 3D）在很大程度上仍未得到开发，但它们的计算密集程度要高得多。例如，生成一个人工智能视频所需的能量大约是生成同等长度的文本文档的 100 倍。如果广告、媒体和娱乐等整个行业都采用生成式人工智能，那将产生对推理的指数级需求。随着多模态人工智能的最新进展，这可能很快就会成为现实。 • 不断演进的模型架构。 较新的模型，例如 OpenAI 的 o1，正在转向更多依赖于推理时间的推理（也称为测试时计算），并结合了思维链和强化学习。这种架构实质上为模型提供了额外的处理时间来进行思考和完成任务。但这也意味着更高的计算要求。例如，新的 o1 模型每个 token 的成本比 GPT-4o 高 3-4 倍。随着更多的工作负载过渡到这种模型架构，对推理的需求将继续上升。 • 衡量当前基础设施建设的投资回报率非常困难。 今年夏天，红杉发表了一篇文章，质疑 6000 亿美元的收入从何而来，以证明当前人工智能基础设施建设的合理性。一个合理的解释是，如今的大部分计算能力都被用于支持内部项目，而不是新的创收产品——例如 Notion 的生成式人工智能功能或 Klarna 的人工智能客户支持代理。这些项目提高了运营效率，而不是净新增收入，因此更难量化其投资回报率。作为参考，6000 亿美元仅占全球 100 万亿美元 GDP 的 0.6%——这很可能低估了人工智能的长期潜力。 • 人工智能云市场正变得日益分散。 • 虽然大型云服务商（亚马逊、谷歌、微软）目前仍然主导着人工智能云市场，但像 CoreWeave、Lambda Labs 和 Tensorwave 这样的新兴企业正在提供具有成本效益的专用人工智能基础设施。Pitchbook 的 Brendan Burke 估计，这个新的人工智能云市场规模为 40 亿美元，到 2027 年将增长到 320 亿美元。 • 像英伟达和 AMD 这样的芯片制造商也在投资这些专业供应商。一个原因是这些芯片制造商正在寻求减少对大型云服务商的依赖，而后者同时也在开发自己的芯片。例如，谷歌的 TPU 芯片现在正被苹果等公司采用。人工智能云市场似乎很可能会进一步分散。 • 人工智能硬件初创公司面临高资本支出要求。 • 越来越多的初创公司正在为人工智能工作负载设计定制的 ASIC 芯片（例如，Groq、Cerebras）。这些公司不仅在芯片开发方面面临巨大的资本要求，而且在数据中心建设方面也面临同样巨大的挑战。 • 后者是必要的，因为拥有自己芯片研发项目的大型云服务商不太可能在自己的数据中心采用第三方初创公司的芯片。例如，芯片初创公司 Groq 最近宣布，他们正在与 Amarco Digital 合作在沙特阿拉伯建立自己的推理数据中心。 • 这些初创公司是否能够从现有企业手中夺取可观的市场份额还有待观察。到目前为止，在初创公司中，Cerebras 似乎是最领先的，其 2024 年上半年的收入为 1.36 亿美元，但这仍然只有英伟达数据中心收入的 0.1%。
** 此估计不包括 OpenAI 的 B2C 订阅收入，但总体趋势在方向上是准确的。
II. 值得关注的未来趋势
• 数据中心 2.0。 目前，数据中心约占全球用电量的 1-2%，但预计到 2030 年这一数字将上升到总用电量的 3-4%，这主要是由人工智能推动的（在美国，这一数字接近 8%）。总体而言，麦肯锡估计，从现在到 2030 年，数据中心容量将以 22% 的复合年增长率增长。
• 人工智能专用数据中心与传统云数据中心有很大不同，因为它们具有更高的功率密度，这推动了对下一代液体冷却等创新的需求。人工智能训练和推理的特殊需求也需要高带宽、低延迟的网络。这推动了对下一代网络和互连的需求，以减少多 GPU 集群中的瓶颈。 • 人工智能本身可以用来优化数据中心，例如预测性维护、动态工作负载分配和能源效率。例如，Phaidra 是一家初创公司，正在利用强化学习开发数据中心的自主控制冷却系统。
数据中心复合年增长率预计从 2023 年到 2030 年为 22%；来源：麦肯锡
• 英伟达在硬件领域的主导地位。 英伟达现在是全球市值最高的公司，今年纳斯达克 40% 的涨幅仅归功于这一家公司。然而，历史上很少有从头到尾保持 90% 以上市场份额的行业巨头的例子。 • 英伟达在可预见的未来可能会继续占据主导地位，但竞争可能会加剧。一个有力的竞争者是 AMD——AMD 目前的数据中心业务规模只有英伟达的 10%（35 亿美元对 308 亿美元），但同比增长了 122%。该公司还在大型企业中取得了进展——例如，OpenAI 最近宣布他们将开始使用 AMD 的 MI300 芯片，联想表示对 AMD MI300 的需求创历史新高。 • 另一个主要的竞争来源是大型云服务商自身。他们的一个优势是他们对人工智能训练和推理的巨大内部需求。在云服务商中，谷歌的领先优势最大，其新的 TPU V5p提供的 FLOPS 比以前的版本高 2 倍，高带宽内存 (HBM) 多 3 倍。 • 更加关注边缘人工智能和边缘/云协同。 这是一个有趣的事实：大型云服务商拥有的全球计算能力（以 FLOPS 衡量）不到 1%。虽然这乍一看可能令人惊讶，但考虑到包括笔记本电脑和智能手机在内的大量边缘设备，这是合理的。释放这种潜在的力量可能会改变游戏规则。我们已经看到可以在边缘设备上部署的小型语言模型 (SLM) 呈现爆发式增长。 • 一些专家认为，最终可以将多达一半的人工智能工作负载从云端转移到边缘。我看到的一个早期想法是构建一个云/边缘路由器，它可以根据功率、成本和延迟要求等标准在云和边缘设备之间动态路由人工智能工作负载。最后，边缘人工智能还可以通过减少发送到云端进行处理的数据量来辅助推测性解码。 • 中国在人工智能方面的进展。 围绕人工智能芯片的出口管制可能会在短期内阻碍中国的发展。但从长远来看，这可能会迫使中国在基础设施和模型方面更具创造力。例如，最近有消息称，中国首次在多个数据中心和 GPU 架构上训练了一个模型，这是任何国家首次这样做。尽管计算能力有限，但中国的 LLM 已经证明它们可以与最优秀的国际模型相媲美。特别是，阿里巴巴的 Qwen 模型和 DeepSeek 模型已经证明它们可以与 GPT-4o 等西方模型相匹敌。这表明，虽然硬件限制可能会带来一些挑战，但中国的实验室正在寻找解决方法，并继续保持同步发展。 • 人工智能对可持续发展的影响： 大型云服务商已做出到 2030 年实现气候承诺。例如，微软设定了一个雄心勃勃的目标，即到 2030 年实现碳负排放。然而，人工智能能源消耗的快速增长正在将这些承诺推向错误的方向。例如，微软最近报告称，自 2020 年以来，二氧化碳排放量增加了近 30%，这主要是由数据中心扩张推动的。同样，谷歌 2023 年的温室气体排放量比 2019 年高出 50%，这在很大程度上也是由于人工智能数据中心造成的。我们认为，这种趋势将迫使企业决策更加关注可持续性。从长远来看，那些想要了解人工智能的人也需要了解能源市场。
III. 值得关注的初创公司
• 人工智能云和计算： • Coreweave, Crusoe, FoundryML, Lambda labs, Rescale*, SF Compute, Shadeform*, Tensorwave*, Together AI • 人工智能芯片公司： • Blaize, Cerebras, D-Matrix, Etched, Groq, Graphcore, Lightmatter, Rebellions, SambaNova, Tenstorrent, Hailo • 数据中心外围设备： • Celestial AI, Corintis, Liquidstack, Jetcool, Phaidra, Thintronics*, Xconn Technologies*
* 表示 Translink Capital 投资组合公司
模型领域
“机器智能是人类需要做出的最后一项发明”– Nick Bostrom
I. 关键要点
• 对小型语言模型 (SLM) 的关注日益增加。 去年，我们预计 SLM 将呈现日益增长的趋势，但它们快速的进步甚至超出了我们的预期。如今，一个 30 亿参数模型可以与原始的 1750 亿参数的 ChatGPT 模型的性能相媲美，在短短 24 个月内，参数效率提高了 50 倍以上。这一显著进步源于更好的压缩技术（例如，蒸馏、量化、剪枝）和高质量合成数据的使用。2023 年的一篇论文“超越神经缩放定律”的研究表明，通过仔细筛选数据集并删除低质量数据，可以用更小的模型规模实现更好的性能。这是 SLM 背后的核心思想。 • 因此，边缘人工智能变得更加可行。 随着 SLM 性能的提高和边缘硬件（CPU、NPU）变得更加强大，在边缘部署人工智能工作负载变得越来越可行。如今，一个 70 亿参数的模型可以在笔记本电脑上高效运行。著名的 SLM 示例包括微软的 Phi-3 模型、谷歌的 Gemini Flash以及 Llama 1B 和 3B 模型。边缘人工智能还具有提高隐私和安全性、降低延迟和降低成本的额外优势。这对于实时语音识别或离线环境等用例尤其有利。有关设备端语言模型的全面综述，请查看 Meta 和 Nexa AI 的这篇论文。 • 我们正在转向一个由多个模型组成的网络。 LLM 的架构正在从大型单一系统演变为由多个小型、专用模型组成的分布式网络（类似于混合专家模型 (MoE) 方法）。这需要一个父模型在这些较小的目标模型之间协调任务。Meta 最近的研究表明，并行使用多个较小的模型可以始终优于单个大型模型。这种方法类似于人脑，人脑不是一个单一的统一结构，而是由海马体（记忆）、额叶（逻辑）和枕叶（视觉）等专门区域组成。我们还认为，这种架构也将适用于人工智能代理（稍后会详细介绍）。 • 模型正在转向更多依赖于推理时间的推理。 OpenAI 的最新 o1 模型标志着使用思维链和强化学习等技术向推理时间推理的转变。（此处提供了一个很好的总结）。o1 模型通过反复试验学习最佳路径，就像人类解决问题一样，涉及大量的自我反思和纠错。这使得该模型擅长复杂的推理任务，例如数学、编程和科学查询。然而，这种能力是有代价的，o1 的每个 token 价格比 GPT-4o 高 3-4 倍。这种模型的另一个例子是中国实验室 DeepSeek 的 R1-lite-preview。与 o1 的浓缩摘要不同，R1-Lite-Preview 实时向用户显示其完整的思维链过程。对推理时间推理的日益重视可能会增加对延迟优化计算的需求。 • OpenAI 经历了内部动荡。 今年，OpenAI 经历了许多内部动荡，包括 Sam Altman 作为首席执行官的突然被罢免和随后复职。在最初的创始人中，只有 Greg Brockman 和 Wojciech Zaremba 留任，而 Ilya Sutskever、John Schulman 和 Mira Murati 等关键人物都已离职。尽管面临这些挑战，OpenAI 还是在其最新一轮融资中以 1500 亿美元的估值筹集了 65 亿美元，并有望成为历史上增长最快的科技公司，远远超过亚马逊、谷歌和 Meta。
OpenAI 在其商业化的第三年实现了 30-40 亿美元的收入，是增长速度仅次于它的公司亚马逊的 3 倍；来源：Translink Capital
• Meta 的开源战略正在取得成效。 Meta 继续其大胆的开源策略，扎克伯格承诺向 Llama 和 Meta 更广泛的生成式人工智能计划投入数十亿美元。这种策略被证明是有效的，Llama 模型今年的下载量接近 3.5 亿次——比去年增加了 10 倍以上。在消费者方面，Meta 正在将其 LLM 集成到现有的消费者应用程序中，如 Facebook 和 Instagram，以防止竞争对手构建像 ChatGPT 或 Perplexity 这样的独立 LLM 界面。在企业方面，Meta 已经与 AT&T、DoorDash 和高盛等大型企业展开合作。看起来，闭源专有模型和开源模型之间的差距已经大大缩小，这在很大程度上要归功于 Meta 的努力。 • 在过去的一年里，OpenAI 和其他研究实验室之间的性能差距已经缩小。虽然 OpenAI 仍然领先，但其主导地位已不再那么明显。在初创公司中，Anthropic 以其在模型升级、产品发布和人才获取方面的出色进展而脱颖而出，并且据传其收入运营速率接近 10 亿美元。看起来，在人工智能时代，先发优势可能不那么持久。一个假设是，在当今互联互通的世界中，互联网和社交媒体等成熟的通信基础设施使得专有技术和知识的传播速度比以往任何时候都快，从而削弱了技术护城河。因此，模型性能越来越取决于资本和计算资源的获取，而不是任何专有技术。从这个意义上说，明年值得关注的一家初创公司是 xAI——他们已经拥有世界上最大的超级计算机之一，拥有超过 10 万个 H100（根据马斯克的说法，很快将达到 20 万个）。马斯克暗示他们即将推出的模型 Grok 3 可能已经是当前最佳 (SOTA) 模型，并且可以与 GPT-4o 相媲美。 • 从短期来看，基础模型公司可能仍然无法盈利。 根据 The Information 的数据，OpenAI 用于训练和推理的总计算费用预计为 50 亿美元——超过其 40 亿美元的收入。假设推理和托管成本占销售成本的大部分，OpenAI 的毛利率约为 40%。这与其他基础模型公司的情况一致，但远低于软件业务中常见的利润率。 • 利润率低的一个原因是模型提供商之间正在进行的价格战，这使得 token 价格在今年下降了 10 倍以上。除了计算成本外，其他费用似乎相对适中，员工工资、一般和管理 (G&A) 费用以及销售和营销费用合计仅占收入的 40%。展望未来，随着行业逐渐成熟，基础模型公司最终是否能够实现类似软件的利润率将是一件有趣的事情。无论如何，我们认为短期内还无法实现盈亏平衡。（链接到下图）
