10月AI报告 | AIR STREET CAPITAL 2024全球AI发展现状十大要点（附212页报告链接）

人工智能 2024 年现状报告是 Nathan Benaich 和 Air Street Capital 团队的第七份年度报告。该报告介绍了 2023 年至 2024 年人工智能领域的重要进展，包括研究领域的突破、商业应用、政治与监管、安全问题以及对未来的预测。

报告作者解读（英文版）

10大AI发展现状要点

•  虽然 OpenAI 在很长一段时间内保持领先，但随着 Claude 3.5 Sonnet、Gemini 1.5 和 Grok 2 的推出，模型性能差距正在缩小。报告指出：“在正式基准测试和基于感知的分析中，资金最雄厚的领先实验室能够在单个能力方面获得彼此相差无几的分数。” (幻灯片 12)
• OpenAI 加倍投入推理计算： OpenAI 团队通过将计算从预训练和后训练转移到推理，显著提高了推理密集型基准测试的性能。然而，这种方法也带来了更高的成本。 (幻灯片 13)
  
  
  2. 开源模型崛起
  

• 以Llama家族为代表： Meta 推出的 Llama 3 家族在推理、数学、多语言和长上下文任务方面与 GPT-4 和 Claude 3.5 Sonnet 相媲美。这标志着开源模型首次缩小了与专有领先模型的差距。(幻灯片 15)
• “开源”定义模糊：随着开源模型获得大量社区支持并成为监管热点问题，一些研究人员认为“开源”一词经常被误用。报告指出：“它可以用来概括权重、数据集、许可和访问方法方面截然不同的开放性实践。” (幻灯片 16)
  3.数据集污染和基准测试问题引发担忧
  

• 数据集污染问题：研究人员越来越关注数据集污染问题，即测试或验证数据泄露到训练集中。这可能导致模型性能被高估。(幻灯片 17)

• 基准测试存在问题：一些最流行的基准测试存在惊人高的错误率，这可能导致低估某些模型的能力，并带来安全隐患。(幻灯片 18)
  4. 神经符号系统复苏
  

• 神经符号系统卷土重来：由于推理能力和训练数据的不足，人工智能系统在数学和几何问题上经常表现不佳。谷歌 DeepMind 团队将符号推理引擎与语言模型相结合，成功解决了奥林匹克级别的几何问题，这表明神经符号系统正在复苏。(幻灯片 20)
  5.模型压缩、蒸馏和移动端模型成为研究热点
  

• 模型压缩和蒸馏：研究表明，模型在面对更深的层数时仍然很稳健，这些层数旨在处理复杂、抽象或特定于任务的信息。研究人员正在探索模型压缩和蒸馏技术，以创建更小、更高效的模型，同时保持性能。(幻灯片 21、22)

• 移动端模型：随着大型科技公司考虑大规模终端部署，我们开始看到能够在智能手机上运行的高性能 LLM 和多模态模型。(幻灯片 23)

• 量化技术：通过降低模型参数的精度，可以缩小 LLM 的内存需求。研究人员正在努力将性能权衡降至最低。(幻灯片 24)

• 混合模型：结合了注意力和其他机制的模型能够在保持或提高精度的同时，降低计算成本和内存占用。(幻灯片 26)

  6. 合成数据和检索增强生成 (RAG) 受关注
  

  合成数据：去年，人们对合成数据的看法存在分歧，一些人认为它有用，另一些人担心它可能会引发模型崩溃。今年，人们对合成数据的看法似乎正在升温。(幻灯片 29、30)

• 检索和嵌入：随着人们对检索增强生成 (RAG) 的兴趣日益浓厚，嵌入模型的质量也得到了改善。(幻灯片 32)
  上下文至关重要：Anthropic 的研究表明，使用“上下文嵌入”可以显著提高 RAG 的性能，其中提示指示模型生成解释文档中每个块上下文的文本。(幻灯片 33)
  

• 7. 计算基础设施挑战
• 随着计算集群规模的扩大，构建和维护也变得更加困难。研究人员正在探索替代方案，例如谷歌 DeepMind 提出的分布式低通信 (DiLoCo) 优化算法。(幻灯片 35)
  8. 中国研究机构表现亮眼
• DeepSeek、01.AI、智谱 AI 和阿里巴巴等中国实验室的模型在 LMSYS 排行榜上取得了优异成绩，尤其是在数学和编码方面。(幻灯片 37)
  9. 中国开源项目获得全球认可
  为推动国际应用和评估，中国实验室已成为开源项目的积极贡献者。一些模型已成为个别子领域的强有力竞争者（提到5个典型模型）。(幻灯片 38)

• NVIDIA 仍然占据主导地位：NVIDIA 仍然是世界上最强大的公司之一，在第二季度收入达到 300 亿美元，并且已经为其新的 Blackwell 系列 GPU 获得了大量预售订单。 (幻灯片 87)
  
  

• 竞争对手难以赶超：AMD 和 Intel 已经开始投资他们的软件生态系统，但尚未开发出可以与 NVIDIA 网络解决方案组合相媲美的产品。 (幻灯片 88)
  
  

• NVIDIA 股票表现优于初创竞争对手：自 2016 年以来，对人工智能芯片挑战者的 680 亿美元投资如果投资于 NVIDIA 股票，如今将价值 1200 亿美元，而投资于初创公司则只有 310 亿美元。 (幻灯片 89)
  
  

• 对 NVIDIA 未来增长的质疑：少数分析师和评论员对 NVIDIA 持续增长的能力表示怀疑，指出 GPU 稀缺性下降，只有少数公司从人工智能产品中获得可靠收入。 (幻灯片 90)
  
  

• 大型实验室寻求摆脱对 NVIDIA 的依赖：大型科技公司正在加快自主硬件开发的步伐，以提高与 NVIDIA 的议价能力。 (幻灯片 99)
  
  
  挑战者初露锋芒：Cerebras 和 Groq 等人工智能芯片挑战者正在争夺风险投资和客户。 (幻灯片 100)
  
  
  其他重要观察:

• 扩散模型：扩散模型在图像生成领域取得了显著进步，并正在扩展到机器人领域，用于生成复杂的动作序列。 (幻灯片 40、76)
  
  

• 生物学基础模型： 研究人员正在开发跨越生命科学的基础模型，例如用于蛋白质结构预测的 AlphaFold 和用于基因组编辑设计的 ProFluent。 (幻灯片 45、50)
  
  
• 机器人学复兴：大型实验室正重新关注机器人学，LLM 和 VLM 被证明有助于解决数据瓶颈和长期存在的可用性障碍。 (幻灯片 73)
  未来一年十大预测:

  
  

• 安全问题：一家大型美国人工智能实验室进行超过100亿美元的投资，将引发国家安全审查。

• 无代码成功：一个由非编程专业人士创建的应用程序或网站将会走红，跻身应用商店前100名等高位排名。

• 数据收集改革：随着法律案件进入审理阶段，前沿AI实验室将在数据收集实践方面实施重大变革。

• 欧盟AI法案放宽：由于对法律过度扩张的担忧，欧盟AI法案的早期实施将比预期更加宽松。

• 开源替代：一个开源的AI模型将在多个推理基准上超越OpenAI的顶级模型。

• NVIDIA的市场主导地位：竞争对手将难以撼动NVIDIA在AI硬件市场中的主导地位。

• 仿人机器人投资下降：由于公司在实现产品与市场的契合方面面临困难，仿人机器人领域的投资将减少。

• 苹果的设备端AI：苹果将在其设备端AI研究中报告强劲的成果，推动个人AI的发展趋势。

• AI生成的研究：一篇由AI科学家撰写的研究论文将被主要的机器学习会议或研讨会接受。

• AI视频游戏突破：一款基于生成式AI交互的电子游戏将取得重大成功，并在市场中脱颖而出。

总体而言，该报告描绘了人工智能领域欣欣向荣的景象，但也指出了该领域面临的挑战，包括数据集污染、基准测试问题以及对 NVIDIA 硬件的过度依赖。开源模型的兴起、神经符号系统的复苏以及混合模型的出现表明，未来几年人工智能领域可能会出现范式转变。

报告作者介绍