InfoQ: AI、ML和数据工程趋势报告(2024年9月)

一、Key Takeaways关键要点

• AI 的未来是开放且可访问的。我们正处于 LLM 和基础模型的时代。大多数可用的模型都是闭源的，但像 Meta 这样的公司正试图将趋势转向开源模型。
• 检索增强生成 （RAG） 将变得更加重要，尤其是对于大规模 LLM 的适用用例。
• AI 驱动的硬件将随着支持 AI 的 GPU 基础设施和 AI 驱动的 PC 而获得更多关注。
• 由于 LLM 的基础设施设置和管理成本的限制，小型语言模型 （SLM） 将得到更多的探索和采用。
• 小型语言模型也非常适合在小型设备上运行的边缘计算相关使用案例。
• AI 代理与编码助手一样，也将得到更多采用，尤其是在企业应用程序开发环境中。
• AI 安全在语言模型的整体管理生命周期中将继续发挥重要作用。自托管模型和开源 LLM 解决方案可以帮助改善 AI 安全态势。
• LLM 生命周期的另一个重要方面是 LangOps 或 LLMOps，它有助于在将模型部署到生产环境后为模型提供支持。

InfoQ 趋势报告为 InfoQ 读者提供了 AI、ML 和数据工程领域新兴趋势和技术的全面概述。本报告总结了 InfoQ 编辑团队与外部嘉宾的播客，讨论了 AI 和 ML 的趋势以及未来 12 个月需要注意的事项。结合报告和趋势图，我们随附的播客对这些趋势进行了有见地的讨论。

二、AI 和 ML 趋势图

年度趋势报告的一个重要部分是趋势图，它显示了哪些趋势和主题已进入创新者类别，哪些趋势和主题已被提升为早期采用者和早期多数类别。这些类别基于 Geoffrey Moore 的《Crossing the Chasm》一书。在 InfoQ，我们主要关注尚未跨越鸿沟的类别。这是今年的图表：

自从 InfoQ 团队去年讨论趋势报告以来，AI 技术已经出现了重大创新。

本文重点介绍了趋势图，该图显示了技术采用的不同阶段，并提供了自去年趋势报告以来添加或更新的各项技术的更多详细信息。我们还讨论了采用图中促进了哪些技术和趋势。

1、Innovators创新

我们首先从添加到 Innovators 类别中的新主题开始。检索增强生成 （RAG） 技术对于希望使用 LLM 而不将其发送给基于云的 LLM 提供商的公司来说将变得至关重要。RAG 也可用于大规模 LLM 的适用用例。

创新者类别的另一个新进入者是 AI 集成硬件，其中包括支持 AI 的 GPU 基础设施和 AI 驱动的 PC、手机和边缘计算设备。这将在未来 12 个月内看到重大发展。

基于 LLM 的解决方案在基础设施设置和管理成本方面存在挑战。因此，将探索和采用一种称为小语言模型 （SLM） 的新型语言模型。SLM 也非常适合在小型设备上运行的边缘计算相关用例。Microsoft 等公司已经发布了 Phi-3 和其他 SLM，社区可以立即开始试用，以比较使用 SLM 与 LLM 的成本和优势。

2、Early Adopters早期采用者

随着生成式 AI 技术的巨大变化以及 OpenAI （GPT-4o）、Meta （LLAMA3） 和谷歌 （Gemma） 等科技公司最近发布最新版本的 LLM，我们认为“生成式 AI/大型语言模型 （LLM）”主题现在已经准备好从创新者类别推广到早期采用者类别。

另一个进入此类别的主题是合成数据生成，因为越来越多的公司开始在模型训练中大量使用它。

3、Early Majority早期多数

AI 编码助手也将得到更多采用，尤其是在企业应用程序开发环境中。因此，这个话题被提升到 Early Majority 类别。

图像识别技术还用于一些工业组织，用于缺陷检测和检测等用例，以帮助进行预防性维护并最大限度地减少或消除机器故障。

三、AI 和 ML 趋势亮点

1、语言模型的创新

ChatGPT 于 2022 年 11 月推出。从那时起，生成式 AI 和 LLM 技术在创新方面一直以最快的速度发展，而且它们似乎不会很快放缓。

技术领域的所有主要参与者都忙于发布他们的 AI 产品。

今年早些时候，在 Google I/O 大会上，谷歌宣布了几项新的发展，包括 Google Gemini 更新和“搜索中的生成式 AI”，这将显着改变我们所知道的搜索。

大约在同一时间，OpenAI 发布了 GPT-4o，这是一种可以实时处理音频、视觉和文本的“全能”模型。

LLAMA3 也由 Meta 与他们最近发布的 LLAMA 3.1 版同时发布，该版本基于 4050 亿个参数。
像 OLLAMA 这样的开源 LLM 解决方案受到了很多关注。

随着 GPT-4o、LLAMA3 和 Gemini 等该领域的主要参与者发布最新版本的大型语言模型 （LLM），生成式 AI 继续成为 AI 和 ML 行业的主要力量。流行的基础语言模型有更新版本，Anthropic （Claude） 和 Mistral （Mixtral） 等其他公司也提供 LLM。

LLM 的另一个新趋势是上下文长度;您可以放入模型中以提供答案的数据量正在增加。Mandy Gu 在今年的播客中讨论了更长的上下文窗口：

“这绝对是我们在更长的上下文窗口中看到的一种趋势。而最初，当 ChatGPT 和 LLM 刚流行起来时，这是很多人都提到的一个缺点。当我们对可以通过 LLM 传递的信息量有限制时，大规模使用 LLM 或您所说的 LLM 会更加困难。今年早些时候，Gemini，Google Foundation，这个 GCP 基础模型，引入了 100 万个上下文窗口长度，这改变了游戏规则，因为在过去，我们从未有过接近它的东西。我认为这引发了其他提供商试图创建类似长或更长的上下文窗口的趋势。

2、Small Language Models小型语言模型

语言模型演变的另一个主要趋势是新的小语言模型。这些专用语言模型提供了许多与 LLM 相同的功能，但规模更小，使用的数据量较小，并且使用的内存资源更少。小型语言模型包括 Phi-3、TinyLlama、DBRX 和 Instruct。

3、LLM 评估

在提供了多个 LLM 选项的情况下，我们如何比较不同的语言模型，以便为应用程序中的不同数据或工作负载选择最佳模型？LLM 评估对于在公司中成功采用 AI 技术不可或缺。有 LLM 比较网站和公共排行榜，如 Huggingface 的 Chatbot Arena、Stanford HELM、Evals 框架等。

InfoQ 团队建议 LLM 应用程序开发人员使用特定于领域 / 用例的私有评估基准来跟踪模型性能的变化。使用人工生成的模型，最好是那些尚未被污染/泄漏到 LLM 训练数据中的模型，以帮助提供模型质量随时间变化的独立度量。

"[...]商业价值是我们评估时应该考虑的重要因素。我也对这些通用的基准测试持怀疑态度，但我认为我们真正应该做的是......评估 LLM，不仅要评估基础模型，还要评估技术以及我们如何在手头的任务中编排系统。因此，例如，如果我试图解决的问题是......总结一篇研究论文 [并且] 我正在尝试提炼语言，我应该评估 LLM 对这项非常具体的任务的能力，因为回到免费午餐定理，不会有一套模型或技术最适合每项任务。“

4、AI AgentsAI 代理

支持 AI 的代理程序是另一个出现大量创新的领域。自主代理和支持 GenAI 的虚拟助手正在不同的地方出现，以帮助软件开发人员提高工作效率。AI 辅助程序可以使各个团队成员提高生产力或相互协作。Gihub 的 Copilot、Microsoft Teams 的 Copilot、DevinAI、Mistral 的 Codestral 和 JetBrains 的本地代码完成是 AI 代理的一些示例。

GitHub 最近还宣布了其 GitHub Models 产品，使大型开发人员社区能够成为 AI 工程师，并使用行业领先的 AI 模型进行构建。

“我们看到一些东西，比如 Devin，这个 AI 软件工程师，你有一个代理，它有一个终端、一个代码编辑器、一个浏览器，你基本上可以把它分配成一个工单，然后说，'嘿，试着解决这个问题。'它试图自己做所有事情。我认为目前 Devin 的成功率可能只有 20%，但对于一个自由软件工程师来说，这还算不错。”

Daniel Dominguez 提到，Meta 将为小企业提供一个新的 Meta AI 代理，以帮助小企业主在自己的空间中实现很多事情的自动化。HuggingChat 还具有用于日常工作流程的 AI 代理。Slack 现在有 AI 代理来帮助总结对话、任务或日常工作流程。

5、AI 驱动的硬件

AI 集成硬件正在利用 AI 技术的力量来彻底改变每项任务的整体性能。NVIDIA GeForce RTX 等支持 AI 的 GPU 基础设施和 Apple M4 等 AI 驱动的 PC、手机和边缘计算设备都有助于加快 AI 模型的训练和微调速度，以及更快地创建内容和生成图像。

6、安全可靠的 AI 解决方案

随着 Gen AI 和语言模型的所有发展，安全可靠地部署这些 AI 应用程序对于保护消费者和公司的数据隐私和安全至关重要。

随着 GPT-4o 等多模型语言模型的出现，处理视频等非文本数据时的隐私和安全在整个机器学习管道和 DevOps 流程中变得更加重要。

播客小组成员的 AI 安全和安保建议是全面沿袭和映射数据去向。培训您的员工采取适当的数据隐私安全实践，并使安全路径成为他们阻力最小的路径，以便您组织内的每个人都可以轻松采用它。其他最佳实践包括：确保您的工作流程具有可审计性，以便您可以跟踪所有推理之间的所有交互。一些相关问题：我的设计工作流程中是否存在潜在的攻击面？及时注射呢？

7、LangOps/LLMOps

LLM 和 AI 技术的另一个关键方面是在生产中托管语言模型并管理语言模型的整个生命周期。LangOps 或 LLMOps 包含在生产中支持模型的最佳实践。

Mandy Gu 分享了她的团队基于他们公司的 LLM 工作而获得的 LLMOps 经验：

“我们开始启用自托管模型，在其中我们可以轻松添加开源模型，对其进行微调，我们可以将其添加到我们的平台中，使其可用于通过 LLM 网关为我们的系统和最终用户进行推理。然后，我们将构建检索视为一个可重用的 API，围绕我们的矢量数据库构建脚手架和可访问性。然后慢慢地，随着我们开始将越来越多的这些组件平台化，我们的最终用户，如科学家、开发人员、企业内的各种人员，他们开始尝试它，并确定，'嘿，这是一个实际上会真正从 LLM 中受益的工作流程。'然后，当我们介入并帮助他们将其产品化时， 部署它，并大规模部署产品。"

8、AR/VR 技术

由于播客的时间限制，该小组没有时间讨论 AR/VR 的最新趋势，但这是一个重要的话题，因此我们想在本文中简要介绍它。

增强现实和虚拟现实应用程序可以从最新的 AI 技术创新中受益匪浅。Apple 和 Meta 最近发布了他们的 VR 产品，包括 Apple Vision Pro、Meta Quest Pro + Meta Quest 3 和 Ray-Ban Meta。所有这些产品都可以利用 AI 和语言模型的创新，将应用程序开发和用户体验提升到一个新的水平。

四、结论

AI 的未来是开放且可访问的。尽管目前大多数可用的模型都是闭源的，但公司正在努力将趋势转向开源模型。今年，检索增强生成 （RAG） 将变得更加重要，尤其是对于大规模 LLM 的适用用例。PC 和边缘设备等支持 AI 的硬件将受到更多关注。小语言模型 （SLM） 也将被探索和更多地采用。这些模型非常适合在小型设备上运行的边缘计算相关用例。基于 AI 的应用程序中的安全方面在语言模型的整体管理生命周期中将继续发挥重要作用。