2024 年 5 大人工智能工程趋势

科技   2024-12-18 23:08   北京  

导读:2024 年是人工智能软件,特别是人工智能编码工具日趋成熟、自动化程度不断提高,人工智能代理、小模型不断涌现的一年。

2023 年的人工智能工程以大语言模型(LLM)的激增和 AI 开发工具的扩张为特征。而到2024 年,这些趋势仍然在继续——但 LLM 和 AI 开发工具的市场较之从前的日子,都已经变得相当成熟。

今年,AI 被集成到开发人员的核心工具 ——IDE中,而用于创建“AI 代理”的新技术则出现在 LangChain 和 LlamaIndex 等辅助工具中。可用的 LLM 类型也变得更加多样化,开发人员特别感兴趣的是较小的模型和本地开发功能。

让我们深入了解今年出现的五个关键的人工智能工程趋势。

代理系统如果说“提示”是去年人工智能开发的年度热词,那么“代理”就是今年的热门词。人工智能代理是一种自动化软件,它使用大型语言模型 (LLM) 执行各种任务,今年每个人都在构建代理或“代理系统”。

在今年 6 月底于旧金山举行的人工智能工程师世界博览会上,两家领先的人工智能工程初创公司 LangChain 和 LlamaIndex 分别提出了自己的AI代理系统愿景。

LangChain 在今年的早些时候发布了 LangGraph,这家公司的首席执行官 Harrison Chase 称其“专为代理打造”,旨在实现“高度可控和低级别”。

LangChain 的 Harrison Chase 介绍代理的历史

早期的人工智能代理(例如2023 年的 AutoGPT)受到的批评之一是,它们试图在没有人类参与的情况下做太多事情

2024 年,Chase 热衷于强调,在其对人工智能代理的愿景中,人类仍然“处于循环之中”。他说,LangGraph“带有一个内置持久层,这可以实现许多非常酷的‘人机循环’交互模式。”

与此同时,在世界博览会的另一场演讲中,LlamaIndex 创始人 Jerry Liu 表示,代理是 RAG(检索增强生成)的自然继承者,RAG 是将预训练的 LLM 与外部数据源集成的最常见方法。LlamaIndex 将其 AI 代理称为“知识助手”,或许是为了让它们更适合企业。

LlamaIndex 今年的一个新功能是 Llama Agents,Liu 将其描述为“一个生产级的知识助手——特别是随着时间的推移,世界变得越来越代理化。”

LlamaIndex 的 Jerry Liu 讨论了从简单到高级的代理

同样值得我们注意的是,Meta 于 10 月发布了“Llama Stack”,以帮助开发人员使用其 Llama 模型构建“代理应用程序”。

Meta 首席产品官 Chris Cox 这样表示说:“Llama Stack 是一套针对已部署的现代 LLM 系统的每个组件的参考 API。”“它还包含一堆带有 PyTorch 和其他开发环境的库,可帮助你立即开始使用。”

2. AI 编码工具

如果说 AI 代理还处于进化的早期阶段,那么 AI 辅助编码现在在开发人员中已经很常见了。

根据最新的Stack Overflow 调查,76% 的开发人员要么使用 AI,要么打算使用 AI。在最新的 JetBrains 开发人员调查中,用户绝大多数这样表示,节省时间和更快地完成工作是使用 AI 工具进行开发的最大好处。

另一方面只有 23% 的人表示,使用 AI 工具进行编码实际上可以提高代码和正在创建的解决方案的质量。因此,关于 AI 生成的代码质量仍然存在不少提高的空间。

不过,毫无疑问,开发人员正在发现这些 AI 工具的诸多用途。比如使用各种 LLM 作为“助手团队”,帮助完成或解释编码任务。还有一些改变游戏规则的 AI 用例,例如创建软件图表等。

另一个趋势是,开发人员不再需要特殊工具来使用 AI——它通常直接集成到他们的 IDE 中,使 AI 成为他们开发流程的正常组成部分。今年早些时候,我们的常驻工程师兼作家 David Eastman 测试了 JetBrains 系列 IDE 中的 AI 功能。

他总结道:

“在某种程度上,随着环境的扩大以及一致期望的形成,‘嘿!看!我们有人工智能’是 IDE 当前的业务必需品。到明年,其中大部分将作为 IDE 体验的一部分而存在,就像今天的剪切和粘贴一样。”

Eastman 还对另外两款流行的 AI 编码工具Cursor和Zed AI进行了评测。他对这两款工具印象深刻,并评论道:“很有可能,在不到一年的时间内,凭借更具示范性的添加/删除/替换机制,Cursor 和 Zed 都将成为使用 AI 进行代码流的典范。”

10 月份,我研究了另一款新的 AI 编码工具 Solver。它声称是 AI 辅助编码的范式转变,因为它允许开发人员将任务交给 AI 自主构建。该公司表示,这比 GitHub Copilot、Cursor 和 Devin 等单纯的“AI 自动完成工具”有了明显的进步。

Solver 是目前市场上众多 AI 编码产品之一

最后,除了直接编码工具外,选择和部署 LLM 的选项也越来越多。例如,8 月份,GitHub推出了 GitHub Models,让开发人员可以轻松使用最新的生成式 AI 模型。

3. AI 工程师作为新职业推出


去年,“AI 工程师”这个职位才刚刚兴起。但今年,随着越来越多的组织实施某种形式的 AI 软件,AI 工程师变得不可或缺。


正如 Fatih Nar 和 Roy Chua 在一篇博文中所写,“随着人工智能越来越深入地融入商业运营,人工智能工程师在确保企业软件生态系统中人工智能解决方案的成功设计、实施和扩展方面发挥着关键作用。”


Nar 和 Chua 观察到,人工智能工程师“必须熟练管理数据管道、确保数据质量并部署数据进行模型训练”。

成为 AI 工程师的学习路线图

4. 小型模型和本地托管的大模型


2024 年的两个 LLM 趋势对开发人员特别有吸引力。


首先是小型语言模型(SLM)的兴起。正如 Kimberley Mok 在2 月份的概述中所说,“这些模型是大型模型的精简版,对于预算较紧的小型企业来说,SLM 正成为更具吸引力的选择,因为它们通常更易于训练、微调和部署,而且运行成本也更低。”


在今年的2 月份,谷歌推出了两款尺寸较小、开放且拥有商业许可的机型:Gemma 2B 和 Gemma 7B。谷歌这样称,这两款机型在该尺寸范围内的表现优于 Llama 2 和 Mistral。


那么,Gemini 和类似的 SLM 可以构建哪些类型的应用程序呢?据 Google DeepMind 总监 Tris Warkentin 介绍,“这些模型有各种各样的应用。”


“事实上,如果你看看整个生态系统的使用情况,从开放模型的角度来看,这是开发人员最喜欢使用的 7B 大小,适用于文本生成和理解应用程序,”


由于小型语言模型基本上是 LLM 的更精简版本,因此它们通常更容易在计算机上实现。这引出了开发人员的第二个与 LLM 相关的趋势,即本地托管的 AI 模型。


5. 开源人工智能


今年,关于人工智能领域中什么是开源或什么不是开源的讨论也是非常地热烈。


具体来说,一些人声称 Meta 的 LLaMA 模型并非真正开源,因为对训练数据的访问有限,并且存在其他问题——例如,许可条款鼓励在 Meta 生态系统内进行开发(而不是像开源软件那样允许不受限制地使用和修改)。


另外,Meta 还对 LLaMA 模型的使用施加了商业限制。


开放基础设施基金会首席运营官马克·科利尔 (Mark Collier) 在4 月份的一篇文章中所说,“Meta 的自定义许可证通过限制使用和创建衍生作品的能力,违反了当前开源定义的多项原则以及 OSI 社区针对 AI 的任何最终作品。”


为了澄清这一情况,开放源代码倡议 (OSI) 于 10 月发布了备受期待的开源 AI 定义的候选版本,OSI 文件建议各组织在其 AI 系统中使用“开源”一词,以“共享数据(如果可共享)以及用于训练和运行系统的源代码以及模型的参数”。


结语


2024 年,人们观察到众多人工智能软件,尤其是针对开发人员的人工智能编码工具正在日趋成熟,向更多自动化(人工智能代理)的推动。小型模型和本地托管的 LLM 的出现,以及对什么是开源或什么不是开源的一些澄清,这场争论将持续到新的2025年。


2024年也证明,成为一名人工智能工程师是一个非常可行的职业选择——特别是你想比 GitHub Copilot 或 Cursor 等工具更深入地研究人工智能。

作者:Richard MacManus

编译:聆听世界的鱼

参考:

https://thenewstack.io/top-5-ai-engineering-trends-of-2024/

相关阅读:

21CTO
21CTO(21CTO.com),开发者的学习与服务平台。提供高品质文章、课程与训练营、招聘等产品。
 最新文章