当 Rust 遇到 AI 会擦出什么样的火花|与你相约 RustChinaConf 2024

文摘   2024-09-04 18:54   北京  

AI  发展到今天,已经成为了人人必备的工具。Cursor AI 让八岁的小女生在5分钟内构建了一个聊天机器人,这激励了无数有想法的 builder。几天过去,基于 Cursor 的应用遍布全网。

作为编程小白的小编也去尝试了 Cursor。我不懂编程,只是熟悉一些简单的命令行操作。使用 cursor 我顺利地写出了第一个完整的 Rust 应用,一个简单的但功能完备的 To Do App。 

从实践来看,都说 Rust 学习曲线陡峭,AI 在降低 Rust 学习曲线上可以发挥巨大的作用。不会代码也能写出来能运行的 Rust 应用。

和其他人直接使用闭源的 OpenAI 和 claude 不同的是,在这里我本地运行了一个开源的 Llama-3.1-8B 模型。同时我也对这个开源的模型进行了知识库的定制。准确来说,我在本地运行的是一个基于 RAG 的大语言模型应用,也因此 Llama-3.1-8b 模型具有了 Rust by example 的知识。

具体效果怎么样?请看视频!在下面的视频里,我先问了 Llama-3.1-8B 如何开始一个新的 Rust 项目,然后在本地运行了带有 Rust knowledge 的大语言模型应用,最后配置 Cursor 生成 Rust To Do App。整个过程中,我的作用就是一直规划 AI 干活,一行代码也没写,最后就收获了一个完整可用的 To Do  App。

考虑到小编我没有任何编程背景知识,这样的结果已经让人很惊喜了!使用 AI 真的能降低 Rust 学习曲线!



视频使用的技术栈如下

  • Gaia : 用来在本地运行大语言模型的软件,使用 Gaia 的好处是可以一键起 RAG 应用,并且最后会暴露一个可以公开访问的 HTTPS 服务。以我的实践经验来看,如果我们想要 Cursor 能够连接本地大语言模型,https 链接是必须的。使用 LlamaEdge 的 localhost:8080 就不能和 cursor 一起工作。
  • chat 模型:Meta 最新的 Llama-3.1-8b 模型
  • embedding 模型:Nomic-embed,用于转换和搜索向量
  • 知识库:开源的 Rust by Example
  • IDE: Cursor
如果你也想试试,请参考这个教程:https://docs.gaianet.ai/user-guide/apps/cursor

通过上面的视频可以看到,Rust 编译器给出的错误提示可读性非常强,非常适合发给 AI 进行 debug。用 AI 降低 Rust 的学习曲线,是可以做到的。

其实不仅在让 AI 帮我们写 Rust ,更在用 Rust 写 AI 应用!上面视频所提到的 Gaia 与 LlamaEdge 都是基于 Rust  和 Wasm 开发的!

想要了解更多 Rust 在 AI 领域的应用?LlamaEdge 维护者 Sam Liu 将在 RustChinaConf 2024 上详细拆解这背后所用到的 Rust 技术。

下面是详细的介绍:

  • 演讲时间:9月7日 14:05 — 14:35
  • 分论坛:AI应用与大模型
  • 议题:LlamaEdge: 面向开发者的轻量级、跨平台大模型基础设施
  • 简介:LlamaEdge是一款针对大型模型推理的轻量级基础软件。它支持多种AI加速器,具备跨平台部署能力,并兼容OpenAI API规范,同时支持定制化。安全性方面,LlamaEdge利用 Wasm 沙盒特性提供保障。通过结合Rust、WebAssembly和LLM技术,LlamaEdge助力开发者在AGI时代以低成本、快速构建和部署AI应用。

除了 LlamaEdge 外,本次 RustChinaConf 的 AI 应用与大模型还有其他 Rust 与 AI 相关的精彩议题。作为本次大会的主办方之一,欢迎大家来打卡。

详细议程请戳:https://rustcc.cn/2024conf/


关于 WasmEdge


WasmEdge 是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。目前是 CNCF 沙箱项目。WasmEdge 被应用在 SaaS、云原生,service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。


GitHub:https://github.com/WasmEdge/WasmEdge

官网:https://wasmedge.org/

‍‍Discord 群:https://discord.gg/U4B5sFTkFc

文档:https://wasmedge.org/docs


Second State
Rust 函数即服务
 最新文章