做大模型时代的开源贡献者,WasmEdge 开源之夏项目等你来

文摘   2024-05-22 18:28   北京  

开源之夏是由中国科学院软件研究所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀开源软件社区的蓬勃发展,助力开源软件供应链建设。今年已经是 WasmEdge 开源社区第三次参与开源之夏。今天 WasmEdge 社区带来了两个与大语言模型相关的任务,期待对开源与 AI 感兴趣的小伙伴参与。

为什么要参加开源之夏

学生可自主选择感兴趣的项目进行申请,并在中选后获得该软件资深维护者(社区导师)亲自指导的机会。根据项目的难易程度和完成情况,参与者还将获取开源之夏活动奖金和结项证书。

总之一句话,参与开源之夏,既可以获得项目实习经历,编程技能的增长,又能获得报酬与证书认可,更有机会成为优秀开源项目的 maintainer,何乐而不为?

WasmEdge 介绍

根据最近 CNCF 对2000多名 IT 专业人士的 2022 年度调查,WebAssembly 将成为云原生技术栈的一个关键部分。

WasmEdge 是一个轻量级、高性能和可扩展的 WebAssembly Runtime,适用于云原生、边缘、微服务、数据处理、微服务和去中心化应用程序。特别是在 LLM 推理场景。WasmEdge 有着跨平台、轻量级的独特优势。了解更多:https://github.com/LlamaEdge/LlamaEdge

目前 WasmEdge 在 GitHub 上有8000多颗 stars,160多名贡献者,并和国内外知名公司或开源项目建立了正式合作关系,如 Docker, VMware, ByteDance, Futurewei, EMQ, Red Hat Linux, containerd, Dapr, OpenShift, Envoy, KubeEdge, OpenYurt, OpenFunction 等等。

WasmEdge 是云原生计算基金会(CNCF)的沙箱项目。关于 WasmEdge 的更多信息,请访问:https://github.com/WasmEdge/WasmEdge

项目一:支持 llm.c 作为 WasmEdge 的 Plugin

llm.c 是使用纯 C 语言进行大语言模型训练的轻量级框架,无需 245 MB 的 Pytorch 或是 107 MB的 cPython。llm.c 在 github 上有接近 2万star,是非常受欢迎的开源项目。

WasmEdge 在 LLM 推理场景上有着独特的优势:一键编译,到处运行,并且没有复杂的 Python 依赖。我们考虑将 WasmEdge 的优势延续到训练场景。这个项目需要贡献者能够把 llm.c 构建为 WasmEdge 的 plugin 并且提供 WASI-NN SDK 供开发者使用。

你可以参考 WasmEdge ggml plugin,来学习研究如何给 WasmEdge 添加大模型相关的插件。https://github.com/WasmEdge/WasmEdge/tree/master/plugins/wasi_nn

如果你熟悉 C 语言,对大模型训练感兴趣,快来申请这个任务吧!

  • 任务链接:https://summer-ospp.ac.cn/org/prodetail/248830516
  • 对应 GitHub issue:https://github.com/WasmEdge/WasmEdge/issues/3368
  • 导师联系方式:hydai at secondstate.io

项目二:支持 stable-diffusion.cpp 作为 WasmEdge 的 plugin

使用大模型生成图片是大模型的另外一个非常受欢迎的使用场景。与 llama.cpp 类似,stable-diffusion.cpp 使用 Stable Diffusion 的纯 C/C++ 实现,无需任何额外的依赖。

WasmEdge 通过 llama.cpp 实现了轻量级,跨平台的 LLM 推理。我们希望通过 stable-diffusion.cpp 使 WasmEdge 能够支持 Stable Diffusion 模型。这个项目需要贡献者能够把 stable-diffusion.cpp 构建为 WasmEdge 的 plugin,支持 txt2img 和 img2img,并且提供 WASI-NN SDK 供开发者使用。

同样,你也可以参考 WasmEdge ggml plugin,来学习研究如何给 WasmEdge 添加大模型相关的插件。https://github.com/WasmEdge/WasmEdge/tree/master/plugins/wasi_nn

如果你熟悉 C 语言,对大模型训练感兴趣,快来申请这个任务吧!

  • 任务链接:https://summer-ospp.ac.cn/org/prodetail/248830517
  • 对应 GitHub issue:https://github.com/WasmEdge/WasmEdge/issues/3369
  • 导师联系方式:dm4 at secondstate.io

如果你对 WasmEdge 的开源之夏项目感兴趣,欢迎与导师联系,并且在 6月4号前提交你的申请。


如果你有任何问题,也欢迎加入我们的讨论群,进行讨论。期待在开源之夏见到你的身影!

关于 WasmEdge

WasmEdge 是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。目前是 CNCF 沙箱项目。WasmEdge 被应用在 SaaS、云原生,service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。

GitHub:https://github.com/WasmEdge/WasmEdge

官网:https://wasmedge.org/

‍‍Discord 群:https://discord.gg/U4B5sFTkFc

文档:https://wasmedge.org/docs


Second State
Rust 函数即服务
 最新文章