转发本文章到朋友圈,并截图发微信后台,可以参与抽奖,奖品价值300美金大会门票一张。中奖名单于下周一公布。
2024年 KubeCon + CloudNativeCon + Open Source Summit + AI_dev China 2024 将于8月21日至23日在香港举行。这场开源领域的盛会汇聚了包括开源大神 Linus Trovalds、Linux基金会CEO Jim Zemlin在内的开源领袖以及华为、阿里、字节跳动等企业的技术专家。
Second State 也将作为大会银牌赞助商出席本次大会。Second State 是 CNCF WasmEdge 项目的发起方与维护者之一。Second State 本次将带来多个演讲,展示开源云原生技术和 AI 解决方案,WasmEdge的 Miley 还将作为联合主席/主持人介绍 Linus 出场!
主旨演讲:
1. 在云环境中运行大型语言模型,Miley Fu https://sched.co/1flFB
日期与时间: 2024年8月22日,星期四,09:30 - 09:45 HKT 地点: Level 2 | Grand Ballroom 1-2 Second State的 DevRel Miley Fu将深入探讨在云环境中运行大型语言模型(LLMs)的迫切需求。她的主题演讲将涵盖使用Python-based解决方案、本地运行时如llama.cpp或vLLM,以及作为抽象层的WebAssembly(Wasm)部署开源LLM的基本要素。与会者将了解每种方法的实际应用、优势和挑战,重点讨论实际应用和CNCF CNAI生态系统景观。
2. 在Kubernetes上部署LLM工作负载 Tianyang Zhang , Xiaowei Hu https://sched.co/1eYa5
日期与时间: 2024年8月23日,星期五,09:05 - 09:20 HKT 地点: Level 2 | Grand Ballroom 1-2 来自华为云的Tianyang Zhang和Second State的Xiaowei Hu的主题演讲将强调WasmEdge和Kuasar在Kubernetes上部署LLM工作负载的整合。他们将展示在Kubernetes集群上部署Llama3-8B的过程,展示这些技术提供的提升效率、可扩展性和稳定性。
分论坛演讲
1. 项目闪电演讲:WasmEdge 0.14.0发布亮点 Hydai https://sched.co/1f4zL
日期与时间: 2024年8月21日,星期三,11:49 - 11:54 HKT 地点: Level 2 | Grand Ballroom 1-2 Hydai将快速更新WasmEdge 0.14.0引入的关键特性,包括WasmGC、类型函数引用、异常处理,以及作为执行LLMs的插件集成llama.cpp。与会者将了解WasmEdge的未来发展路线图。
2. 在GPU、CPU、操作系统和云原生环境中使用Wasm实现可移植AI推理 - Miley Fu & Hung-Tung Tai, Second State https://sched.co/1eYYO
日期与时间:2024年8月21日,星期三,17:15 - 17:50 HKT 地点: Level 1 | Hung Hom Room 7 概要: 这场演讲将聚焦于在云原生生态系统中使用WebAssembly执行AI推理任务的优势。我们将探讨wasm如何赋予权力给开发者在个人电脑上开发,并在不同硬件上统一执行AI推理任务,包括GPU和CPU、操作系统、边缘云等。我们将讨论Wasm和Wasm运行时如何无缝集成到云原生框架中,提升AI应用的部署和可扩展性,强调Wasm如何为包括Kubernetes和docker在内的多样化云原生架构提供灵活、高效的解决方案,让开发者充分利用特别是开源LLMs的潜力。
3. 自己的笔记本电脑或边缘设备上自托管LLM Agent Michael Yuan https://sched.co/1eYXf
日期与时间:2024年8月21日,星期三,14:40 - 15:15 HKT 地点: Level 1 | Hung Hom Room 3 概要: 该演讲将讨论在个人或私人设备上运行开源LLMs的好处。他将展示如何使用WasmEdge + Rust堆栈构建完整的AI代理服务,强调其隐私、定制和成本控制优势。
4. 服务器上的WebAssembly Vivian Hu https://sched.co/1eYZR
日期与时间:2024年8月22日,星期四,14:40 - 15:15 HKT 地点: Level 1 | Hung Hom Room 6 根据CNCF年度调查2022的关键发现,“容器是新常态,WebAssembly(Wasm)是未来。” 该演讲将探索WebAssembly在云原生环境的应用。她将讨论Wasm与现有容器工具的整合,以及WebAssembly在LLM应用中的用例和未来方向。
5. 在Docker中实现跨平台AI应用的新进展 Michael Yuan https://sched.co/1eYaP
日期与时间:2024年8月23日,星期五,11:25 - 12:00 HKT 地点: Level 1 | Hung Hom Room 2 演讲将重点介绍在容器生态系统中增强跨平台GPU/AI工作负载的方式。Michael Yuan将展示WasmEdge如何利用Docker的WebGPU标准创建可移植LLM推理应用程序。
6. GPU 时代的“ 一次编写,到处运行” Michael Yuan https://sched.co/1eYaf
日期与时间:2024年8月23日,星期五,13:20 - 13:55 HKT 地点: Level 1 | Hung Hom Room 3 演讲将讨论LlamaEdge的设计和实现,这是一个基于WasmEdge构建的轻量级、高性能LLM推理运行时。他将展示LlamaEdge如何实现跨平台LLM应用的开发和部署,适用于各种设备和环境。
Second State 赞助展位
Second State 是 2024年KubeCon + CloudNativeCon + 开源峰会 + AI_dev China的银牌赞助商。我们的展位编号是 S8,欢迎大家来 Second State 展位探索适用于GPU的可移植、轻量级LLM推理解决方案及本地LLM的使用场景。
日期与时间:2024年8月21日至23日,星期三至星期五,10:00 - 17:55 HKT
可爱的贴纸、棒球帽、移动电源、WasmEdge T-shirts和迷你风扇等你来拿!先到先得!
WasmEdge Kiosk
作为CNCF托管的项目,WasmEdge 将获得项目展台。来和WasmEdge的维护者交流,了解WasmEdge的进展和发展路线图。
在Project Pavilion 找到我们的 Kiosk
编号 #: T4 周三 15:00 - 20:00
位置: 解决方案展示区 | 二楼 | 大宴会厅3-4
Second State 非常高兴能深度参与2024年KubeCon + CloudNativeCon + 开源峰会 + AI_dev China,我们期待与社区保持联系。希望我们的演讲和demo 能够提供如何在云原生环境中有效部署和管理LLM的实用见解,也欢迎大家前来 Second State 的展台。期待与各位开发者交流,分享关于 WasmEdge 与 K8s 结合的想法。
Linus Trovalds的演讲链接: https://sched.co/1eZrx
关于 WasmEdge
WasmEdge 是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。目前是 CNCF 沙箱项目。WasmEdge 被应用在 SaaS、云原生,service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。
GitHub:https://github.com/WasmEdge/WasmEdge
官网:https://wasmedge.org/
Discord 群:https://discord.gg/U4B5sFTkFc
文档:https://wasmedge.org/docs