直播预告 | Fluid 双周会 -- Fluid 在大模型缓存加速的云产品实践研讨交流

文摘   科技   2024-11-05 10:12   江苏  


01

   当前AI大模型的应用如火如荼,生文、生图、生视频的场景遍地开花,但随之而来的是模型体积越来越大,将模型从仓库部署到分布式架构中的时间也呈线性增长,导致推理服务的启动、模型切换效率低下,直接影响了推理服务的运营成本,也极大影响了用户获得推理结果的用户体验。火山引擎数据加速技术,将模型从仓库或存储位置缓存预热到算力近端和高速存储上,极大地加速计算端加载模型的时间,全面提升大模型应用的运行效率。本次交流将分享Fluid加速方案在云平台产品化的实践。

本期 Fluid 双周会(2024 年 11月 5 日 16 : 30),将首先由火山引擎的范捷惟工程师介绍分享Fluid 在大模型高效加载应用场景的实践,然后组织相关技术在线交流研讨。

如果你对相关内容感兴趣,欢迎参加本期 Fluid 双周直播。

02


Meeting Application: 钉钉视频会议
Meeting Link: https://meeting.dingtalk.com/j/L0m15vPelBV

Meeting Id: 396 929 6542

Time: 16:30 p.m. Tuesday, Nov. 5, 2024

Time zone: Beijing, Shanghai

Language: Simplified Chinese


👇👇 

Fluid开源项目
Fluid开源项目官方社区,欢迎投稿留言,https://github.com/fluid-cloudnative/fluid