12 月 7 日,Ray Forward 2024 在北京蚂蚁 T 空间火热开启!
参与这场社区年度盛会,你将收获:
1. 通过 AnyScale Co-founder Robert Nishihara 的开场视频,第一时间了解 Ray 未来的技术进展;
2. 跟随蚂蚁、腾讯、字节、Bilibili、百图生科、Kyligence 等公司技术专家,全方位、多层次了解 Ray 在各行业的实践应用;
一、活动信息
🕐 时间:12月7日(周六)13:25-17:35
📍 地点:北京市海淀区魏公村路6号院1号楼丽金智地中心-东塔 蚂蚁T空间 3楼报告厅
二、分享内容及嘉宾介绍
Ray 在微信 AI 计算中的大规模实践
微信业务中存在着大量 AI 计算场景,遍及搜广推等业务。AI 计算应用与传统网络I/O 密集型、高并发、高可靠的微服务不同,微信后台基础设施在面对这些需求时,面临了成本高、部署复杂、异构资源难以调度、利用率低和稳定性差等问题。
在这样的背景下,Astra 团队引入了 Ray 作为分布式计算底座,在 Ray 强大的生态和分布式能力基础上,提出了 Ray 联邦集群的方案,可以支持百万节点的超大异构资源的 AI 计算应用部署。Astra-Ray 帮助微信业务降低了 AI 应用的部署复杂度,降低了成本,提升了资源的利用率和稳定性。
基于 Ray 的融合计算引擎在生命科学领域的应用
基于 Ray 的融合计算引擎在生命科学领域的应用,结合了 Ray 强大的分布式计算能力与多种生命科学应用的需求,尤其是在处理大规模数据、大模型推理优化、异构调度和并行计算方面。Ray 提供了一个灵活且高效的框架,能够支持和加速从基因组学到药物研发等多个领域中的深度学习、机器学习和高性能计算任务。
以下是 Ray 在百图生科的几种典型融合计算引擎的应用示例:
加速蛋白质生成设计 加速蛋白质结构预测性能
最后将介绍基于 Ray 的融合引擎在百图生科应用的整体架构,加速生命科学研究和应用。
HybridFlow: 基于 Ray 构建灵活且高效的 RLHF 编程框架
当下由大语言模型 LLM 引领的人工智能浪潮方兴未艾,人们对于 LLM 是如何训练充满了好奇。总体来说,LLM 的训练分为四个阶段:预训练 (Pretrain)、监督微调 (SFT)、奖励模型 (RM)、强化学习 (RLHF)。其中最后一个阶段 RLHF 又是整个流程中,算法设计最复杂、新算法探索迭代最快的领域,因此,对一个既能兼顾研究阶段灵活编程,又能兼顾生产阶段高效训练的 RLHF 系统的需求日益凸显。
为此,字节跳动豆包团队联合 Ray 团队提出了新一代 RLHF 编程框架HybridFlow。
背景介绍:人类反馈强化学习 RLHF 算法简介
设计动机:RLHF 系统所面临挑战,已有系统存在的问题
HybridFlow:基于 Ray 构建的 SPMD 和 MPMD 两层编程抽象,兼顾算法的灵活与训练的高性能
Ray 在 AI 辅助编程上 auto-coder.chat 上的应用
议题简介:
蚂蚁搜推业务在 Ray Serve 的应用实践
议题简介:
1. arec Faas 平台在搜推业务应用上的定位
2. 大模型时代我们的观察
3. Ray Serve 上应用实践
4. 业务案例介绍
Ray 在 Bilibili 的场景探索与落地实践
议题简介:
三、参会 TIPS
直播预约:活动全程线上直播,无法到场的朋友,即刻预约直播防走失。
入园攻略:本次活动于北京市海淀区蚂蚁 T 空间举办,扫描文中海报二维码或点击阅读原文,提交报名信息,以便工作人员为您申请访客入园~注意接收入园短信方便正常进入哦。
Ray 中文社区
Ray 是 UC Berkeley RISELab 针对机器学习领域开源的一种新的分布式计算引擎,用于构建在任何规模下运行的分布式应用。在国内,Ray 中文社区是由蚂蚁集团和 Anyscale 共同运营的针对中国技术爱好者的宣传沟通渠道。
GitHub:https://github.com/ray-project/ray Ray 中文问答:https://ray.osanswer.net