三大亮点,不容错过!Ray Forward 2024 议程详情抢先看!

企业   2024-12-04 18:13   浙江  

12 月 7 日,Ray Forward 2024 在北京蚂蚁 T 空间火热开启!

参与这场社区年度盛会,你将收获:

1. 通过 AnyScale Co-founder Robert Nishihara 的开场视频,第一时间了解 Ray 未来的技术进展;

2. 跟随蚂蚁、腾讯、字节、Bilibili、百图生科、Kyligence 等公司技术专家,全方位、多层次了解 Ray 在各行业的实践应用;

3. 现场参会的小伙伴还将拿到精美的社区周边~

一、活动信息

🕐 时间:12月7日(周六)13:25-17:35

📍 地点:北京市海淀区魏公村路6号院1号楼丽金智地中心-东塔 蚂蚁T空间 3楼报告厅

二、分享内容及嘉宾介绍

Ray 在微信 AI 计算中的大规模实践







讲师:陈国敏|腾讯微信专家工程师,微信 Astra 平台负责人

个人简介:2012 年毕业后加入微信后台团队,负责微信基础消息、朋友圈等核心功能后台开发工作。2021 年开始作为微信 Astra 平台负责人建设微信 AI 平台。








讲师:苏文豪|腾讯微信 高级工程师

个人简介:2020 年加入微信后台团队,2021 年开始负责搭建微信 Astra 中台,为视频号/搜索/游戏等业务搭建了通用 workflow 和特征中台。2023 年开始引入 Ray 作为 AI 底座,目前 Astra-Ray 已经成为微信重要的后台 AI 平台。


议题简介:

微信业务中存在着大量 AI 计算场景,遍及搜广推等业务。AI 计算应用与传统网络I/O 密集型、高并发、高可靠的微服务不同,微信后台基础设施在面对这些需求时,面临了成本高、部署复杂、异构资源难以调度、利用率低和稳定性差等问题。

在这样的背景下,Astra 团队引入了 Ray 作为分布式计算底座,在 Ray 强大的生态和分布式能力基础上,提出了 Ray 联邦集群的方案,可以支持百万节点的超大异构资源的 AI 计算应用部署。Astra-Ray 帮助微信业务降低了 AI 应用的部署复杂度,降低了成本,提升了资源的利用率和稳定性。

基于 Ray 的融合计算引擎在生命科学领域的应用







讲师:饶星|百图生科 AI 应用负责人


议题简介:

基于 Ray 的融合计算引擎在生命科学领域的应用,结合了 Ray 强大的分布式计算能力与多种生命科学应用的需求,尤其是在处理大规模数据、大模型推理优化、异构调度和并行计算方面。Ray 提供了一个灵活且高效的框架,能够支持和加速从基因组学到药物研发等多个领域中的深度学习、机器学习和高性能计算任务。

以下是 Ray 在百图生科的几种典型融合计算引擎的应用示例:

  • 加速蛋白质生成设计
  • 加速蛋白质结构预测性能

最后将介绍基于 Ray 的融合引擎在百图生科应用的整体架构,加速生命科学研究和应用。

HybridFlow: 基于 Ray 构建灵活且高效的 RLHF 编程框架







讲师:巫锡斌|字节跳动火山引擎资深研发工程师

个人简介:本硕毕业于北京科技大学计算机科学与技术专业。先后在滴滴出行、蚂蚁集团工作,从事在线广告服务、机器学习平台、隐私计算等方向工作。目前在火山引擎批式计算 Ray 团队担任资深研发工程师,专注于大模型时代大规模、高性能、灵活弹性的分布式框架基础设施建设,全面服务于豆包大模型的数据预处理、训练、评估、推理等各个环节。开源社区 SecretFlow, Ray, OpenRLHF, veRL 等项目 Contributor。


议题简介:

当下由大语言模型 LLM 引领的人工智能浪潮方兴未艾,人们对于 LLM 是如何训练充满了好奇。总体来说,LLM 的训练分为四个阶段:预训练 (Pretrain)、监督微调 (SFT)、奖励模型 (RM)、强化学习 (RLHF)。其中最后一个阶段 RLHF 又是整个流程中,算法设计最复杂、新算法探索迭代最快的领域,因此,对一个既能兼顾研究阶段灵活编程,又能兼顾生产阶段高效训练的 RLHF 系统的需求日益凸显。

为此,字节跳动豆包团队联合 Ray 团队提出了新一代 RLHF 编程框架HybridFlow。

  • 背景介绍:人类反馈强化学习 RLHF 算法简介

  • 设计动机:RLHF 系统所面临挑战,已有系统存在的问题

  • HybridFlow:基于 Ray 构建的 SPMD 和 MPMD 两层编程抽象,兼顾算法的灵活与训练的高性能

Ray 在 AI 辅助编程上 auto-coder.chat 上的应用







讲师:祝海林|Auto-Coder/Byzer-SQL 作者、Kyligence 技术合伙人

个人简介:目前致力于使用 AI 赋能数据和编程

1. 开发了 AI 辅助编程工具 auto-coder.chat,创新性和功能完备度在全球都处于较为领先的阶段;

2. 首推全球第二代架构 RAG 产品, 纯 llm-native 设计的 auto-coder.rag,相比市场主流至少有 20% 到 60% 的效果提升;

3. 探索性端到端 NL2SQl 引擎 Super-Analysis 项目,该项目不仅实现了准确的自然语言到 SQL 的转化以及,还实现了 SQL 对非结构化数据以及结构化数据的联合分析。


议题简介:

介绍 AI 辅助编程为什么是当前的杀手级应用,AI 辅助编程的的核心功能点,以及我们是如何通过 all in Ray 来高效的实现该核心能力构建,并且保持了可扩展性。

蚂蚁搜推业务在 Ray Serve 的应用实践







讲师:张森禹|蚂蚁集团高级技术专家

个人简介:蚂蚁搜推 Faas(Arec)以及搜推特征平台负责人



议题简介:

蚂蚁传统搜推主要围绕 JAVA 构建召回排序等流程,随着大模型时代到来,业界 py 开源应用方案大爆发,搜推如何与大模型相结合,本次分享将介绍蚂蚁的搜推业务发展以及技术方案演进思路

1. arec Faas 平台在搜推业务应用上的定位

2. 大模型时代我们的观察

3. Ray Serve 上应用实践

3.1 选用 Ray Serve+python 作为新时代 AI 应用研发原因
3.2 结合业务做的一些定制化方案
3.3 后续优化方案以及演进思路

4. 业务案例介绍

Ray 在 Bilibili 的场景探索与落地实践







讲师:郑志升|Bilibili 基础架构部技术专家
个人简介:负责分布式计算引擎的底层建设,10 多年在大数据平台和架构相关的经验,从 0 到 1 搭建 Bilibili 实时端到端的传输、计算和数据湖体系,当下聚焦于 DATA+AI 的底层基础架构,主要涵盖了 Flink、Spark、Iceberg/HUDI,Ray、异构资源调度等计算和存储设施,以及围绕 AI 工程领域的平台化建设


议题简介:

Bilibili 作为一个活跃的视频分享社区,积累了海量的用户生成内容(UGC)。不仅包括传统的文本信息,还涵盖了图像、视频等多种模态的数据。如何高效地理解和利用这些多模态数据,对于提升用户体验、实现精准推荐、内容分类和广告投放等商业目标具有重要意义。
而 Ray 作为新一代的分布式计算引擎,以其高效的资源调度能力和灵活的任务执行模型,在大规模数据处理和机器学习领域展现出强大的优势。本议题将详细介绍 Ray 在 Bilibili 多模态数据处理和大模型离线推理中的应用场景,以及过程中针对系统层面的一些优化扩展和平台化增强实践。

三、参会 TIPS

直播预约:活动全程线上直播,无法到场的朋友,即刻预约直播防走失。

入园攻略:本次活动于北京市海淀区蚂蚁 T 空间举办,扫描文中海报二维码或点击阅读原文,提交报名信息,以便工作人员为您申请访客入园~注意接收入园短信方便正常进入哦。

报名方式:扫描海报二维码或点击文末左下角【阅读全文】进行免费报名~

Ray 中文社区

Ray 是 UC Berkeley RISELab 针对机器学习领域开源的一种新的分布式计算引擎,用于构建在任何规模下运行的分布式应用。在国内,Ray 中文社区是由蚂蚁集团和 Anyscale 共同运营的针对中国技术爱好者的宣传沟通渠道。

  • GitHub:https://github.com/ray-project/ray
  • Ray 中文问答:https://ray.osanswer.net


蚂蚁技术AntTech
科技是蚂蚁创造未来的核心动力
 最新文章