在线研讨会 | NVIDIA AI 加速精讲堂 - FP8 在大型模型训练中的应用、挑战及实践

科技   2024-12-16 17:52   北京  


NVIDIA AI 加速精讲堂

 FP8 在大型模型训练中的

应用、挑战及实践


12 月 18 日,星期三,19:30 — 20:30


活动介绍


在深度学习和人工智能的快速发展背景下,大语言模型 LLM (Large Language Model) 模型的大小和计算复杂性不断增加,业界一直在寻求新的技术和方法在有限资源内提升模型训练和推理效率降低成本。


FP8 技术通过提升计算性能、优化内存使用、简化训练流程以及增强模型适应性,为深度学习领域带来了显著的进步。


本次在线研讨会,邀请来自 NVIDIA 和零一万物的技术专家,分享 FP8 技术加速 LLM 训练的最新进展以及业务实践中的宝贵经验。


参加此研讨会,您将获得以下信息:


  • FP8 训练的原理,收益和收敛性

  • FP8 训练挑战和解决思路

  • FP8 训练 Debug 工具

  • FP8 训练实践经验分享


演讲嘉宾


黄雪

NVIDIA 解决方案架构师


硕士,毕业于哈尔滨工业大学,主要负责深度学习训练方面工作,在深度学习框架、超大规模模型训练,分布式模型训练加速优化等技术方向有丰富的研究经验。


谢文

零一万物 (01.AI)

AI Infra 分布式训练优化架构师


曾先后任职于 NVIDIA、阿里巴巴达摩院、华为云 AI 平台域,有多年性能优化工程经验。


参与方式


识别以下二维码或者点击“阅读原文”注册参加本次在线研讨会。




扫描海报二维码,北京时间 1 月 7 日(星期二)上午 10:30 观看 NVIDIA CEO 黄仁勋在拉斯维加斯现场发表的 CES 开幕主题演讲。



NVIDIA英伟达企业解决方案
NVIDIA,一家全栈计算公司,其一直是加速计算领域的先驱,GPU 驱动了PC游戏市场增长,重新定义现代计算机图形,开启现代AI时代,正在推动工业元宇宙的创造。
 最新文章