昇思亮相开放原子开源生态大会:原生支持超节点,助力大模型加速训练

文摘   2024-09-30 18:38   广东  



9月25日~27日,由开放原子开源基金会主办的2024开放原子开源生态大会在北京开幕,大会以“开源赋能产业,生态共筑未来”为主题,来自产学研用各领域的千余位代表现场出席大会。在本次大会中,昇思MindSpore开源生态总监杨滔以《昇思2.4版本加速大模型原生创新》为题做分享。昇思MindSpore再次突破创新的边界,推出了全新2.4版本,这一版本不仅加速了大模型的原生创新,还进一步推动了AI软硬件协同技术发展。


昇思MindSpore开源生态总监 杨滔





昇思MindSpore:大模型原生创新的加速器


技术革新,性能卓越

昇思MindSpore 2.4版本通过长序列并行优化等关键技术,解决了长序列内存瓶颈等问题,提升了万亿MoE模型的训练效率。


原生亲和超节点架构

本次新版本面向超节点架构进行了创新,提升了训练效率,支持从1D到2D、3D的并行效率,通信开销降低30%,提升模型训练时硬件的计算效率。


易用性提升,快速部署

昇思MindSpore提供了昇思大模型套件(MindSpore Transformers),支持30多个主流大模型,并实现开箱即用,套件集成了微调算法和模型的下游任务,支持一键开发,大幅减少大模型开发时间。


灵活编译,高效调试

提供了多级编译技术,追求极致性能的场景可以使用图下沉形式,而面对较大计算资源的场景,可以快速启动任务;无需超大规模集群的硬件资源,通过Dry Run在单卡进行仿真与自动并行策略配置,实现离线调试调优,降低并行策略配置成本、提升开发效率。


科学计算领域,持续领先

在科学计算领域提供了20+个原生的大模型,新增了30多个接口,面向流体力学和化工行业提供了基于昇思MindSpore的全栈解决方案。





携手共创,AI基础软件繁荣生态,赋能千行百业


昇思MindSpore面向政企、金融、运营商、电力、交通等行业提供了端到端的训推一体解决方案,赋能千行百业。生态上,版本下载量超过790万次,合作伙伴数量突破1400+,孵化、适配大模型超过50个,支持学术论文发表1500+篇。


昇思MindSpore开源社区一直致力于开源共创,携手伙伴共建共享共治AI基础软件繁荣生态。当前社区通过激励学术创新、产业创新以及应用创新等行动作为技术创新的支点,推出了论文基金会、原生大模型扶持项目、开发板赋能教程、算法挑战赛等,以赛促学,激励算法创新与应用。同时,昇思MindSpore联合伙伴成立了全国首个昇思生态创新中心,通过生态发展、联合创新、技术支持以及人才培养,打造生态赋能的阵地。


昇思MindSpore始终以不断进化、坚持开放的姿态支持人工智能技术创新,未来,昇思将继续携手学术界、产业界开发者持续探索AI技术的无尽前沿。


End

点击阅读原文进入华为开源官网了解更多


华为开源
华为开源文化宣传,活动动态推广。
 最新文章