昇思MindSpore开源生态总监 杨滔
昇思MindSpore:大模型原生创新的加速器
技术革新,性能卓越
昇思MindSpore 2.4版本通过长序列并行优化等关键技术,解决了长序列内存瓶颈等问题,提升了万亿MoE模型的训练效率。
原生亲和超节点架构
本次新版本面向超节点架构进行了创新,提升了训练效率,支持从1D到2D、3D的并行效率,通信开销降低30%,提升模型训练时硬件的计算效率。
易用性提升,快速部署
昇思MindSpore提供了昇思大模型套件(MindSpore Transformers),支持30多个主流大模型,并实现开箱即用,套件集成了微调算法和模型的下游任务,支持一键开发,大幅减少大模型开发时间。
灵活编译,高效调试
提供了多级编译技术,追求极致性能的场景可以使用图下沉形式,而面对较大计算资源的场景,可以快速启动任务;无需超大规模集群的硬件资源,通过Dry Run在单卡进行仿真与自动并行策略配置,实现离线调试调优,降低并行策略配置成本、提升开发效率。
科学计算领域,持续领先
在科学计算领域提供了20+个原生的大模型,新增了30多个接口,面向流体力学和化工行业提供了基于昇思MindSpore的全栈解决方案。
携手共创,AI基础软件繁荣生态,赋能千行百业
昇思MindSpore面向政企、金融、运营商、电力、交通等行业提供了端到端的训推一体解决方案,赋能千行百业。生态上,版本下载量超过790万次,合作伙伴数量突破1400+,孵化、适配大模型超过50个,支持学术论文发表1500+篇。
昇思MindSpore开源社区一直致力于开源共创,携手伙伴共建共享共治AI基础软件繁荣生态。当前社区通过激励学术创新、产业创新以及应用创新等行动作为技术创新的支点,推出了论文基金会、原生大模型扶持项目、开发板赋能教程、算法挑战赛等,以赛促学,激励算法创新与应用。同时,昇思MindSpore联合伙伴成立了全国首个昇思生态创新中心,通过生态发展、联合创新、技术支持以及人才培养,打造生态赋能的阵地。
昇思MindSpore始终以不断进化、坚持开放的姿态支持人工智能技术创新,未来,昇思将继续携手学术界、产业界开发者持续探索AI技术的无尽前沿。
End
点击阅读原文,进入华为开源官网了解更多