启明星 | 无问芯穹大模型训练引擎助力壁仞科技千卡训练集群效能提升近1倍

企业   2024-11-06 11:47   上海  


日前,两家启明创投投资企业无问芯穹与壁仞科技在千卡训练集群领域取得技术新突破。基于壁仞科技GPU千卡训练集群,结合无问芯穹大模型训练引擎与壁仞科技SUPA软件工具链,双方协力实现了集群训练性能快速优化,成功在壁仞科技GPU集群上,将大语言模型(LLM)训练效能提升近1倍。



无问芯穹大模型训练引擎面向国产集群大规模并行训练性能优化的场景,以公有云平台训练镜像的方式或私有化部署的模式提供服务,可大幅缩短训练时长、提升集群利用率,该引擎支持主流模型结构,兼容多元硬件集群,具备迁移便利、优化快速等优势。


目前,壁仞科技的千卡规模训练集群已成功在无问芯穹Infini-AI异构云平台(cloud.infini-ai.com)上纳管和调度,实现并完整验证了弹性容错、异常节点探测、检查点保存与加载、断点续训四大功能。


此外,壁仞科技的“壁砺106系列”和“壁砺110系列”GPU产品已完成与无问芯穹Infini-AI异构云平台的全面接入。其中,壁仞科技最新发布的高性能、低功耗壁砺110E推理卡也已在Infini-AI异构云平台的大模型服务平台上线。官方数据显示,在大模型推理服务方面,壁砺110E推理卡具有高性能、低功耗的优秀特性,在同机架高度下,AI算力密度最高可达到市场主流云端PCIE8卡服务器方案的1.3倍以上,能耗节省达70%,可显著降低整体系统的总拥有成本(Total Cost of Ownership, TCO)



无问芯穹大模型服务平台基于异构推理加速,为大模型应用开发者提供数据处理、微调、推理等快速便捷的模型调用API,现已上架包括CogVideoX 2B、Llama 3.1 70B、Qwen2 72B、GLM4 9B、Stable Diffusion在内的多种大语言模型、文生图及文生视频模型。当前,通过无问芯穹大模型服务平台调用各种开放API的同时,也已可调用壁砺110E推理卡,支持各种大语言模型、多模态模型的云上推理,为商业级用户业务提供充沛的算力支撑。


凭借长期在多元异构算力激活以及软硬件联合优化等方面的专业深耕,无问芯穹打造了连接“M种模型”和“N种芯片”的“M×N”AI基础设施新范式,已实现多种大模型算法在多元芯片上的高效协同部署,在国产算力集群效能提升技术上积累了显著优势。2024年3月,无问芯穹首次发布了能够支持多种模型在多种芯片上高效推理的异构云平台Infini-AI。今年7月,无问芯穹Infini-AI异构云平台又成为了全球首个支持单任务千卡规模异构芯片混合训练的平台,具备万卡扩展性,支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种芯片在内的大模型混训,可一键发起700亿参数大模型训练。


此次无问芯穹与壁仞科技在壁仞千卡训练集群上联合攻关,取得了近1倍的效能提升,是国产算力生态共建进程中的一座重要里程碑。未来,无问芯穹将与壁仞科技继续携手,在大规模自主可控智能算力集群优化与运营等方面深化合作,进一步提升面向商业化算力客户场景的联合服务能力。


往 期 回 顾


启明星 | 无问芯穹获近10亿元累计融资,启明创投联合领投A轮
对话 | 壁仞科技:高性能通用GPU支撑中国大模型训练与推理 | 世界人工智能大会
启明·硬科技 | 启明创投周志峰:生成式AI产业将从超级模型转向超级应用

启明创投成立于2006年。目前,启明创投旗下管理11只美元基金,7只人民币基金,已募管理资产总额达到95亿美元。自成立至今,专注于投资科技及消费(Technology and Consumer, T&C)、医疗健康(Healthcare)等行业早期和成长期的优秀企业。

截至目前,启明创投已投资超过530家高速成长的创新企业,其中有超过200家分别在美国纽交所、纳斯达克,香港交易所,上交所及深交所等交易所上市,或通过并购等方式退出,有70多家企业成为行业公认的独角兽或超级独角兽企业。

启明创投投资企业中,很多已经成长为各自领域中最具影响力的公司,包括小米集团(01810.HK)、美团(03690.HK)、哔哩哔哩(NASDAQ:BILI, 09626.HK)、知乎(NYSE:ZH, 02390.HK)、石头科技(688169.SH)、优必选(09880.HK)、文远知行(NASDAQ:WRD)、甘李药业(603087.SH)、泰格医药(300347.SZ, 03347.HK)、再鼎医药(NASDAQ:ZLAB, 09688.HK)、康希诺生物(688185.SH, 06185.HK)、Schrödinger(NASDAQ:SDGR)、惠泰医疗(688617.SH)、诺辉健康(06606.HK)、三友医疗(688085.SH)、艾德生物(300685.SZ)、贝瑞基因(000710.SZ)、神州细胞(688520.SH)、圆心科技、康缔亚、信念医药、壁仞科技等。


启明创投
成立于2006年,启明创投以卓越的投资业绩在中国风险投资界享有盛誉。
 最新文章