天数智芯联合无问芯穹完成智铠GPU百卡推理集群测试与适配,支持多场景大规模实时推理

文摘   2024-12-09 13:42   上海  


近日

天数智芯与无问芯穹达成重要合作,在天数智芯智铠GPU百卡推理集群上成功部署了无问芯穹Infini-AI异构云平台,并实现了多种主流大模型在该推理集群上的全功能适配,并正式对外提供MaaS服务。双方此次合作,旨在协力构建一个以自主芯片为核心的大模型服务生态,进一步推动我国人工智能产业的快速发展。


Infini-AI异构云平台是无问芯穹开发的一个基于多芯片算力底座的一站式大模型开发与服务平台,它打破了传统计算资源的限制,实现了对多种模型和计算卡的全面支持。

天数智芯自主研发的智铠100GPU,支持多种精度数据类型,灵活支持各种模型算法,兼容国内外主流AI生态,满足从基础研究到实际应用的全方位需求。

早在2024年7月,无问芯穹Infini-AI异构云平台就与天数智芯合作,打造了可进行单任务千卡规模异构芯片混合训练的大模型训练平台,千卡异构混合训练集群算力利用率最高达到了97.6%。

在本次合作中,经过双方严格的功能和性能测试,完成了智铠100 GPU产品与无问芯穹Infini-AI异构云平台的全面接入。该集群可灵活支持对话问答、数据标注、内容理解与分析,信息抽取等主流任务场景,满足文本、图片、视频等多场景下的大规模实时推理需求。
大模型平台操作指南

当前,智铠100现已在无问芯穹Infini-AI异构云平台上线,可支持7B-72B参数的模型推理,用于更佳效果的数据生成与处理。Infini-AI是高性能算力和原生工具链平台,其中大模型服务平台可为应用开发者提供各种高性能、易上手、安全可靠的大模型服务,能力覆盖从大模型开发到大模型服务化部署的全流程。现已收录包括Stable Diffusion、Qwen2.5、CogvideoX、Llama3.1在内的多种主流大模型,支持模型一键微调部署、模型与ComfyUI workflow托管等功能。

平台用户可以屏蔽硬件生态影响,通过极少步骤操作调用各种模型API,实现模型的快速部署。同时,还能享受到与国际主流产品相比,具有更高性价比的算力服务。

随着人工智能技术的快速发展及应用场景的拓展,国内大模型技术与应用企业对高可控性、高效能、高性价比、高附加值的算力需求日益迫切。双方此次合作极大地降低了AI应用的技术门槛和使用成本,更为自主芯片在人工智能领域的广泛应用开辟了新的道路。展望未来,天数智芯与无问芯穹将继续全面合作,在智算中心、央国企、互联网等领域,共建AGI时代的大模型算力基座、探索并推动应用普及和创新发展、加速行业的数字化转型步伐。


无问芯穹    



无问芯穹(Infinigence AI)作为国内领先的AI基础设施企业,致力于成为大模型时代首选的算力运营商。依托“多元异构、软硬协同”的核心技术优势,打造了连接“M种模型”和“N种芯片”的“MxN”AI基础设施新范式,实现多种大模型算法在多元芯片上的高效协同部署。无问芯穹Infini-AI异构云平台基于多元芯片算力底座,向大模型开发者提供极致性价比的高性能算力和原生工具链,为大模型从开发到部署的全生命流程降本增效。




天数智芯 / Iluvatar CoreX

天数智芯致力于开发自主可控、国际领先的高性能通用GPU产品,为全产业提供高端算力解决方案。其产品的系统架构、指令集、核心算子、软件栈均为自主研发,可独立发展演进。天数智芯已与行业合作伙伴携手,从源头对设计进行定义,率先实现量产和应用。

天数智芯将打造更可信、更高效、更绿色的世界一流算力引擎,赋能千行百业数字化转型,促进我国数字经济高质量发展。

天数智芯公众号

IluvatarCoreX

长按二维码关注


天数智芯
上海天数智芯半导体有限公司是中国第一家通用GPU高端芯片及超级算力系统提供商,以“成为智能社会的赋能者”为使命,致力于开发自主可控、国际领先的高性能通用GPU产品,推动AI计算与图形渲染融合,打造世界一流的算力引擎。
 最新文章