宏杉科技AGI万象分布式存储解决方案,助力智源研究院加速创新

科技   2024-04-03 17:17   浙江  
通用人工智能(AGI)在智能驾驶、自然语言编程、AI for Science等领域有着巨大的发展潜力。作为国内最早开展大模型研究的科研机构之一,北京智源人工智能研究院(简称“智源研究院”)聚焦人工智能领域战略性、原创性、前瞻性研究与技术攻关,并在通用计算机控制等方面取得了重大突破。

通用计算机控制General Computer Control(GCC)智能体的颠覆式创新,以及Sora等AIGC应用的火爆,昭示着通用人工智能(AGI)的巨大应用潜力,AGI赋予了人工智能自我学习、自我改进、自我调整的能力,从而能够在更广泛的任务中模仿并代替人类智能行为。AGI的创新与落地依赖于大模型的快速发展,而大模型的训练激发了对于海量数据的存储、管理、处理需求,这就需要高性能、高容量、高扩展的数据全生命周期存储解决方案。为满足AGI在存储性能、数据全生命周期存管用等方面的需求,宏杉科技推出了AGI万象分布式存储解决方案,并在智源研究院等客户中实现了深度落地。

携手智源研究院,深度赋能AGI应用

智源研究院作为国内AGI领域的先行者,汇集国际顶尖人工智能学者,聚焦核心技术与原始创新,催生了通用计算机控制智能体框架Cradle等大量具有重要影响力的技术成就,这既来源于其在大模型方面的雄厚技术创新实力,同时也有赖于在存力资源方面的深度布局:大模型需要对海量数据进行训练、推理,因此需要大容量、高性能、高扩展、高可靠的存储系统作为支撑,以消除大模型训练的存储瓶颈。

宏杉科技深度参与建设智源研究院超大规模人工智能模型训练平台,面向大规模人工智能模型训练、推理需求,宏杉科技为智源研究院提供了基于万象全闪分布式存储的高性能数据存储方案,具备高性能的增强型存储协议、大规模的分布式集群扩展算法、全闪存的优化配置、Infiniband+RDMA的高性能网络支持以及多项行业领先的存储软硬件技术,为智源研究院人工智能研究和应用保驾护航。

宏杉科技通过120节点的万象全闪分布式存储,打造高性能数据存储系统,全闪容量达16PB,全闪性能达到200W级别IOPS,带宽逾百GB/s,集群文件数量超百亿,为智源大模型训练提供海纳数据、超高性能的存力服务。

高性能、易管理,助力释放AGI潜能

宏杉科技AGI万象分布式存储解决方案,采用高性能的并行文件系统,通过自研的增强型存储协议客户端支持大规模并行文件系统的部署,同时支持前端分片、小文件聚合、分布式字节锁等功能,提供极高的文件系统性能。在顺序读取大量小文件时,内存命中率超过96%,有效缩短了IO路径,降低了磁盘操作次数及数据访问延迟。

万象分布式存储还支持Infiniband+RDMA和Ethernet+RocE两种高性能、低延时网络部署方式,以及全NVMe SSD部署,在网络协议与硬件架构方面显著提升了存储性能上限。数据能够绕过CPU,直接传输到对端内存,避免多次的数据拷贝,同时减少了CPU占用,提升吞吐量、降低延时。

在简化管理方面,宏杉科技万象系列分布式存储为超大规模人工智能模型训练平台提供了全套的API接口,完全嵌套进AI平台的管理系统当中。用户可通过自己的管理平台对存储的资源分配、性能监控、设备维护等进行管理,无需登录存储系统。此外,万象分布式存储还具备跨协议共享功能,可根据用户需要通过S3、NFS、CIFS、HDFS和自有增强型文件协议进行资源共享,实现AGI研究和应用的全流程数据生命周期管理。
通过宏杉科技万象系列分布式存储,包括智源研究院在内的诸多客户能够对于海量的多模态数据进行“采集-导入-处理-训练-存储”的全生命周期管理,从而强化模型训练,助力释放AGI潜能。

伴随着人工智能科技革新,AGI产业逐渐迎来爆发期,数据已成为智能时代的基础要素。宏杉科技致力于构建高性能、高扩展、易管理的存储系统,以先进存力帮助用户构建自身AI业务,助力千行百业抢跑AGI时代。

宏杉科技
杭州宏杉科技股份有限公司成立于2010年5月,是全球少数具有高端存储研发能力的专业存储厂商之一,拥有SAN、分布式、备份、云及超融合产品线,为中国用户提供企业级数据存储和管理解决方案,是值得信赖的一站式数据存储专家。
 最新文章