通用计算机控制General Computer Control(GCC)智能体的颠覆式创新,以及Sora等AIGC应用的火爆,昭示着通用人工智能(AGI)的巨大应用潜力,AGI赋予了人工智能自我学习、自我改进、自我调整的能力,从而能够在更广泛的任务中模仿并代替人类智能行为。AGI的创新与落地依赖于大模型的快速发展,而大模型的训练激发了对于海量数据的存储、管理、处理需求,这就需要高性能、高容量、高扩展的数据全生命周期存储解决方案。为满足AGI在存储性能、数据全生命周期存管用等方面的需求,宏杉科技推出了AGI万象分布式存储解决方案,并在智源研究院等客户中实现了深度落地。
携手智源研究院,深度赋能AGI应用
宏杉科技深度参与建设智源研究院超大规模人工智能模型训练平台,面向大规模人工智能模型训练、推理需求,宏杉科技为智源研究院提供了基于万象全闪分布式存储的高性能数据存储方案,具备高性能的增强型存储协议、大规模的分布式集群扩展算法、全闪存的优化配置、Infiniband+RDMA的高性能网络支持以及多项行业领先的存储软硬件技术,为智源研究院人工智能研究和应用保驾护航。
宏杉科技通过120节点的万象全闪分布式存储,打造高性能数据存储系统,全闪容量达16PB,全闪性能达到200W级别IOPS,带宽逾百GB/s,集群文件数量超百亿,为智源大模型训练提供海纳数据、超高性能的存力服务。
高性能、易管理,助力释放AGI潜能
宏杉科技AGI万象分布式存储解决方案,采用高性能的并行文件系统,通过自研的增强型存储协议客户端支持大规模并行文件系统的部署,同时支持前端分片、小文件聚合、分布式字节锁等功能,提供极高的文件系统性能。在顺序读取大量小文件时,内存命中率超过96%,有效缩短了IO路径,降低了磁盘操作次数及数据访问延迟。
万象分布式存储还支持Infiniband+RDMA和Ethernet+RocE两种高性能、低延时网络部署方式,以及全NVMe SSD部署,在网络协议与硬件架构方面显著提升了存储性能上限。数据能够绕过CPU,直接传输到对端内存,避免多次的数据拷贝,同时减少了CPU占用,提升吞吐量、降低延时。
伴随着人工智能科技革新,AGI产业逐渐迎来爆发期,数据已成为智能时代的基础要素。宏杉科技致力于构建高性能、高扩展、易管理的存储系统,以先进存力帮助用户构建自身AI业务,助力千行百业抢跑AGI时代。