近期,苹果推出AI大模型Apple Intelligence,让原本火热的大模型再次成为焦点。
现在,大家使用手机等终端,可以通过大模型赋能的个人助理对话,快速地了解天气、日程安排;用文本生成图片甚至视频;实现语音到语音的实时翻译……大模型正在改变我们的生活。
我们常说,大模型需要大算力。其实,这些AI应用不仅对算力、算法要求高,对数据存储同样要求高。数据正成为新生产要素,是各行各业数字化、智能化转型基石。所以,数据存储也是大模型的基石。
伴随技术发展,以及新应用的涌现,数据存储从硬盘存储,发展到更先进的全闪存。目前,全闪存已在AI、能源、金融、医疗、制造等领域快速普及。
谁将成为全闪存引领者?笔者注意到,6月25日,曙光存储重磅发布全球首个亿级IOPS集中式全闪存储FlashNexus,是业界唯一具备百控级扩展能力的集中式存储产品;还依托全闪技术优化,升级了分布式存储ParaStor,要做最懂AI存储的厂商。
中科曙光存储科技有限公司总裁何振,
分享曙光存储品牌理念
那么,AI大模型对数据存储带来哪些挑战?全闪存发展如何?曙光存储新品如何满足AI时代新需求?我们来解读下。
01
举目眺望:
全闪存时代机遇与挑战并存
随着AI大模型技术快速发展,性能强、高IOPS等场景成为常态,全闪存技术脱颖而出。因为全闪存存得快、存得好。据贝哲斯咨询的预测,全球全闪存阵列市场规模在逐年增长,2023年全球全闪存阵列市场规模达到了108.39亿元,到2029年将增长至392.72亿元。
另据TrendForce集邦咨询研究,2024年一季度全球NAND Flash市场营收环比增长28.1%,达147.1亿美元。TrendForce指出,全闪存收入快速增长背后,主要受益于AI服务器厂商对大容量企业SSD的采购增加。
硬币的另一面是,当全闪存成为新趋势之时,存储行业仍面临诸多挑战。
首先,海量数据带来数据存储挑战。随着物联网和各类智能设备的迅速发展,数据正以前所未有的速度增长。特别是大模型的发展,加速了数据增长趋势。以GPT-3为例,其使用了超过1750亿个参数进行训练。GPT-4更是在120层中总共包含了1.8万亿参数,是GPT-3的10倍以上。
其次,数据种类的多样性挑战。新应用的出现,也导致数据种类走向多样性。结构化数据、半结构化数据和非结构化数据带来了存储以及数据分析的复杂性,要求存储系统能够灵活地应对多变的数据类型。
再次,数据管理更复杂。目前,数据存储管理涉及资源分配、数据备份、灾难恢复等多个方面,其复杂性显著提升。此外,集中式存储资源池与分布式存储资源池协同构建的存储设施,导致数据调用出现孤岛,需打通不同数据存储设施。
第四,数据安全依然难保障。随着各行业拥抱数字化,数据已经成为企业和组织的核心资产,其安全性直接关系到企业的运营、声誉和客户的信任。比如,企业数据中包含客户信息、员工资料等大量敏感信息,一旦这些数据泄露,可能会给企业和个人带来严重的财务损失和声誉损害。同时,如果数据受到攻击或损坏,也可能会导致业务中断和运营损失。
最后,数据存储无法满足大模型等AI发展需求。AI大模型的训练过程需要高效的数据加载和处理能力。但目前大型小文件的加载速度较慢,导致训练集加载效率低下,进而影响模型的训练速度和效果。
此外,数据存储还面临与计算能力存在不匹配问题,导致数据存储成为制约AI大模型发展的瓶颈之一。
02
四把利剑:破解数据存储难题
面对挑战,谁能应对?曙光存储以20年自研能力给出答案:重磅发布的集中式全闪存储FlashNexus,以及升级的分布式全闪存储ParaStor,打造数据存储领域四把利剑,直击行业挑战。我们仔细研究了下此次发布的新品,分享亮点如下。
利剑一:亿级IOPS全闪存阵列,轻松应对数据爆发
曙光存储发布的集中式全闪存储FlashNexus,是业界首个亿级IOPS全闪存阵列,可轻松应对关键业务对存储系统极致性能的需求,并具备业界唯一百控级扩展能力,综合性能领先同类产品50%以上。
如果将数据存储视为一个水池,数据的存储与读取就是这个水池的水流进出水管。集中式全闪存储FlashNexus可让这个“水池”不仅水管直径更粗,而且流速也更快,最终实现数据高效地传输。
中科曙光存储科技有限公司副总裁张新凤,
发布FlashNexus集中式全闪新品
利剑二:芯片级安全,保障数据安全稳定
数据的安全稳定,是实现数字化、智能化的必要前提。曙光集中式全闪存储FlashNexus从芯片层面出发,保障数据安全、稳定。
一方面,曙光集中式全闪存储FlashNexus基于自主研发软件,以及六大关键芯片紧密联动,与国内芯片厂商开放适配,涵盖了处理器、存储控制器、网络控制器等关键部件,打造关键业务安全可控存力平台。
另一方面,曙光集中式全闪存储FlashNexus基于领先的NexusMatrix矩阵互联架构,通过高效、灵活的数据互联方式,极大地提升了系统的可靠性和扩展性,并通过RAID-QC校验技术实时检测数据在存储过程中的变化,及时发现并修复可能存在的数据错误,从而保障了数据的一致性和可靠性,带来99.99999%的业界最高规格的极致可靠性。
利剑三:升级分布式全闪存储ParaStor,做最懂AI的存储
升级的曙光存储产品,基于处理器平台、存储设备、网络平台三大硬件平台,以及存储介质管理、网络管理、软件高阶功能等全栈软件自研实力,让硬件平台达到极致性能。比如,单节点80GB/s带宽,200w IOPS,单流10GB/s等性能可轻松应对AI对数据的需求。
为了做最懂AI的存储厂商,曙光存储的本地内存加速、BurstBuffer加速层、XDS双栈兼容、网络加速、存储节点高速层五级数据加速技术,在搭配全路径AI亲和机制,让数据无需等待,更实现国内外双栈技术生态全兼容,助力数据在异构、异地、云上、云下无障碍流动。
曙光存储“智存”——ParaStor分布式全闪系列升级
利剑四:首创“通存”方案,轻松应对各种数据
面对不同类型数据及存储方式,曙光存储提出“通存”方案,基于同根同源的集中式存储资源池与分布式存储资源池,带来跨形态热温冷数据无感流动,跨域资源池全维度视图,真正实现数据无界流动,打破数据孤岛。针对数据管理难题,曙光存储“通存”方案还能实现跨平台一键式容灾恢复。
全闪存在性能上虽优于传统的硬盘存储,但成本相较于一般硬盘存储产品依然要高许多。曙光存储的“通存”方案可实现存储资源利用率提升30%,数据总拥有成本减少50%,大幅降低企业数据持有成本。
曙光存储首创“通存“方案
03
以“强者恒存”理念,
做先进存力引领者
纵观整个存储行业,曙光这次发布的新品,十分领先。许多人可能要问,为何曙光存储能率先推出全球首个亿级IOPS全闪存阵列?想要回答该问题,我们需要从曙光存储这家企业的发展理念谈起。
曙光存储“强者恒存”品牌理念
曙光存储已在业内发展多年,可谓是行业元老级玩家。回顾曙光存储发展,其一直坚持从实践中来,到产业中去的发展理念,并秉持以“强者恒存”的产业精神,打造了一个个存储行业强存、智存、通存高水平应用。
比如,在分布式存储领域,曙光存储推出的ParaStor系列产品,可满足数据中心、云计算和AI大模型等业务场景对数据存储需求。其中,曙光ParaStor液冷存储系统,填补了国内存储领域液冷产品空白。
又比如,在集中式存储领域,曙光存储本次推出的集中式全闪存FlashNexus系列,打造了全球首个亿级IOPS集中式全闪存储、芯片级稳定安全、首创“通存”方案等利器。
除了创新,在多年具体实践中,曙光存储打造了多个行业标杆案例,以领先存力,为各行业数字化发展,提供强大支撑。
在中国移动建设的存力智能调度体系中,曙光存储提供的一体化存力解决方案,实现数据跨域迁移能力,让不同资源池间数据自由迁移,业务访问无感知。
在中国石油云计算资源池项目中,曙光存储构建的统一云存储资源池,提升数据资源利用效率,保障中石油集团高速发展。
在金融领域,曙光助华夏银行打造新一代对象存储资源池,支撑海量影像文件存储,优化客户数据挖掘与分析效率,助力金融业转型。
曙光协还助气象局建立“气候变化应对决策支撑系统”,采用ParaStor分布式统一存储,满足气象业务峰值运算速度达每秒8189.5万亿次,内存690.43TB,在线存储23PB等数据存储挑战。
在助力高校及科研院所应对数据存储方面,曙光存储采用液冷方案与存算一栈式解决方案,扩展25PB空间,降低能耗30%,PUE降至1.2以下,助力广州国际校区数据中心应对节能减排挑战。
笔者观察:
以研发能力为柱,以深厚经验为梁,筑牢数据存储基石
数据存储设施作为数字基础设施中的关键要素,直接支撑着数字经济的运行和发展,可谓是数字中国建设的基石。
曙光存储此次能适时推出先进存储技术和产品,是因为其不断提升自身研发实力,筑牢数据存储这根支撑数字中国的支柱。目前,曙光在全国拥有5大研发中心,3大国际领先的智能制造生产基地,建设运营了国内多个5A级智算中心,在50多个城市部署了城市云计算中心。作为曙光第二大产品线,曙光存储拥有20余载经验积累,在分布式存储架构、高端全闪存储、融合统一协议支持等关键技术领域获得300余项核心技术发明专利。
我们相信曙光此次新品可以助力数字中国加速发展,持续打造数字中国脊梁,在通信、大模型、气象环保、科教、金融等领域打造了一个个行业标杆。
展望AI大模型的未来,曙光存储此次发布的集中式全闪存FlashNexus系列以及升级的分布式全闪ParaStor系列,将真正筑牢数字中国数据存储基石,加速千行百业数字化进程。
点击下方名片,关注我们↓↓↓
往期推荐
+
+
+
+
+
+
+
+
黄海峰,独立科技评论员,多次接受央视、环球时报、科技日报采访。
ICT行业杂志前副主编,从业十多年,聚焦5G、手机、IoT、光、云、AI、互联网等。
每年与超100位科技行业企业CXO/VP/总监面对面交流。
多年度《中国信息通信行业发展报告》特约撰稿人。
获十大通信行业自媒体、IT科技十佳创作者称号。
覆盖今日头条、百度、新华、人民、搜狐、凤凰、新浪、网易、知乎、腾讯、一点、微博等。
微信号:174455367