高性能计算(High Performance Computing,HPC)是指运用有效的算法,快速完成科学研究、工程设计、金融、工业以及社会管理等领域内,具有数据密集型、计算密集型和I/O(数据输入输出)密集型的计算。高性能计算所需的计算能力和存储能力较之PC机高出几十倍到几万倍。典型应用包括:生物工程、新药研制、石油物探、运载器设计(航空航天、舰船、汽车)、材料工程、核爆模拟、尖端武器制造、密码研究和各类大规模信息处理等。目前,以经典HPC为基础的高校科研计算能力平台,正逐步转型为能够兼容HPC需求,并涵盖AI、大数据处理等服务的“智慧计算枢纽”。高性能数据解析(HPDA)技术,通过引入更多历史数据参与深度计算,显著提升了分析的精确度,为HPC行业的未来发展开辟了新路径,并促使行业重心从“计算导向”向“数据导向”转移。HPC信息化平台架构
随着产业的不断演变,存储领域迎来了新的挑战,同时也加速了存储技术的革新进程。存储技术开始扮演加速产业迈向“数据密集型”模式的核心角色,而专业的存储解决方案则成为推动“数据密集型”HPC发展的关键要素。在传统高性能计算(HPC)环境中,受限于技术水平和业务单一性,每个业务系统通常依赖于独立的硬件构建其计算环境,这一时期被称为“计算密集型”阶段。随着HPC技术的不断演进,计算平台的并行处理能力显著增强,业务范围也迅速拓宽,HPC正步入一个全新的“数据密集型”发展阶段。高性能数据分析流程
新兴技术和应用促使数据量与存储周期成倍增长。例如,L4级自动驾驶产生的数据量可达EB级别,是典型的数据密集型业务,通过不断分析这些数据,可以持续提升自动驾驶的智能化水平。气象预测则依赖于历史数据与实时监测数据的综合,数据量越大,预测的准确性越高。同样,医疗企业通过分析更多的历史样本,能够加速新药研发或提供更为精准的医疗服务。数据已成为企业的核心资产,对数据可靠性的要求愈发严格。气象预报的准确性对于防灾减灾至关重要,若数据分析过程中断,将严重影响预测的及时性,进而对生产生活造成重大影响。大型粒子对撞机每次运行成本高昂且准备周期长,产生的数PB级数据一旦丢失,将严重影响科研进度并造成巨大经济损失。从传统的单一负载向混合负载转变。现代科研越来越注重跨学科合作,HPC业务流程的精细化和应用场景的融合使得业务负载更加复杂,不同处理环节对带宽和IOPS(每秒输入输出操作数)的需求并存。例如,在石油勘探中,油藏模拟阶段需要处理大文件,对带宽性能要求较高;而油藏解释阶段则主要处理小文件,对IOPS性能有较高要求。自动驾驶研发过程中,数据采集、导入和标注环节是高带宽负载,而训练环节则需要高IOPS。当前,高校高性能计算平台普遍与AI技术相结合,构建大平台。AI场景对海量小文件进行大量并发读写,对IO性能、带宽和延时都有极高的要求。同时,不同应用对存储的性能和容量需求各异,产生的数据类型也不同,且保存周期也根据需求而有所不同。因此,需要设计一套完善的存储方案,以满足不同数据的性能需求和保存策略,实现全数据生命周期管理。针对用户前端应用的不同数据特性和需求,威努特HPC信息化平台建设方案设计了性能型和容量型两大存储集群,专为HPC与AI业务提供在线存储支持。同时建立归档存储资源池,旨在实现长期保留数据的近线归档,从而打造出一个全面的数据全生命周期管理方案。具体细节如下:威努特HPC信息化平台建设方案
采用全闪分布式存储搭配高性能文件网关,为AI系统提供卓越的高性能存储服务。这一组合能够轻松应对海量小文件的并发读写挑战,满足高IO和低延时的严格要求。借助统一分布式文件系统与SATA HDD,构建具备大容量特性的存储基础架构,并划分为两个资源池。其中,在线存储资源池专为HPC计算节点设计,提供大容量、高带宽的存储服务。通过多节点集群形成的大型文件系统及统一命名空间,有效解决了数据存储与管理的复杂问题。归档存储资源池则专注于近线数据归档服务。对于需要长期保存但访问频率较低的数据,将其迁移至该资源池,并在在线存储中保留存根。当用户需要访问这些数据时,可通过归档系统轻松查找并在线查看。若需将归档数据重新转为在线状态,提供便捷的回迁功能,确保数据能够迅速回到在线存储系统中。利用高速网络作为连接纽带,实现集群内部数据均衡,并为HPC提供高效的服务支持。同时,该网络能够并发响应来自前端HPC、AI计算节点及业务访问的读写请求,通过集群化的性能整合,确保数据访问的性能需求得到满足。分布式统一存储系统不仅支持文件、块、对象协议,还能直接为HPC计算节点提供共享存储池。而全闪存储则通过高性能文件网关,将块数据转换为文件数据,为前端计算节点提供加速的文件访问服务。全闪块存储系统带来极致IOPS表现
相较于传统计算环境模块化扩展受限,扩容过程复杂且需针对各应用环境分别实施,增加了操作难度。威努特分布式存储系统采用了去中心化的分布式架构,具备Scale-out动态扩展功能,能够迅速在线增减节点,充分满足HPC场景下计算与存储需求的持续增长。充分利用NVMe盘提供卓越的I/O性能,并结合软件层的特殊引擎设计、微控制器技术以及轻量级元数据索引等优化手段,使得块存储能够实现四节点千万级IOPS和百微秒级延迟的出色表现;同时,文件存储性能也可达到数十万OPS,充分满足海量小文件并发读写的高性能需求。提供在线、近线和离线三种存储机制,根据业务系统的实际需求,匹配高、中、低三档软硬件解决方案。这不仅能够提升在线存储的访问和管理效率,还能有效降低用户的建设成本。提供副本和纠删码两种数据/集群保护模式,用户可根据应用类型、数据重要性、性能需求以及成本预算等因素,灵活选择配置模式,以实现数据的高可用保护和存储服务的高可用保护。同时系统支持不停机的在线扩展,大大减少了计划内的停机时间。随着边缘计算和大数据应用的不断深入,数据采集、分析和计算求解等任务变得更加复杂。多领域融合已成为HPC的发展趋势,对存储多协议融合的需求也愈发迫切。通过实现文件与对象协议的互通,避免了数据在不同应用间的迁移和搬迁,有效解决了多领域数据共享的协作问题。各类HPC应用场景,HPC/AI/ML/大数据融合应用场景,如
地质勘探:地灾预警、地震资料处理、遥感测绘、油藏模拟……
CAE仿真:流体动力、结构力学、电磁仿真……
科学研究:气象/气候预报、分子动力、量子力学、生物医药……
AI/ML:语音识别、人脸识别、自动驾驶等AI训练……
威努特HPC信息化平台建设架构
威努特HPC信息化平台建设方案兼顾性能型和容量型存储集群需要,实现数据全生命周期的高效管理;全闪块存储架构提供高IOPS性能,有效加速HPC计算效率;支持块/文件/对象存储,满足多源数据共享需要;采用软件定义存储的解决方案,可有效降低总体建设成本,有效满足地质勘探、CAE仿真、科学研究及AI/ML等多元化应用场景需要。渠道合作咨询 田先生 15611262709