“芯时代”的高效能存储方案

科技   2024-11-13 10:54   上海  

近日,优刻得受邀参加由半导体CAD联盟主办的张江论坛公益讲座,和数十家芯片半导体公司深入研讨现代芯片设计场景下的高效能存储方案

优刻得存储高级总监鲍琨就现代芯片设计面临的存储新挑战进行了全面而深刻的剖析。

他指出,随着技术节点和设计复杂度的增加,存储和算力需求急剧增长。大型设计项目动辄需占用数PB级的存储空间,而算力需求更是以每年超过20%的速度激增,配备超过50K核心的计算网络正逐渐成为常态。这就需要最大化计算资源的利用率,即最小化CPU/GPU等待时间

针对EDA(电子设计自动化)工作流的特定需求,鲍琨进一步指出,前端设计以高并发、小文件处理为主,元数据操作频繁,需要存储有着极高的IOPS;而后端设计则对高带宽负载及长时间运行任务提出了更高要求需要极高的吞吐量

在此基础上,他概括了EDA存储特征的核心四要素:

一是,随着并行性的持续提升,需实现无缝的性能与容量扩展;

二是,具备处理从高元数据到高带宽等多种工作负载的I/O特性;

三是,能够支撑大型计算集群的高效运行;

四是,能够有效管理海量文件、高效执行删除操作,并维护大型命名空间。

为此,优刻得在现代EDA场景下推出了创新的高效能存储解决方案UPFS通过前沿的存储架构和技术优化,实现了高性能、低成本与高效数据处理能力的完美结合,全面满足了EDA场景下对存储的多元化需求。

优刻得应对EDA存储挑战的创新实践

回顾优刻得在存储领域的创新历程,从云平台的成功上线到高性能文件存储UPFS的推出,优刻得始终保持着领先的技术路径和创新活力,并陆续推出了高IO云主机、公有云CDP系统等系列产品,不断推动存储技术的革新与发展。
优刻得于2023年推出高性能并行文件存储UPFS。该方案不仅支持无缝的性能与容量扩展,还能灵活应对从高元数据到高带宽的各种工作负载,轻松驾驭大型计算集群,高效处理海量文件及删除操作,广泛适用于EDA、大模型训练、渲染、自动驾驶等行业应用场景。
UPFS并行文件存储技术的核心优势体现在以下几个方面:

专用客户端接入:支持类FUSE接入和GDS接入,数据直接在客户端和Chunk之间进行交互,缩短IO路径,带来了更好的时延和吞吐。

独立元数据存储:UPFS采用多副本架构保证系统可用性,其中元数据部分采用独立的分布式元数据架构,所有元数据节点均可承接元数据访问请求,防止元数据热点,提高整体集群的元数据OPS,分散开之后的元数据请求能够充分发挥每一个元数据节点的性能。

高性能数据引擎:使用用户态文件系统管理裸盘,高效的存储资源管理单元,可以充分发挥NVMe SSD的能力。

GDS提升存储性能:支持POSIX协议的自研客户端,能够发挥底层资源的极限性能,例如数据路由算法采用高效的一致性哈希算法,数据直接在客户端和CHUNK之间进行交互,规避了MDS的介入,缩短了IO路径;同时还借助NVIDIA GPU Direct Storage(GDS)技术,减少访问时延、提升数据带宽,单节点的存储读性能接近80GB/s。

UPFS并行文件存储架构
活动现场,与会嘉宾们还探讨了存储硬件和多云架构的发展趋势,为未来的存储技术发展提供了参考。

鲍琨表示,未来SSD容量将大幅提升,但性能并未等比提升,大容量SSD的出现将对全闪存储架构设计提出挑战。同时,受诸多因素影响,在AIGC等新兴应用场景下,训练和推理往往难以在单一数据中心内完成。若是为每个数据中心配备全量数据,不仅成本高昂且管理复杂。因此,实现数据的按需分配与共享,推动多云架构的发展,将成为未来存储技术的重要趋势。

半导体CAD联盟是一个致力于建立交流与进步的半导体行业CAD工程师与IT工程师联盟。围绕EDA环境与工具、CAD与IT技术、信息安全等热门话题,每周组织技术沙龙,邀请领域内的技术专家进行深入探讨,以促进EDA/CAD整体水平提高,进而促进中国IC产业的整体发展。
  热文回顾
1、优刻得算力服务,让你的AI应用部署灵活又安全
2、优刻得模型微调服务,加速AIGC行业场景应用
3、兰州城市学院上云记
4、替代VMware的靠谱方法,终于找到了

优刻得云计算
UCloud优刻得,中国第一家云计算科创板上市公司,服务近5万家消费用户,提供包含公有云、私有云、混合云的全局解决方案。应需而为、快速响应,产品免费试用。立即注册:https://passport.ucloud.cn/#register
 最新文章