数智时代,半导体、电子制造、动力电池等先进制造行业企业纷纷推进产线智能化升级,投入大量AOI、X-ray、CCD等智能检测设备进行自动化检测,并产生海量的质检图片、日志等非结构化数据,这些检测数据是制造工厂核心资产之一,需要长期保存以满足下游客户的质量追溯、遵循国家相关质量控制行业标准,以及促进产品质量和工艺改进,如何管理和利用好这些数据成为智造工厂面临的一个新难题。
作为国家高新技术企业、国家级专精特新“小巨人”企业,杉岩数据深耕智能制造场景并提供领先的海量数据存储和管理解决方案,针对制造企业产线检测数据爆发式增长带来的存储、管理和应用挑战,创新性推出行业首款专注检测数据管理的工业软件——检测数据管理系统IDM,该系统提供完善的品质管理、快捷的质量追溯、灵活可视化业务看板等功能,并从数据角度提供数据采集、存储、处理、归档、分析、利用等全生命周期管理功能,帮助企业构建完善的检测数据管理体系,实现产线业务的全面降本、增效、提质。随着产线各类检测数据的迅猛增长,承载检测数据管理系统IDM的基础设施也面临多重算力挑战:
海量数据处理高效处理:大型工厂的数据量往往达到数十PB,文件总数达百亿甚至千亿级,数据量大、数据分散,数据检索抓取慢,周期冗长,耗时耗力;
低延时快速读写:实时检测要求低延迟和快速读写海量数据,未来边缘计算与实时存储结合,确保数据流动与分析的高效性。
考虑到鲲鹏平台高吞吐、低时延、低能耗、高安全等优势,能够很好地满足数据存储和管理业务的要求,杉岩数据携手鲲鹏,共同推进数据存储管理产品的自主创新建设,基于鲲鹏软硬件平台推进原生开发的最佳实践。首批选择杉岩检测数据管理系统IDM中九个核心模块:质量分析、数据加工、设备管理、对象存储、文件/块存储、监控管理、磁盘管理、集群管理等模块,基于鲲鹏原生开发进行技术改造。目前杉岩数据的三款核心软件:检测数据管理系统IDM、海量对象存储MOS、统一存储平台USP均已完成鲲鹏原生开发,并获得Kunpeng NATIVE技术认证。
杉岩IDM基于鲲鹏原生应用开发框架
流水线改造:
鲲鹏DevKit流水线技术栈与杉岩现有DevOps平台充分融合
今年4月,杉岩数据的架构研发团队联合上海鲲鹏·昇腾生态创新中心技术专家组成联合团队,基于鲲鹏服务器、openEuler操作系统和StoneOS 22/23,搭建了持续集成节点,将鲲鹏DevKit流水线技术栈融入自有的产品线DevOps平台,形成新的构建集群,并增加本次IDM V3、USP V6、MOS V6应用的鲲鹏构建流程。
在流水线改造过程中,主要接入了鲲鹏DevKit迁移扫描和亲和性扫描门禁、毕昇编译器、鲲鹏测试框架、性能分析插件、版本漏洞扫描插件等能力,快速检查和修改代码兼容性,同时还能提升版本的性能、测试效率和质量;
改造后的流水线截图
版本迭代:
基于改造后的流水线迭代新版本,读写性能显著提升
代码开发阶段,开发人员使用鲲鹏DevKit IDE提升编码效率,在编程时能智能提示和补全鲲鹏的高性能函数;并扫描历史代码中可使用鲲鹏加速库优化后的函数或汇编指令,提升历史代码改造优化的效率;
代码提交待流水线之后,在兼容性检查门禁自动对软件包及源码的兼容性快速检查,识别不兼容代码,并且参考工具提供的修改建议进行代码优化,节省人工投入;亲和性检查门禁自动检查代码的字节对齐、构建亲和、缓存行对齐等问题,并快速指导代码优化;
在编译构建阶段,通过脚本的配置,能够无感知自动从开源GCC切换至毕昇编译器。毕昇编译器开启O3优化等级,使用鲲鹏亲和优化、CFGO反馈优化以及函数inline优化等性能调优技术,进一步提升应用的运行效率。以USP产品块存储4K随机IO场景为例,通过毕昇编译器进行构建后,4K随机写性能提升13%, 4K随机读性能提升10%。
此外,杉岩数据充分结合鲲鹏硬件、openEuler操作系统和StoneOS 22/23的协同优化,以及鲲鹏BoostKit场景化加速能力,通过KSAL、硬件在线压缩、数据压紧等技术,提升数据处理性能、降低产品CPU消耗,同时优化开发流程,通过鲲鹏软硬件融合加速,杉岩海量对象存储系统MOS的EC纠删码小文件写入性能提升12%,CPU利用率下降16%,磁盘空间利用率提升25%,大大提升数据存储与管理的效率。
目前,杉岩检测数据管理解决方案已广泛应用于新能源、半导体、电子制造等先进制造领域,帮助制造企业解决产线检测数据管理、质量管理等痛点和诉求,实现降本、增效、提质。通过建立更稳定、更安全的软硬件基础,持续攻克海量数据采集、数据存储、数据检索、数据压缩、数据全生命周期管理等诸多重大技术难题,不断迭代数据存管用一体化产品和解决方案,助推新质生产力加速发展。
◆ 往期推荐◆
峰会先知 | 大模型时代的AI开发者都聊些啥?