华为存储开源开放项目亮相2024开放原子开源生态大会

文摘   2024-09-30 18:38   广东  

近日,由开放原子开源基金会精心组织的2024开放原子开源生态大会在北京成功举行。在本次大会上,以AI、数据备份和数据库存储领域为代表的华为数据存储开源开放项目在大会展区现场亮相,项目旨在深化开源协作,拓宽“AI、数据保护、数据库存储”等领域的技术创新边界,推动存储多领域生态圈的繁荣发展。

华为公司数据存储产品线数据库存储首席架构师曹宇、数据保护领域首席架构师张双民、ModelEngine系统工程师刘淼分别对华为分布式数据方案Cantian、开源备份软件open-eBackup、全流程工具链ModelEngine的核心技术进行深入解读。


存算分离架构加速数据库架构革新


随着企业数字化转型的深入,数据处理的规模和复杂度不断增加,传统的存算一体数据库架构难以应对核心业务的数据处理需求。华为在数据库存储领域不断创新,基于存算分离+共享存储架构开发出可插拔、支持多写多读的数据库存储引擎Cantian,通过采用全局分布式缓存、分布式MVCC、多主集群高可用等核心技术,当前以插件无侵入修改的方式完美接入MySQL生态,并且在运营商、银行、证券等行业的核心业务数据库改造中,具有高性能、高可靠性和低成本的优势。

数据存储产品线数据库存储首席架构师曹宇详解Cantian方案

面向未来,Cantian将持续围绕存算分离架构,构建多模开放的开源技术生态,如融入MariaDB、openGauss等多种数据库生态圈、通过定制客户端实现引擎加速、通过标准文件可对接所有共享存储等等,并规划弹性性扩展多写集群、大缓存加速、高性能日志、容灾及快照备份、同城双活等关键竞争力特性。


开源备份软件,共建繁荣生态


随着AI、大数据等技术的广泛应用,国产数据库、OS蓬勃生长,传统的数据备份方式已无法满足当前的需求。作为国内首款开源开放的备份软件,open-eBackup提供全栈备份能力,已拥有40+主流应用生态框架,具备数据备份、恢复、归档、复制、检索和防勒索全生命周期的保护能力,同时通过标准API对接外部管理平台,实现备份全自动化管理,有力支撑企业级数据保护诉求。

华为数据保护领域首席架构师张双民详解open-eBackup架构设计

中国作为数据大国,提高备份软件能力、研发前沿的数据备份技术对于中国备份产业发展具有重要意义。面向未来,open-eBackup备份软件还会利用AI实现敏感数据智能管理、安全合规治理等创新技术不断提升备份管理效率,通过与数据库伙伴的联合创新方案不断深耕,给客户带来性能更强、效率更高的备份产品。


全流程工具链ModelEngine

加速AI应用落地


数据是AI的基础, ModelEngine可以提供从数据处理、知识生成,到模型微调和部署,以及RAG应用开发、应用部署,为数据处理工程师、模型工程师、应用开发者提供高效易用、开放灵活和开箱即用的全流程AI开发体验。支持FEL大模型标准原语和内置40+算子,使能知识生成从月缩短到天。结合多模知识库,模块化RAG平台快速开发高精准应用,E2E准确度>95%。

华为系统工程师刘淼在人工智能开源开放分论坛分享

未来ModelEngine将不断改进和创新,以满足开发者在不同场景下的多样化需求,加速推动AI赋能千行万业。

开源生态已经成为推动技术创新、促进产业升级的重要力量。面向未来,华为将继续携手产学研用伙伴,不断深耕数据存储技术,共同构建创新、共赢的开源开放生态,为产业智能化升级贡献力量。

点击阅读原文进入华为开源官网了解更多

华为开源
华为开源文化宣传,活动动态推广。
 最新文章