GOPS全球运维大会成功举办！NineData 叶正盛分享主题：研发协同效率提升5倍以上：多云多源数据库管理最佳实践

图丨NineData 创始人&CEO叶正盛GOPS主论坛现场演讲

在本次大会上，“GOITI 2024 IT 技术领导力年度颁奖盛典”在GOPS 全球运维大会 2024 · 上海站成功举办。

图丨NineData 获得【2024数据库领域年度明星产品】

• 过去与现在对比：过去以单一主数据库（如 Oracle/MySQL）为主，现在朝着云计算（多云 / 混合云）与多种数据库组合解决方案（多源）发展。这是由于企业数据需求变得更加复杂，包括多模数据（文字、表格、文档、日志等）、多种架构类型（OLTP、HTAP、OLAP）以及不同的 AI 应用场景（图、向量、模型等）。同时，政策合规（如国产化）、成本、技术选型（弹性、AI、分析等）以及避免技术锁定等因素也促使了这种架构的转变。

• 调研企业：我们可以看到，许多企业都已经在采用这种多云多源架构。无论是互联网行业的字节跳动、小红书、米哈游、B 站、小米、理想、小鹏等，还是制造业的格力、美的、海尔等，甚至国际知名企业如 OpenAI、Airbnb、Netflix、宝马、沃尔玛、Spotify、Dropbox、X (Twitter) 等，都在积极探索和应用这种架构，以适应不断变化的市场环境和业务需求。

2.2 数据库分类与生态

• 数据库系统分类：介绍了丰富的数据库系统分类，包括关系型数据库（如 Oracle、MySQL、PostgreSQL 等）、分布式关系型数据库（如 TiDB）、数据仓库（如 Snowflake）、NoSQL 数据库（如 Redis、MongoDB 等）。国产数据库也呈现出百花齐放的态势，如达梦、人大金仓、OceanBase 等。

• 数据库与生态产品：数据库与生态产品紧密相关，涵盖数据库引擎、DevOps 工具、数据流（复制 / 集成）、DBPaaS、BI 等方面。NineData 致力于安全高效地管理无处不在的数据，支持跨云 / IDC 私网连接，提供丰富的数据源和云平台支持。

NineData 有两个理念，分别是 AnyWhere 和 AnyData，致力于帮助帮助客户实现安全高效的管理无处不在的数据：

AnyWhere：在 2021 年开始这项工作时，遇到很多客户有多云和混合云的需求，即数据既在云上又在本地 IDC。NineData 的理念是能够将所有主流的云平台串联起来，目前与移动云合作，看到许多客户从其他云逐渐迁移到移动云，也有从 IDC 迁移到移动云的情况，中间可能会处于混合云状态。

AnyData：由于数据库种类越来越多，尤其是中国有几十上百种国产数据库，NineData 的理念是希望能够实时连接各种数据库。

NineData作为新一代的云原生智能数据管理平台，提供了数据复制、数据库 DevOps、数据备份以及数据对比等多种功能，帮助用户轻松实现混合云、多云数据源的统一管理。通过这些功能，可以轻松完成日常数据库开发、数据安全访问、生产数据库变更与发布、数据库备份恢复、数据迁移、容灾多活、数据仓库及数据湖构建等核心应用场景。

4.1 典型场景

• 容灾场景：包括上海与北京之间、阿里云与 AWS 之间以及云与 IDC 之间的数据复制容灾。

• 实时数据迁移场景：涉及上云 / 国产化过程中的数据迁移，如 MySQL 到 RDS、Oracle 到 PG、MongoDB 到 MongoDB 等。

• 数据对比场景：包括结构对比、数据对比以及差异数据订正。

• ETL 场景：如 Oracle 到 Doris、MySQL 到 ClickHouse、MySQL 到 TiDB 等 ETL 操作。

4.2 架构与特点

• 架构介绍：NineData 数据复制架构包含增量数据捕获、增量写入、数据传输队列、全量数据复制（映射 / 过滤等）、结构复制（table/view/procedure 等）、任务配置、日志与监控、子任务协同等模块。

• 特点分析

• 远距离传输：具备远距离实时数据传输能力，可满足东数西算和全球业务需求，能够实现超远距离（>10000 公里）实时传输，在行业内处于领先地位。

• 强劲性能：性能强劲，达到 10 万 RPS，为数据复制提供高效的处理能力。

• 丰富数据源：支持 60 多种数据源，满足不同企业的多种数据来源需求。

• 跨云内网传输：业界首创跨云内网传输功能，为企业数据在不同云环境之间的传输提供了便利。

4.3 对比优势

与 Canal、FlinkCDC、某云 DTS 等相比，NineData 核心定位为多云多源实时数据复制。在数据源数量上具有优势（60 种对比其他产品的 9 - 18 种），在全量和增量数据迁移、结构迁移、数据对比等方面表现更优。其他产品存在仅支持特定数据库或需要二次开发、易用性和稳定性差、非云中立等不足。

5.1 研发协同挑战与解决方案

• 挑战：数据库研发协同面临安全稳定、开发效率等挑战，涉及应用开发者和 DBA（OPS）之间的协作问题，如变更发布、监控告警、诊断优化、慢 SQL 治理等方面存在困难。

• 解决方案：NineData 提供了专业解决方案，具有多云、多数据库支持（60 种），云中立且支持主流云平台，支持本地一键安装部署，具备更灵活的 DevOps 业务模型以及 AI 大模型创新等特点。

5.2 核心功能

5.2.1 数据安全

• 权限管控与规范：提供细粒度权限管控、安全规范约束，对敏感数据进行保护，并进行操作审计。

• 敏感数据处理：能够自动发现常见敏感数据类型（如手机号码、电子邮箱、银行卡、密码信息、车牌号等），支持多种遮掩算法（如基础全遮掩、适用手机的中间遮掩、使用邮箱的前缀遮掩、加密遮掩、定制遮掩等），同时提供完整的 SQL 审计和操作审计，以及列粒度权限控制。

5.2.2 高效协作

• AI 集成：集成 AI 大模型，包括规范与流程管理、版本管理、CI/CD 集成等。基于 AI 大模型的 SQL 开发 IDE 可提升研发协同效率 5 倍，具有智能提示、ChatDDA、Text2SQL 等功能。还支持通用大模型接入，实现智能 SQL 优化、数据库 Schema 智能转换、数据库辅助代码生成、代码解读、SQL 智能审核、存储过程转换、代码错误修复、文档生成等多种功能。

5.2.3 领先的数据库运维功能

• 开发环节：涵盖数据库设计、数据查询、数据变更、导入导出等方面。

• 测试环节：包括测试环境发布、测试数据生成、SQL 智能审核等。

• 生产环节：涉及 SQL 变更发布、历史数据归档、数据追踪、慢 SQL 治理等。其中首创自动数据归档与清理功能，支持多种数据库类型和调度方式（单次、周期调度），并提供归档、清理、归档 + 清理多种策略选择

6.1 中国移动云数据复制

• 问题与挑战

• 自身有大量数据需同步，且要为其客户提供数据复制产品。应用场景复杂，包括迁移上云、跨云迁移、跨区域迁移、数据容灾、异地多活等。网络环境复杂，涉及 Region 内部 / Region 之间以及与其他云厂商和客户自有系统之间的链路。

• 使用成效

• 每天稳定运行数百条数据链路，通过 NineData 双向复制构建了超长距离（超过 1000 公里）的异地多活集群，支撑业务高稳定运行。

6.2 某银行数据库国产化迁移同步

• 核心需求：去 O、国产化数据库选型、数据同步质量与性能等。

这里介绍 NineData 在银行数据库国产化迁移的实践，这个例子是将 Oracle 同步到各种新的数据库，包括开源和国产的数据库，并且还涉及国产数据库的同步和迁移到新的数据库平台。

6.3 沃尔沃数据库 DevOps

• 需求背景

• 拥有数百数据库实例和近千研发人员，涉及阿里云和华为云，从 DMS 全部迁移到 NineData，面临保障不同研发人员构建规范生产环境、保障生产环境变更符合稳定性规范以及提供相似使用和访问体验等挑战。

• 解决方案与成效

• 通过统一访问与权限管理（SSO）、规则规范、数据库变更管理、数据变更与备份、Online DDL/DML 等多种措施，支持多种不同数据库，实现了每天自动化完成数百次变更发布。

6.4 绿城中国数据库 DevOps

• 问题描述

• 存在数据库变更随意导致生产环境业务连续问题，开发人员习惯和经验不同导致生产环境字段、索引、注释混乱，数十家供应商和数百研发人员的数据库权限管理混乱等问题。

• 解决措施

• 采用统一访问与权限管理、数据库变更管理、规则规范、可视化结构设计、数据变更与备份、Online DDL/DML 等措施，支持多种不同数据库，管理数十家软件供应商数据库操作。

6.5 MiniMax 数据库 DevOps

• 情况介绍

• 1 个 DBA 管理数百个数据库，4 朵云数百个数据库接入，1 个月完成数据库 DevOps 在公司全面上线。