如何将 MySQL 数据源不停机迁移到 GCP Cloud SQL MySQL

文摘 2024-06-17 11:26 浙江

在云厂商众多的当前市场环境下，各种云在售价、性能、功能、售后等方面都存在较大的差距，很难找到一朵在所有方面都最佳的云，因此，跨云迁移成了许多企业的选择，而本次我们的迁移目标是 Google 的 GCP Cloud SQL MySQL。

先来看下为什么要选 GCP

GCP Cloud SQL 是 Google Cloud Platform（GCP）提供的全托管关系型数据库服务。它提供了可靠、安全的数据库服务，支持基于负载的弹性伸缩，同时提供自动故障转移功能，保证数据库的高可用性，让开发人员专注于应用程序开发，无需再担心底层数据库的各种问题。

换句话说，你只需要掏钱，剩下的交给 GCP，看上去还是挺靠谱的，另外由于是谷歌的产品，想必是有保障的。

跨云迁移存在哪些问题？

我们要做的是跨云迁移，听上去好像很简单，但是实际操作起来还是挺复杂的，由于大部分云厂商提供的配套迁移产品只进不出，即只针对自建库上自身云提供了良好的支持，但对于从自身云迁出的需求，往往无法满足。

出于安全性方面考虑，云数据库通常是封闭的内网环境，在配套迁移产品无法提供迁出支持的前提下，想要迁移数据必须得开启公网访问地址，而这一举动无疑给不法分子提供了攻击数据库的绝佳良机，等待企业的可能会是数据库被攻陷，重要的数据遭到泄露，更有甚者数据直接被清空，多年的经营成果毁于一旦。

除此之外，还有一系列不得不考虑的问题：

业务的可用性：迁移必须在不影响业务的前提下进行，换句话说，迁移时不能停机，那需要考虑的事情就非常多了：存量和增量数据如何完整迁移？如何处理迁移时的性能波动？如何实现应用程序的平滑切换？等等。
表结构初始化及变更联动：当待迁移表数量巨大，且迁移过程中源库发生 DDL 操作的情况下，如何实现高效且稳定的数据库迁移无疑是一大挑战。
迁移数据质量：大规模数据搬迁过程中，如何保障数据一致性；当业务迁移切换异常情况下，如何有效回滚保障业务的可用性。
迁移失败如何止损：不同的云在功能与性能上表现迥异，迁移复杂度较高，当业务出现迁移失败的情况下，如何有效保障业务的可用性也是业务需要考虑的重点问题。

因此，我们需要一个不用开公网、功能全面、稳定、快速、实时监控迁移任务状态，并且保证迁移结果一致性的工具。

怎么解决跨云迁移问题？

那么它说来就来了，NineData 的数据复制功能专门针对上述痛点设计，我们先来看看 NineData 的一些特性：

1. 多云厂商支持

集成各个云厂商的私网环境，迁移无需在云数据库端开启公网访问链接，对于比较不常见的云厂商，还提供了网关功能，同样可以免开公网直接访问到数据库，让迁移链路安全又高效。

2. 迁移过程业务不停机

NineData 提供结构迁移、全量数据迁移及基于 redo log 的 CDC 增量数据迁移能力。在数据库迁移过程中，源端 oracle 可正常提供服务。NineData 可自动完成结构迁移、全量数据迁移，并自动启动 redo log 的实时监听、采集、解析及复制能力，对于源端的增量更新数据会被实时复制到目标端中。

当 NineData 进入到增量数据迁移阶段且复制无延迟时，业务可以在目标端中进行只读验证，并借助 NineData 数据对比工具进行数据一致性验证。业务验证通过后，可进行业务停机切换。由此可见，整个迁移过程业务停机时间非常短。

2. 强劲的复制性能

在数据库迁移过程中，迁移速度无疑是影响业务能否成功切换割接的重要因素。NineData 基于日志分析、智能分片、动态攒批、数据合并、特有数据格式等技术，有效保障全量数据复制、增量数据复制的性能。当前 NineData 全量复制性能高达 200 GB/小时，增量数据复制性能高达 2 万记录/秒。

4. 完善的迁移回滚方案

不同云数据库之间在功能、性能上相差较多，涉及大量的业务改造及性能调优，迁移割接的难度极高。为降低割接失败的风险，通常业务都需要做好割接失败的回滚预案。NineData 提供了 CDC 增量复制能力，支持从源端实时采集、解析日志并同步增量至目标端。

当业务从源端切换到目标端之前，可以在 NineData 搭建一条从目标端实时回流增量数据至源端的复制任务。基于此复制任务，可以将业务割接完成后产生的新数据同步回流至源端，使源端保留完整的业务数据。一旦出现因目标端的功能或性能导致的业务运行问题，可随时将业务回切回源端，有效规避业务迁移故障。

基于上述能力，NineData 可轻松解决不同云厂商之间的迁移问题，下面来看看怎么操作。

步骤一：录入源和目标数据源

1. 登录 NineData 控制台，单击数据源管理>数据源，然后在页面中单击创建数据源，选择需要的云厂商。

2. 根据页面提示，通过私网的方式录入数据源，然后单击创建数据源完成创建。重复此步骤，完成源数据源和目标数据源的录入。

步骤二：配置同步链路

1. 登录 NineData 控制台，单击数据复制>数据复制，然后单击创建复制。

2. 根据页面提示配置复制任务，为保证完整将源端的全量数据和增量数据迁移至目标端，需要在复制类型处勾选结构复制、全量复制和增量复制。

3. 配置完成后启动任务，针对您配置的所有同步对象，NineData 会先对所有的存量数据进行全量迁移，接下来就是实时迁移源端中新增的增量数据，所有新写入的数据都将一条不漏地同步到目标端，每当目标端的增量数据追平源端时，任务面板中会显示延迟 0 秒，代表当前目标端中的数据是最新的。

步骤三（可选）：校验目标端同步数据的完整性

除了同步功能以外，NineData 还提供了同步后源端和目标端同步数据的对比功能，以确保目标端数据的完整性。

1. 登录 NineData 控制台，单击数据复制>数据复制，然后单击步骤二中创建的复制任务 ID。

2. 单击数据对比页签，即可展示对比结果（如果步骤二的任务配置中未勾选开启数据一致性对比，则此处还需要单击开启数据对比）。

3. 您可以在一段时间后，单击页面中的重新对比，校验最新增量数据的同步结果。

步骤四（可选）：配置任务异常告警

由于是长期任务，您可能需要系统实时监控任务状态，在任务有异常时即刻通知您。

1. 登录 NineData 控制台，单击数据复制>数据复制，然后单击步骤二中创建的复制任务 ID。

2. 单击右上角的配置告警。

3. 输入策略名称，单击保存配置即可。您可以直接使用内置的默认规则，在任务运行失败，或复制延迟大于等于 10 分钟的时候，发送短信提醒您。您也可以自定义创建规则，根据您的需求来进行通知。

总结

通过上述步骤，您即可完整地将您的业务数据从其他云迁移到 GCP Cloud SQL MySQL，在增量复制延迟为 0 的前提下，您可以在任何您需要的时间进行业务割接，把业务流量切换到新的云上。

如果您只是需要将 GCP Cloud SQL MySQL 作为一个您业务的多活节点，也可以保留该条迁移链路持续运行，NineData 会保证两端的数据实时保持一致。

至此，您已成功实现了跨云厂商的不停机数据库迁移，最大程度地减少了对线上业务的影响。

http://mp.weixin.qq.com/s?__biz=Mzg5NDg3MjQ0NA==&mid=2247487848&idx=1&sn=d255be57b282f0200a4aa1ec4df19dae

NineData

云原生智能数据管理平台，支持60多种数据库！

最新文章

NineData云原生智能数据管理平台新功能发布｜2024年10月版

如何最大程度降低“去O”的迁移风险？

如何快速生成大量有意义的测试数据？

GOPS全球运维大会成功举办！NineData 叶正盛分享主题：研发协同效率提升5倍以上：多云多源数据库管理最佳实践

本周五，NineData 将亮相 GOPS2024 上海站主论坛

NineData 将亮相 GOPS 全球运维大会上海站，叶正盛将分享《研发协同效率提升5倍以上：多云多源数据库管理最佳实践》演讲

如何实现MySQL异地多活场景

NineData云原生智能数据管理平台新功能发布｜2024年9月版

如何利用Kafka，实时挖掘企业数据的价值？

《中国移动算力网络数据库白皮书》正式发布，NineData叶正盛分享全球数据实时传输技术实践

如何迁移分库分表中的数据？

相约华中科技大学，移动云技术论坛来了！NineData创始人&CEO叶正盛将分享《数据库全球实时传输技术实践》的主题演讲

你的个人敏感信息是怎么泄露的？

NineData云原生智能数据管理平台新功能发布｜2024年8月版

零基础能做Oracle数据库之间的迁移吗？

NineData面向Doris实时数据仓库的应用，高效管理让数据仓库更智能！

企业级数据库 DevOps 最佳实践，通过 NineData 实现高效安全的数据库开发

如何将MySQL迁移到ClickHouse

如何将 MySQL 迁移到 TiDB，完成无缝业务切换？

2024 DTCC大会来了，NineData联合创始人周振兴将分享《企业级数据库DevOps最佳实践》的主题演讲

如何将数据加工后迁移到目标库？

【邀请函】2024 PowerData数字经济-开源行：NineData联合主办，并探讨面向Doris实时数据仓库的应用

如何将 PostgreSQL 的数据实时迁移到 SelectDB？

NineData云原生智能数据管理平台新功能发布｜2024年7月版

如何保证多环境结构变更的一致性？

【限时福利】前10名得3000元门票！2024 DTCC大会来了，NineData即将亮相并带来技术分享

如何通过一条 SQL 变更多个分库分表？

NineData全面支持PostgreSQL可视化表结构设计

第13届PG中国技术大会即将启航，NineData联合创始人周振兴将分享《实时数据同步方案的挑战与实践》的主题演讲

你的数据库真的规范吗？小心这些“潜在风险”！

NineData云原生智能数据管理平台新功能发布｜2024年6月版

如何避免删库跑路？

2024 全球软件研发技术大会来了！NineData创始人&CEO叶正盛将分享《云原生实时数据复制技术原理与实践》主题演讲

6月28日华为云数据库斯享会上海站，NineData技术总监薛晓乐受邀并带来主题分享

6月28日PolarDB开源社区长沙站，NineData联合创始人周振兴将带来《数据库DevOps最佳实践》主题分享

NineData和华为云在一起！

数据归档与清理功能大幅升级，你需要的这里都有

从钉钉到跨境电商领域的技术演变，HHO如何通过NineData实现全球化业务布局

如何将 MySQL 数据源不停机迁移到 GCP Cloud SQL MySQL

市值风云APP装机数百万，借助NineData实现数据高效流通，帮助用户深度剖析1200+上市公司

如何将 SQL Server 数据源不停机迁移到 AWS RDS SQL Server

NineData云原生智能数据管理平台新功能发布｜2024年5月版

如何稳定高效地进行 TiDB 数据导入导出？

NineData蔡冬者参与编写墨天轮《2023年中国数据库行业年度分析报告》正式发布！

如何将 PostgreSQL 数据源不停机迁移到 AWS RDS PostgreSQL

NineData 联合创始人周振兴将参加开源数据库技术沙龙，并和 PolarDB 开源社区一起去娃哈哈带来主题分享！

NineData架构师周金义：ClickHouse 数据管理与同步的关键技术

从延迟到稳定！服务网络覆盖全球的EMCS，借助NineData实现实时数据复制

如何将 MySQL 数据源不停机迁移到 AWS RDS MySQL

2024年8款数据库数据分析能力（TPC-H）真实性能评测，真有100倍差距

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉