什么是 NineData?
NineData 是玖章算术公司自主研发的云原生智能数据管理平台,是一个纯国产的软件。它提供的数据复制功能专门用于数据源之间的数据迁移与同步,针对于 Kafka,NineData 具备全量数据、增量数据的复制,且投递消息格式为 JSON ,让消息的消费变得更加简单和高效。目前,NineData 支持 MySQL、Oracle、Kafka 的数据实时流转到 Kafka。
步骤一:录入 Oracle 和 Kafka
1. 登录 NineData 控制台,单击数据源管理>数据源,然后在页面中单击创建数据源,选择需要录入的数据源。
2. 根据页面提示进行配置,然后单击创建数据源完成创建。
步骤二:配置同步链路
1. 登录 NineData 控制台,单击数据复制>数据复制,然后单击创建复制。
2. 根据页面提示配置复制任务,由于我们想要实现实时数据同步,需要在复制类型处额外勾选增量复制。
3. 配置完成后启动任务,针对您配置的所有同步对象,NineData 会先对所有的存量数据进行全量迁移,接下来就是实时迁移源端 Oracle 中新增的增量数据,所有新写入的数据都将一条不漏地传递到 Kafka,每当 Oracle 端的增量数据已经全部写入 Kafka,并且没有新的增量数据时,任务面板中的延迟将显示为 0 秒,代表当前 Kafka 中的数据是最新的。
步骤三(可选):配置任务异常告警
在迁移过程中,可能需要系统实时监控任务状态,在任务有异常时即刻通知你。
1. 登录 NineData 控制台,单击数据复制>数据复制,然后单击复制任务名称。
2. 单击右上角的配置告警。
3. 输入策略名称,单击保存配置即可。您可以直接使用内置的默认规则,在任务运行失败,或复制延迟大于等于 10 分钟的时候,发送短信提醒您。您也可以自定义创建规则,根据您的需求来进行通知。
下一步