如何利用Kafka,实时挖掘企业数据的价值?

文摘   2024-09-24 17:05   浙江  
Kafka 作为一个开源的分布式消息系统,因其具备高吞吐和低延迟的强大能力,经常被用于削峰填谷、系统解耦、异步处理等场景。而我们使用 Kafka 的第一步,必然是把我们的业务数据库接到 Kafka,让数据实时流过去,这就需要一个稳定可靠的工具来实现这一需求。在这里,我们推荐 NineData 来做这个事情。


什么是 NineData?

NineData 是玖章算术公司自主研发的云原生智能数据管理平台,是一个纯国产的软件。它提供的数据复制功能专门用于数据源之间的数据迁移与同步,针对于 Kafka,NineData 具备全量数据、增量数据的复制,且投递消息格式为 JSON ,让消息的消费变得更加简单和高效。目前,NineData 支持 MySQL、Oracle、Kafka 的数据实时流转到 Kafka。

这里我们以 Oracle 为例,介绍配置方法。


步骤一:录入 Oracle 和 Kafka

1. 登录 NineData 控制台,单击数据源管理>数据源,然后在页面中单击创建数据源,选择需要录入的数据源。

2. 根据页面提示进行配置,然后单击创建数据源完成创建。


步骤二:配置同步链路

1. 登录 NineData 控制台,单击数据复制>数据复制,然后单击创建复制

2. 根据页面提示配置复制任务,由于我们想要实现实时数据同步,需要在复制类型处额外勾选增量复制

3. 配置完成后启动任务,针对您配置的所有同步对象,NineData 会先对所有的存量数据进行全量迁移,接下来就是实时迁移源端 Oracle 中新增的增量数据,所有新写入的数据都将一条不漏地传递到 Kafka,每当 Oracle 端的增量数据已经全部写入 Kafka,并且没有新的增量数据时,任务面板中的延迟将显示为 0 秒,代表当前 Kafka 中的数据是最新的。


步骤三(可选):配置任务异常告警

在迁移过程中,可能需要系统实时监控任务状态,在任务有异常时即刻通知你。

1. 登录 NineData 控制台,单击数据复制>数据复制,然后单击复制任务名称。

2. 单击右上角的配置告警

3. 输入策略名称,单击保存配置即可。您可以直接使用内置的默认规则,在任务运行失败,或复制延迟大于等于 10 分钟的时候,发送短信提醒您。您也可以自定义创建规则,根据您的需求来进行通知。


下一步

至此,你已经完成了业务系统接入 Kafka 的所有步骤,业务数据将源源不断地从 Oracle 流入 Kafka,接下来你只需要让你的应用从 Kafka 中消费数据,即可实现完整的数据流处理。






NineData
云原生智能数据管理平台,支持60多种数据库!
 最新文章