Seatunnel 如何生成保存点及通过保存点恢复任务 ↗

文摘   2024-11-19 00:00   重庆  
保存点是使用检查点创建的,它是作业执行状态的全局镜像,可以用于作业或 SeaTunnel 的停止和恢复、升级等。

01

生成保存点

要使用保存点, 您需要确保作业使用的连接器支持检查点,否则数据可能会丢失或重复。
确保作业正在运行。
使用以下命令触发保存点:
./bin/seatunnel.sh -s {jobId}
执行成功后,检查点数据将被保存,任务将结束。

这或许是一个对你有用的开源项目data-warehouse-learning 项目是一套基于 MySQL + Kafka + Hadoop + Hive + Dolphinscheduler + Doris + Seatunnel + Paimon + Hudi + Iceberg + Flink + Dinky + DataRT + SuperSet 实现的实时离线数仓(数据湖)系统,以大家最熟悉的电商业务为切入点,详细讲述并实现了数据产生、同步、数据建模、数仓(数据湖)建设、数据服务、BI报表展示等数据全链路处理流程。

https://gitee.com/wzylzjtn/data-warehouse-learning

https://github.com/Mrkuhuo/data-warehouse-learning

https://bigdatacircle.top/

项目演示:

02

使用保存点进行恢复

通过 jobId 使用保存点来恢复作业。
./bin/seatunnel.sh -c {jobConfig} -r {jobId}

04

进交流群群添加作者

推荐阅读系列文章

如果喜欢 请点个在看分享给身边的朋友

大数据技能圈
分享大数据前沿技术,实战代码,详细文档
 最新文章