Dinky这个功能极其重要但经常被忽略↗

文摘   2024-09-28 00:00   重庆  
上一篇介绍了如何使用Dinky进行Flink任务运维,今天我们来看如何在代码逻辑修改后还能接着最近一次保存的savepoint启动。在进行以下操作时,确保通过savepoint停止了Flink任务。

01

Dinky进行作业参数配置

为了保证Flink代码修改后任务还能够正常从savepoint启动,我们需要在代码中配置允许跳过无法还原的保存点状态
set 'execution.savepoint.ignore-unclaimed-state' = 'true';

代码写完以后不着急启动,直接点击发布按钮,就可以将代码替换成最新版本,然后回到作业运维版本进行代码重启;

这或许是一个对你有用的开源项目data-warehouse-learning 项目是一套基于 MySQL + Kafka + Hadoop + Hive + Dolphinscheduler + Doris + Seatunnel + Paimon + Hudi + Iceberg + Flink + Dinky + DataRT + SuperSet 实现的实时离线数仓(数据湖)系统,以大家最熟悉的电商业务为切入点,详细讲述并实现了数据产生、同步、数据建模、数仓(数据湖)建设、数据服务、BI报表展示等数据全链路处理流程。

https://gitee.com/wzylzjtn/data-warehouse-learning

https://github.com/Mrkuhuo/data-warehouse-learning

https://bigdatacircle.top/

项目演示:

02

Dinky重启Flink任务

在数据开发版本,进行新的代码发布后,就可以在运维中心板块进行任务重启了,找到对应的任务,点击重新启动进行任务重启。

然后会看到提示框,让选择从最近checkpoint还是savepoint启动,我们这里选择从savepoint

点击运维中心板块,选择对应的任务,点击版本信息,就能够看到现在运行的就是我们提交的最新的代码。

03

Dinky如何回退版本

在数据开发版本右侧历史版本地方,可以选择之前的历史版本进行版本回退。

然后进行代码发布及任务重启等操作。

04

代码获取

https://gitee.com/wzylzjtn/data-warehouse-learning

https://github.com/Mrkuhuo/data-warehouse-learning

05

文档获取

06

进交流群群添加作者

推荐阅读系列文章

大数据技能圈
分享大数据前沿技术,实战代码,详细文档
 最新文章