Dinky提交Flink JAR作业保姆级教程↗

文摘   2024-09-29 00:00   重庆  
上一篇介绍了如何在代码逻辑修改后还能接着最近一次保存的savepoint启动。今天我们再来看如何在Dinky中提交FlinkJar任务。

01

Flink任务打包成jar包

在idea->终端->切换Command Prompt ->使用打包命令打包代码jar包
演示代码可以访问下文github地址进行获取。
mvn clean install

然后在在target目录下面会出现打包好的jar一个是不带依赖(文件名不带executable)的jar包,如果你的Flink集群中有了所有全部依赖jar包,就可以上传这个jar包,如果依赖jar包不全就可以上传打包了依赖的jar包,这里具体需要哪些依赖可以pom文件到底引入了哪些依赖

这或许是一个对你有用的开源项目data-warehouse-learning 项目是一套基于 MySQL + Kafka + Hadoop + Hive + Dolphinscheduler + Doris + Seatunnel + Paimon + Hudi + Iceberg + Flink + Dinky + DataRT + SuperSet 实现的实时离线数仓(数据湖)系统,以大家最熟悉的电商业务为切入点,详细讲述并实现了数据产生、同步、数据建模、数仓(数据湖)建设、数据服务、BI报表展示等数据全链路处理流程。

https://gitee.com/wzylzjtn/data-warehouse-learning

https://github.com/Mrkuhuo/data-warehouse-learning

https://bigdatacircle.top/

项目演示:

02

Dinky注册中心上传jar包到资源

Dinky->注册中心->资源->右键->上传文件

将刚才打包好的文件上传到服务器

03

Dinky数据开发编写代码

Dinky->数据开发->编写以下代码,如果有其他参数可以进行补充,注意用空格隔离就行

set 'execution.checkpointing.interval'='21 s';
EXECUTE JAR WITH ('uri'='rs:/data-warehouse-learning-1.0-SNAPSHOT-executable.jar','main-class'='org.bigdatatechcir.learn_flink.part4_flink_window.GlobalWindowDemo',-- 'args'='compact --warehouse hdfs:///tmp/paimon --database default --table use_be_hours_2''parallelism'='1',);

然后点击启动,发布,如何运维可以文末看我前面的系列文章

04

代码获取

https://gitee.com/wzylzjtn/data-warehouse-learning

https://github.com/Mrkuhuo/data-warehouse-learning

05

文档获取

06

进交流群群添加作者

推荐阅读系列文章

大数据技能圈
分享大数据前沿技术,实战代码,详细文档
 最新文章