01
Flink任务打包成jar包
mvn clean install
然后在在target目录下面会出现打包好的jar。一个是不带依赖(文件名不带executable)的jar包,如果你的Flink集群中有了所有全部依赖jar包,就可以上传这个jar包,如果依赖jar包不全就可以上传打包了依赖的jar包,这里具体需要哪些依赖可以看pom文件到底引入了哪些依赖。
这或许是一个对你有用的开源项目,data-warehouse-learning 项目是一套基于 MySQL + Kafka + Hadoop + Hive + Dolphinscheduler + Doris + Seatunnel + Paimon + Hudi + Iceberg + Flink + Dinky + DataRT + SuperSet 实现的实时离线数仓(数据湖)系统,以大家最熟悉的电商业务为切入点,详细讲述并实现了数据产生、同步、数据建模、数仓(数据湖)建设、数据服务、BI报表展示等数据全链路处理流程。
https://gitee.com/wzylzjtn/data-warehouse-learning
https://github.com/Mrkuhuo/data-warehouse-learning
https://bigdatacircle.top/
项目演示:
02
Dinky注册中心上传jar包到资源
将刚才打包好的文件上传到服务器
03
Dinky数据开发编写代码
Dinky->数据开发->编写以下代码,如果有其他参数可以进行补充,注意用空格隔离就行
set 'execution.checkpointing.interval'='21 s';
EXECUTE JAR WITH (
'uri'='rs:/data-warehouse-learning-1.0-SNAPSHOT-executable.jar',
'main-class'='org.bigdatatechcir.learn_flink.part4_flink_window.GlobalWindowDemo',
-- 'args'='compact --warehouse hdfs:///tmp/paimon --database default --table use_be_hours_2'
'parallelism'='1',
);
然后点击启动,发布,如何运维可以文末看我前面的系列文章
04
代码获取
https://gitee.com/wzylzjtn/data-warehouse-learning
https://github.com/Mrkuhuo/data-warehouse-learning
05
文档获取
06
进交流群群添加作者