01
SeaTunnel 安装部署
export version="2.3.3"
wget "https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.tar.gz"
tar -xzvf "apache-seatunnel-${version}-bin.tar.gz"
3 上传seatunnel到/opt/upload
cd /opt/upload
tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz -C /opt/software/
mv apache-seatunnel-2.3.3/ seatunnel-2.3.3
上传seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar到seatunnel_home/lib/
cd /opt/software/seatunnel-2.3.3
./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local
sh bin/install-plugin.sh
sh bin/install-plugin.sh 2.3.3
config/plugin_config
来指定所需的插件。例如,如果你想让示例应用程序正常工作,你将需要connector-console
和connector-fake
插件。你可以修改plugin_config
配置文件,如下所示:--connectors-v2--
connector-fake
connector-console
--end--
${SEATUNNEL_HOME}/connectors/plugins-mapping.properties
下找到所有支持的连接器和相应的plugin_config配置名称。${SEATUNNEL_HOME}/connectors/
目录下。这或许是一个对你有用的开源项目,data-warehouse-learning 项目是一套基于 MySQL + Kafka + Hadoop + Hive + Dolphinscheduler + Doris + Seatunnel + Paimon + Hudi + Iceberg + Flink + Dinky + DataRT + SuperSet 实现的实时离线数仓(数据湖)系统,以大家最熟悉的电商业务为切入点,详细讲述并实现了数据产生、同步、数据建模、数仓(数据湖)建设、数据服务、BI报表展示等数据全链路处理流程。
https://gitee.com/wzylzjtn/data-warehouse-learning
https://github.com/Mrkuhuo/data-warehouse-learning
https://bigdatacircle.top/
项目演示:
02
进交流群添加作者
推荐阅读系列文章
如果喜欢 请点个在看分享给身边的朋友