Seatunnel 快速安装详细步骤↗

文摘   2024-11-13 00:12   重庆  
SeaTunnel是一个非常易用、超高性能的分布式数据集成平台,支持实时海量数据同步。每天可稳定高效同步数百亿数据,已被近百家企业应用于生产。今天我们来看如何快速部署Seatunnel。

01

SeaTunnel 安装部署

1 准备工作
在开始本地运行前,您需要确保您已经安装了SeaTunnel所需要的以下软件:
安装Java (Java 8 或 11, 其他高于Java 8的版本理论上也可以工作) 以及设置 JAVA_HOME。
2 下载 SeaTunnel 发行包
进入SeaTunnel(https://seatunnel.apache.org/download)下载页面下载二进制安装包seatunnel-2.3.3-bin.tar.gz
或者您也可以通过终端下载:
export version="2.3.3"wget "https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.tar.gz"tar -xzvf "apache-seatunnel-${version}-bin.tar.gz"

3 上传seatunnel到/opt/upload

4 解压seatunnel到/opt/software
cd /opt/uploadtar -zxvf apache-seatunnel-2.3.3-bin.tar.gz -C /opt/software/
5 重命名seatunnel
mv apache-seatunnel-2.3.3/ seatunnel-2.3.3
6 上传seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar
上传seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar到seatunnel_home/lib/

7 启动 seatunnel
cd /opt/software/seatunnel-2.3.3./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local
8 查看结果
如图所示即安装成功

9 下载连接器插件
从2.2.0-beta版本开始,二进制包不再默认提供连接器依赖,因此在第一次使用时,您需要执行以下命令来安装连接器:(当然,您也可以从 Apache Maven Repository(https://repo.maven.apache.org/maven2/org/apache/seatunnel/) 手动下载连接器,然后将其移动至connectors/seatunnel目录下,如果是2.3.5之后则需要放入connectors/目录下)。
sh bin/install-plugin.sh
如果您需要指定的连接器版本,以2.3.3为例,您需要执行如下命令:
sh bin/install-plugin.sh 2.3.3
通常情况下,你不需要所有的连接器插件。你可以通过配置config/plugin_config来指定所需的插件。例如,如果你想让示例应用程序正常工作,你将需要connector-consoleconnector-fake插件。你可以修改plugin_config配置文件,如下所示:
--connectors-v2--connector-fakeconnector-console--end--
您可以在${SEATUNNEL_HOME}/connectors/plugins-mapping.properties下找到所有支持的连接器和相应的plugin_config配置名称。
注意:如果您想通过手动下载连接器的方式来安装连接器插件,则需要下载您所需要的连接器插件即可,并将它们放在${SEATUNNEL_HOME}/connectors/目录下。

这或许是一个对你有用的开源项目data-warehouse-learning 项目是一套基于 MySQL + Kafka + Hadoop + Hive + Dolphinscheduler + Doris + Seatunnel + Paimon + Hudi + Iceberg + Flink + Dinky + DataRT + SuperSet 实现的实时离线数仓(数据湖)系统,以大家最熟悉的电商业务为切入点,详细讲述并实现了数据产生、同步、数据建模、数仓(数据湖)建设、数据服务、BI报表展示等数据全链路处理流程。

https://gitee.com/wzylzjtn/data-warehouse-learning

https://github.com/Mrkuhuo/data-warehouse-learning

https://bigdatacircle.top/

项目演示:

02

进交流群添加作者

推荐阅读系列文章

如果喜欢 请点个在看分享给身边的朋友


大数据技能圈
分享大数据前沿技术,实战代码,详细文档
 最新文章