一个复杂而功能丰富的数据中台项目。它通过多个服务模块的协同工作，实现了数据的管理、处理和服务的提供。
源代码
www.gitpp.com/shan-ai/gpp-data-center
一个完整的数据中台项目，MIT协议，根据协议可商用
以下是对GPP-data-center这个开源数据中台项目的详细介绍：
项目概述
GPP-data-center是一个用于构建数据中台相关服务的开源仓库。它包含多个服务模块以及相关的配置文件、脚本等，旨在通过模块化的设计实现高内聚低耦合的数据中台服务。该仓库支持使用Docker进行容器化部署，方便用户管理和维护整个数据中台系统。
目录结构
.gitignore：用于指定在使用Git进行版本控制时需要忽略的文件和目录，避免不必要的文件被提交到版本控制系统中。
README.md：项目的说明文档，包含项目的基本信息、打包镜像、MySQL连接、redis-cluster安装等相关说明，方便用户快速上手和部署项目。
create_sql.py：Python脚本，可能用于创建数据库相关的SQL语句，帮助用户初始化数据库结构。
design.md：项目设计文档，可能包含项目的架构设计、模块划分、数据流图等内容，为用户提供项目设计思路和实现细节的参考。
docker-compose.yml：用于定义和运行多容器Docker应用的配置文件。它定义了MySQL、ZooKeeper、Kafka、FlinkJobManager等服务的容器配置，包括镜像、端口映射、环境变量等信息，方便用户一键部署整个服务生态。
pom.xml：Maven项目的核心配置文件，用于管理项目的依赖、插件等。部分内容展示了对hive-metastore的依赖以及相关排除配置，确保项目依赖的正确性和避免冲突。
服务模块文件夹：如auth-service、druid-service、eureka-service、gateway-service等，每个文件夹代表一个独立的服务模块，包含该服务的相关代码和配置，实现不同的业务功能。
config文件夹：包含项目的配置文件，如hive-site.xml，其中定义了Hive的相关配置，包括Spark的内存配置、动态分配配置、Hive的ZooKeeper配置等，确保Hive服务的正确运行。
主要功能模块及文件说明
服务模块：
每个服务模块都通过模块化的设计实现高内聚低耦合，提高系统的可维护性和扩展性。
认证服务（auth-service）：负责用户的认证和授权，确保系统的安全性。
数据源服务（druid-service）：提供数据源的连接和管理，支持多种数据库和数据仓库。
服务发现（eureka-service）：实现服务注册和发现，方便微服务之间的调用和通信。
网关服务（gateway-service）：作为API网关，提供统一的接口管理和路由转发，实现前后端分离和微服务之间的解耦。
docker-compose.yml：
MySQL：使用mysql:8.0.30镜像，映射端口3306:3306，设置了MySQL的root密码，挂载了数据卷，方便数据的持久化存储。
ZooKeeper：使用ubuntu/zookeeper镜像，映射端口2181:2181，挂载了数据卷，提供分布式协调服务。
Kafka：使用wurstmeister/kafka镜像，依赖于ZooKeeper，设置了Kafka的相关环境变量（如KAFKA_ADVERTISED_HOST_NAME、KAFKA_MESSAGE_MAX_BYTES等），挂载了数据卷，提供分布式消息队列服务。
pom.xml：
管理项目的依赖，如hive-metastore等，确保项目依赖的正确性和避免冲突。
部分依赖有相关的排除配置，排除了一些不必要的依赖，提高系统的性能和稳定性。
hive-site.xml：
Hive的配置文件，包含Spark和Hive的相关配置。
如Spark的动态分配配置、Hive的ZooKeeper配置、Hive的执行用户设置等，确保Hive服务的正确运行。
Java代码模块：
包含多个Java类和接口，如TenantController、TenantQueueService、SparkQueueResourceService等。
实现了租户管理、队列管理、Spark资源管理等相关功能，为数据中台提供核心的业务逻辑支持。
构建和部署
打包镜像：
可以通过docker build命令构建本地镜像。
然后使用docker tag和docker push命令将镜像推送到镜像服务器，方便在不同环境中部署和运行。
redis-cluster安装：
提供了创建配置数据路径、日志路径以及配置文件的脚本示例。
用户可以根据脚本示例安装redis-cluster，为数据中台提供分布式缓存服务。
总结
GPP-data-center是一个复杂而功能丰富的数据中台项目。它通过多个服务模块的协同工作，实现了数据的管理、处理和服务的提供。同时，使用Docker进行容器化部署，方便用户管理和维护整个系统。该项目不仅提供了详细的目录结构和文件说明，还提供了构建和部署的指南，方便用户快速上手和部署项目。
一个复杂而功能丰富的数据中台项目。它通过多个服务模块的协同工作，实现了数据的管理、处理和服务的提供。
源代码
www.gitpp.com/shan-ai/gpp-data-center
一个完整的数据中台项目，MIT协议，根据协议可商用
