一、概述
二、核心特性
1. 分布式架构:DolphinScheduler采用分布式架构设计,可以在集群环境下运行和管理,实现任务的并行执行和高可用性。
2. 任务调度管理:支持多种类型的任务调度,包括定时任务、依赖任务、数据处理任务等,实现任务的自动化调度和执行。
3. 工作流编排:支持复杂的工作流程编排,用户可以通过可视化界面定义和管理工作流,包括任务依赖关系、任务执行顺序等,实现任务之间的数据流转和依赖控制。
4. 任务监控和告警:提供实时的任务监控和告警功能,用户可以及时发现和处理任务执行异常或失败的情况,保障任务的稳定运行。
5. 多租户支持:支持多租户管理,可以对不同用户或组织进行资源隔离和权限控制,确保各租户之间的任务调度和执行互不干扰。
6. 可视化界面:提供直观友好的可视化界面,用户可以通过界面操作进行任务的创建、调度、监控和管理,降低使用门槛,提高用户体验。
7. 灵活的插件机制:具备灵活的插件扩展机制,用户可以根据需求自定义开发和集成各种类型的任务和插件,满足不同场景下的任务调度需求。
三、核心架构
DolphinScheduler的主要角色包括:
MasterServer:采用分布式无中心设计理念,主要负责DAG任务切分、任务提交、任务监控,并同时监听其它MasterServer和WorkerServer的健康状态。
WorkerServer:也采用分布式无中心设计理念,主要负责任务的执行和提供日志服务。
ZooKeeper:系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。
Alert服务:提供告警相关服务。
API接口层:主要负责处理前端UI层的请求。
UI:系统的前端页面,提供系统的各种可视化操作界面。
四、应用场景
五、集成到Jiron数据开发平台
集成背景:
集成方式:
微服务化:将DolphinScheduler作为Jiron平台中的一个微服务模块进行部署和管理,实现与其他微服务的解耦和独立扩展。
API对接:通过DolphinScheduler提供的RESTful API接口,与Jiron平台进行数据交互和流程控制。
界面整合:在Jiron平台的界面中嵌入DolphinScheduler的工作流编辑器和管理界面,实现无缝的用户体验。
权限同步:实现Jiron平台与DolphinScheduler之间的用户权限同步,确保数据安全和访问控制。
打通微服务关系:
服务发现与注册:利用nacos服务注册与发现机制,确保DolphinScheduler微服务能够与其他微服务相互发现和通信。
配置中心:通过nacos配置中心统一管理DolphinScheduler微服务的配置信息,实现配置的动态更新和统一管理。
效果与优势:
提升数据处理效率:通过DolphinScheduler的分布式调度能力,加速数据处理流程,提高数据处理效率。
增强数据治理能力:结合Jiron平台的其他功能,实现数据全生命周期的管理和治理。
优化用户体验:将DolphinScheduler集成到Jiron平台中,为用户提供统一、便捷的数据开发和管理界面。
降低运维成本:通过微服务架构和自动化运维工具,降低系统的运维成本和复杂度。
六、总结
Jiron GitHub 地址
https://github.com/642933588/jiron-cloud
https://gitee.com/642933588/jiron-cloud
欢迎大家送上小星星 ✨