AllData数据中台核心菜单四:实时开发

文摘   科技   2024-09-09 08:30   广东  


🔥🔥 AllData可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为工厂,以大模型应用为上游产品,提供全链路数字化解决方案。

开源项目:https://github.com/alldatacenter/alldata

官方文档:https://alldata-document.readthedocs.io

✨社区文档:https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo



「 AllData数据中台 -  主页 


「 实时开发 - 功能描述 


1、AllData实时开发功能基于开源项目StreamPark建设


2、StreamPark提供了一系列快捷 API 和 Connector,开箱即用,作业状态自动追踪,快速完成作业的开发和管理。同时支持 Flink & Spark,无缝支持流式处理和批处理,连接互通,创造无限可能。


3、StreamPark 是一个流处理应用程序开发管理框架,旨在轻松构建和管理流处理应用程序,提供使用Flink 和Spark 编写流处理应用的开发框架和一站式实时计算平台,核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。


4、StreamPark 为流处理作业提供全生命周期支持,从开发到部署,集众多功能于一身,是一站式流处理平台。 



「 实时开发 - 模块功能汇总 



实时开发 - 功能点展示 


「 开发管理 」   项目管理  


「 开发管理 」   作业管理  



CREATE TABLE doris_table (    cid INT,    sid INT,    name STRING,    cls STRING,    score INT,    PRIMARY KEY (cid) NOT ENFORCED) WITH ('connector' = 'doris','fenodes' = '127.0.0.1:8030' ,'table.identifier' = 'test.scoreinfo','username' = 'root','password'='');



CREATE TABLE JDBC_table ( id BIGINT, name STRING, age INT, status BOOLEAN, PRIMARY KEY (id) NOT ENFORCED) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/mydatabase', 'table-name' = 'users', 'username' = 'root', 'password' = '123456');--可选: 'sink.parallelism'='1',--可选: 'lookup.cache.ttl'='1000s',


「 开发管理 」   变量管理  


「 设置中心 」   系统管理  


「 设置中心 」   告警设置  


「 设置中心 」   Flink版本  


「 设置中心 」   Flink集群  


「 设置中心 」   扩展链接  


「 设置中心 」   Yarn队列  


「 系统设置 」   用户管理  


「 系统设置 」   Token管理  


「 系统设置 」   成员管理  


「 系统设置 」   团队管理  


「 系统设置 」   角色管理  


大数据商业驱动引擎
奥零数据科技公司拥有核心产品AllData可定义数据中台,提供多样开源大数据组件模板,快速搭建极致性价比的数据中台。开源项目:https://github.com/alldatacenter/alldata