【案例+PPT】普元信息臧一超:海量数据下“流批一体”的数据平台演进路线

科技   科技   2024-04-17 15:32   上海  

“数据中台新范式”云端峰会,深入解析湖仓一体、批流一体、治理与运营“三位一体”的数据中台新范式特征,普元信息数智研究院副院长臧一超在峰会发表演讲《海量数据下的高性能流批一体数据开发平台》。

18分钟完整回放视频见文末,拎几个特别精彩的内容给大家,添加元宝微信,还可获取完整PPT:

1、三个关键痛点
技术角度依赖多种工具引擎、开发/测试/生产多套环境不易维护、数据开发过程繁琐)
②成本角度建设成本、维护成本)
③管理角度没有统一的团队协作平台、大量流批任务运行过程中很难有效监控、大量流批任务运行过程中很难有效监控)
2、八个业务场景
DataOps:真正实现数据开发运营一体化DataOps理念
数据资产:融入数据资产盘点和运营方法论
云原生:本地化+云部署方式,支持弹性扩展、集中式管理
场景式开发方法:需求、设计、开发、测试、运维一体化开发理念,给用户一站式体验
数据治理:融入数据治理方法论,数据标准、质量、稽核自动执行
湖仓一体:融入数仓、湖仓交付理念,模板化配置,敏捷构建实时数仓
计算引擎:支持PDI/DataX/Spark/Flink/Seataunl等多种计算引擎

数据服务:提供数据服务能力,实现数据API发布与全生命周期管理

3、六个技术方案

实现数据研发、治理、运营一体化的DataOps理念
完整的数据源支持能力,适配各类湖仓数据源类型

③ 丰富多样的数据集成组件,数据开发场景全覆盖

多种流批计算引擎支持,并可按需、按环境切换

场景式开发方式,需求、设计、开发、测试、部署一站式体验

向导式、模板式的开发方法,融入普元多年数据开发实践

4、应用案例

某大型国有独资企业数据平台建设

添加元宝微信,获取PPT下载。

 

EAWorld
加速企业数字化转型
 最新文章