“数据中台新范式”云端峰会,深入解析湖仓一体、批流一体、治理与运营“三位一体”的数据中台新范式特征,普元信息数智研究院副院长臧一超在峰会发表演讲《海量数据下的高性能流批一体数据开发平台》。
18分钟完整回放视频见文末,拎几个特别精彩的内容给大家,添加元宝微信,还可获取完整PPT:
①技术角度(依赖多种工具引擎、开发/测试/生产多套环境不易维护、数据开发过程繁琐)③管理角度(没有统一的团队协作平台、大量流批任务运行过程中很难有效监控、大量流批任务运行过程中很难有效监控)①DataOps:真正实现数据开发运营一体化DataOps理念③ 云原生:本地化+云部署方式,支持弹性扩展、集中式管理④场景式开发方法:需求、设计、开发、测试、运维一体化开发理念,给用户一站式体验⑤数据治理:融入数据治理方法论,数据标准、质量、稽核自动执行⑥湖仓一体:融入数仓、湖仓交付理念,模板化配置,敏捷构建实时数仓⑦计算引擎:支持PDI/DataX/Spark/Flink/Seataunl等多种计算引擎⑧数据服务:提供数据服务能力,实现数据API发布与全生命周期管理
3、六个技术方案
①实现数据研发、治理、运营一体化的DataOps理念③ 丰富多样的数据集成组件,数据开发场景全覆盖
④多种流批计算引擎支持,并可按需、按环境切换
⑤场景式开发方式,需求、设计、开发、测试、部署一站式体验
⑥向导式、模板式的开发方法,融入普元多年数据开发实践
4、应用案例
某大型国有独资企业数据平台建设