(1)功能架构
控制台:提供统一资源管理、统一团队管理、服务组织管理、操作日志管理、统一用户管理、权限管理等功能,方便用户对数据治理平台进行统一管理和配置。
数据开发:支持数据查询、场景设计、数据开发产线管理、模板管理等功能,满足用户对数据的探索、开发和利用需求。
数据资产:提供数据资产Home页、数据治理视图、数据资源视图、运维监控视图等功能,方便用户对数据资产进行全面掌握和管理。
工作台:提供我的团队、我的审批、我的申请、个人中心、我的消息等功能,方便用户进行数据治理工作的协同和沟通。
统一运维调度:提供任务管理、任务监控、应用服务监控、监控告警、告警配置管理、告警故障管理等功能,确保数据治理平台的高效运行和稳定性。
元数据管理:提供半结构化元数据模型、物理表元数据模型、文件类元数据模型、元数据采集、元数据日志、元数据分析等功能,支持元数据的全流程管理和监控。
数据标准:提供主题管理、命名标准、字典标准、字段标准、维度管理、维度映射、版本管理、文档管理等功能,确保数据标准的统一制定和执行。
数据质量:提供质量模型设计、规则类配置、方案管理、执行明细、质量报告等功能,支持对数据质量的全面管控和提升。
数据目录:提供应用数据目录设计、数据数目标签管理、资源浏览、资源查阅、目录分类等功能,方便用户对数据资源进行统一管理和发布。
(2)功能设计详述
a. 数据标准
功能概述:提供平台级别的标准制定、应用以及过程管控功能,确保数据标准的统一性和规范性。
关键功能:包括主题规范、命名规范、字典规范、字段端规范、维度规范、维度映射配置等。
b. 元数据管理
功能概述:提供元数据模型建模管理和元数据采集能力,支持对元数据的全流程管理和监控。
关键功能:包括物理表、半结构化数据、文件类元数据模型标准的设计、制定、发布、停用全过程管理;元数据采集、对比、分析;元数据模型的审核审批;元数据对象的血缘关系展示等。
c. 数据目录管理
功能概述:提供对数据资源的管理和发布能力,支持根据业务需求进行统一的数据编目和资源共享。
关键功能:包括数据目录的编制、修改、发布全过程管理;资源挂载、标签挂载;目录分类管理;数据订阅申请管理等。
d. 数据开发
功能概述:支持各种数据源的查询探索和数据处理能力组件的内置,提供标准化的数据加工工序模块和可视化程序编排功能。
关键功能:包括数据查询、场景设计、数据开发产线管理、模板管理;数据处理能力组件的内置和可视化程序编排;ETL、清洗、融合加工与分发等功能。
e. 数据质量管理
功能概述:提供对数据治理九大维度的管理和质量规则制定功能,支持质量模型配置和质量报告的生成。
关键功能:包括完整性、规范性、准确性、关联性、唯一性、一致性、及时性、精确性、真实性等九大维度的数据质量管控;质量模型配置和质量报告生成等。
f. 统一任务调度
功能概述:提供对数据治理过程所涉及各类任务的统一配置、管理、执行与监控功能,确保数据治理工作的按时完成。
关键功能:包括任务管理、任务监控、统一调度管理等。
g. 数据资产管理
功能概述:提供对数据资产的多维度统计与呈现功能,方便用户全面掌握数据资产情况。
关键功能:包括数据采集视图、数据治理视图、数据资源视图、数据服务视图、运维监控视图等。
h. 统一监控运维
功能概述:提供对平台中各类任务调度、数据治理平台的监控与告警能力,确保平台的高效运行和稳定性。
关键功能:包括任务调度操作、查看;基础资源以及各类应用服务的监控;异常告警等。
i. 控制台
功能概述:提供对数据治理平台的统一管理和配置功能,方便用户进行平台的日常管理和维护。
关键功能:包括统一资源管理、统一团队管理、服务组织管理、操作日志管理、统一用户管理、权限管理等。
第四章:企业数据治理平台案例分享
(1)某地市级大数据治理平台
a. 项目建设概况
项目背景:围绕“一舱一中心、两门户两体系和九平台”进行建设,建立基础的数据资源中心,支撑各部门数据共享需求,为一网通办、一网统管、经济发展和城市规划实现数据赋能。
项目内容:负责建设数据治理子平台,包括数据管理、数据治理、数据智能应用三大功能模块。
b. 功能架构设计
核心模块:包括数据标准管理、目录管理、数据地图、数据资产管理、治理团队管理、质量管控、数据架构管理等。
数据治理流程:支持数据的采集、加工、质量管控、数据共享等全生命周期管理。
c. 总体业务流程
数据治理流程:包括数据摸底、数据校核、模型设计、元数据配置、标签维护、数据工厂部署、产线适配、功能拓展开发等步骤。
d. 资源中心设计
设计内容:包括数据资源中心的设计、存储容量规划、数据源接入等。
e. 项目建设成果
数据归集与治理:共归集、治理数据近23亿条,满足18家单位23个应用场景需求,提供共享数据近17亿条。
城运主题库建设:形成32个共2735.9万条主题库目录数据,提供共享数据累计10.06亿条,满足城运中心防汛预警、环卫车辆、垃圾分类等业务需求。
(2)某县级公安大数据平台
a. 项目背景与目标
项目背景:推进视频图像、云计算、大数据及人工智能等信息技术在公共安全、城市治理、社会管理等领域的广泛应用。
项目目标:建立数据资源池,实现部门间数据共享,提升信息化应用效益;提供标准数据服务和增值数据服务。
b. 项目实施方案
实施步骤:包括数据摸底、数据校核、模型设计、元数据配置、标签维护、分布式文件系统搭建、组件适配、数据工厂部署、产线适配、功能拓展开发等。
c. 总体架构设计
核心模块:包括数据安全管控子平台、统一运维子平台、数据治理管理等。
技术架构:采用大数据、云计算、图谱技术等技术手段,实现数据的整合、存储、计算、挖掘和分析。
d. 建设成果-数据汇聚
数据资源中心:由12个计算节点组成,设计存储容量为300T(相当于1500亿条数据),全面接入了各类数据源。
e. 数据治理与应用成果
数据治理:实现了数据资产体系化管控,完成了公安、政务、物联感知、社会数据等4大类,136小类数据共20亿数据的汇聚与治理工作。
数据应用:建立了30多个基本与主题专题库,开发了数十个服务接口,完成55张表数据模型的开发;通过数据开放服务赋能了一人一档、全息感知、犯罪预测、一车一档、户籍办理等实战应用。
(3)某县级大数据资源平台
a. 平台总体定位
定位概述:作为县信息资源中心,构建PB级大数据采集、存储、计算、挖掘、分析与应用能力,汇聚数据资源,形成数据资产,建立数据应用和数据服务,保护数据安全。
b. 总体解决方案
解决方案概述:通过整合各类数据资源,连接各类人员,提供数据管理、开放门户、数据采集、数据安全等功能,实现数据的整合、挖掘、分析与应用。
c. 总体架构设计
核心模块:包括数据源、数据交换、数据资源中心、数据治理管理、数据管理开放门户、统一运维监控、数据安全等。
技术架构:采用大数据、云计算等技术手段,实现数据的采集、存储、计算、挖掘和分析。
d. 大数据示范应用
应用概述:利用信息资源中心数据资源、数据可视化技术以及指挥运营中心的大屏展示设备,构建全县统一的总体态势感知展示窗口。
应用效果:以可视化的方式全面展示全县政务服务、经济发展、市场监管、民众监控、生态环境、交通等方面的关键指标数据,及时感知、掌握全县发展动态。
延伸阅读>>
321页PPT|整车巨头IT规划方法论与实践案例详解(续):集团数据规划、集团IT集成架构、集团T基础设施规划、IT治理体系规划
243页PPT|集团财务管控平台全景建设方案与案例分享:报表管理、全业务报账、大数据、全面预算管理、紫金矿业、中国铝业、上海电气
219页PPT|科技巨头高效供应链管理方案:从供应端至流通端全协同设计、全景支撑产品研发、零件定点、生产准备、生产制造、售后服务
134PPT|SAP|白酒巨头数字化战略规划:市场、研发、计划、采供、生产、物流、销售、客户服务:APS、MES、CRM集成支持
166页PPT | 化工集团企业4A架构详细设计方案:业务架构设计、应用架构设计、数据架构设计、技术架构设计及信息化管控体系设计
👇🏻点击「阅读原文」,更多好文,任意下载