53页PPT|(2/2)基于三资模型的企业大数据治理与数据资本化一体化解决方案:战略愿景、体系支撑、数据规范支撑、技术实现、案例

文摘   2025-01-04 07:37   江苏  
本文重点:对数据数据治理的根本认知,数据是企业非常重要的资源,但很难直接使用;需要通过一系列的治理过程将数据资源转化为企业可使用的数据资产;而只有将数据资产真正应用到业务中,才能产生效益,成为企业的资本;企业进行数据治理管理的最大驱动力来自数据的应用价值;数据治理管理是企业重要的战略组成部分;数据治理管理需要企业投资来驱动;组织、制度、规范、开发与工具是企业进行数据治理管理的核心要素。企业大数据治理应对之道是构建基于产线设计的数据产品工厂体系

前序文章:53页PPT|(1/2)基于三资模型的企业大数据治理与数据资本化一体化解决方案:战略愿景、体系支撑、数据规范支撑、技术实现、案例
第三章:企业数据治理平台功能设计

(1)功能架构

  • 控制台:提供统一资源管理、统一团队管理、服务组织管理、操作日志管理、统一用户管理、权限管理等功能,方便用户对数据治理平台进行统一管理和配置。

  • 数据开发:支持数据查询、场景设计、数据开发产线管理、模板管理等功能,满足用户对数据的探索、开发和利用需求。

  • 数据资产:提供数据资产Home页、数据治理视图、数据资源视图、运维监控视图等功能,方便用户对数据资产进行全面掌握和管理。

  • 工作台:提供我的团队、我的审批、我的申请、个人中心、我的消息等功能,方便用户进行数据治理工作的协同和沟通。

  • 统一运维调度:提供任务管理、任务监控、应用服务监控、监控告警、告警配置管理、告警故障管理等功能,确保数据治理平台的高效运行和稳定性。

  • 元数据管理:提供半结构化元数据模型、物理表元数据模型、文件类元数据模型、元数据采集、元数据日志、元数据分析等功能,支持元数据的全流程管理和监控。

  • 数据标准:提供主题管理、命名标准、字典标准、字段标准、维度管理、维度映射、版本管理、文档管理等功能,确保数据标准的统一制定和执行。

  • 数据质量:提供质量模型设计、规则类配置、方案管理、执行明细、质量报告等功能,支持对数据质量的全面管控和提升。

  • 数据目录:提供应用数据目录设计、数据数目标签管理、资源浏览、资源查阅、目录分类等功能,方便用户对数据资源进行统一管理和发布。

(2)功能设计详述

a. 数据标准

  • 功能概述:提供平台级别的标准制定、应用以及过程管控功能,确保数据标准的统一性和规范性。

  • 关键功能:包括主题规范、命名规范、字典规范、字段端规范、维度规范、维度映射配置等。

b. 元数据管理

  • 功能概述:提供元数据模型建模管理和元数据采集能力,支持对元数据的全流程管理和监控。

  • 关键功能:包括物理表、半结构化数据、文件类元数据模型标准的设计、制定、发布、停用全过程管理;元数据采集、对比、分析;元数据模型的审核审批;元数据对象的血缘关系展示等。

c. 数据目录管理

  • 功能概述:提供对数据资源的管理和发布能力,支持根据业务需求进行统一的数据编目和资源共享。

  • 关键功能:包括数据目录的编制、修改、发布全过程管理;资源挂载、标签挂载;目录分类管理;数据订阅申请管理等。

d. 数据开发

  • 功能概述:支持各种数据源的查询探索和数据处理能力组件的内置,提供标准化的数据加工工序模块和可视化程序编排功能。

  • 关键功能:包括数据查询、场景设计、数据开发产线管理、模板管理;数据处理能力组件的内置和可视化程序编排;ETL、清洗、融合加工与分发等功能。

e. 数据质量管理

  • 功能概述:提供对数据治理九大维度的管理和质量规则制定功能,支持质量模型配置和质量报告的生成。

  • 关键功能:包括完整性、规范性、准确性、关联性、唯一性、一致性、及时性、精确性、真实性等九大维度的数据质量管控;质量模型配置和质量报告生成等。

f. 统一任务调度

  • 功能概述:提供对数据治理过程所涉及各类任务的统一配置、管理、执行与监控功能,确保数据治理工作的按时完成。

  • 关键功能:包括任务管理、任务监控、统一调度管理等。

g. 数据资产管理

  • 功能概述:提供对数据资产的多维度统计与呈现功能,方便用户全面掌握数据资产情况。

  • 关键功能:包括数据采集视图、数据治理视图、数据资源视图、数据服务视图、运维监控视图等。

h. 统一监控运维

  • 功能概述:提供对平台中各类任务调度、数据治理平台的监控与告警能力,确保平台的高效运行和稳定性。

  • 关键功能:包括任务调度操作、查看;基础资源以及各类应用服务的监控;异常告警等。

i. 控制台

  • 功能概述:提供对数据治理平台的统一管理和配置功能,方便用户进行平台的日常管理和维护。

  • 关键功能:包括统一资源管理、统一团队管理、服务组织管理、操作日志管理、统一用户管理、权限管理等。

第四章:企业数据治理平台案例分享

(1)某地市级大数据治理平台

a. 项目建设概况

  • 项目背景:围绕“一舱一中心、两门户两体系和九平台”进行建设,建立基础的数据资源中心,支撑各部门数据共享需求,为一网通办、一网统管、经济发展和城市规划实现数据赋能。

  • 项目内容:负责建设数据治理子平台,包括数据管理、数据治理、数据智能应用三大功能模块。

b. 功能架构设计

  • 核心模块:包括数据标准管理、目录管理、数据地图、数据资产管理、治理团队管理、质量管控、数据架构管理等。

  • 数据治理流程:支持数据的采集、加工、质量管控、数据共享等全生命周期管理。

c. 总体业务流程

  • 数据治理流程:包括数据摸底、数据校核、模型设计、元数据配置、标签维护、数据工厂部署、产线适配、功能拓展开发等步骤。

d. 资源中心设计

  • 设计内容:包括数据资源中心的设计、存储容量规划、数据源接入等。

e. 项目建设成果

  • 数据归集与治理:共归集、治理数据近23亿条,满足18家单位23个应用场景需求,提供共享数据近17亿条。

  • 城运主题库建设:形成32个共2735.9万条主题库目录数据,提供共享数据累计10.06亿条,满足城运中心防汛预警、环卫车辆、垃圾分类等业务需求。

(2)某县级公安大数据平台

a. 项目背景与目标

  • 项目背景:推进视频图像、云计算、大数据及人工智能等信息技术在公共安全、城市治理、社会管理等领域的广泛应用。

  • 项目目标:建立数据资源池,实现部门间数据共享,提升信息化应用效益;提供标准数据服务和增值数据服务。

b. 项目实施方案

  • 实施步骤:包括数据摸底、数据校核、模型设计、元数据配置、标签维护、分布式文件系统搭建、组件适配、数据工厂部署、产线适配、功能拓展开发等。

c. 总体架构设计

  • 核心模块:包括数据安全管控子平台、统一运维子平台、数据治理管理等。

  • 技术架构:采用大数据、云计算、图谱技术等技术手段,实现数据的整合、存储、计算、挖掘和分析。

d. 建设成果-数据汇聚

  • 数据资源中心:由12个计算节点组成,设计存储容量为300T(相当于1500亿条数据),全面接入了各类数据源。

e. 数据治理与应用成果

  • 数据治理:实现了数据资产体系化管控,完成了公安、政务、物联感知、社会数据等4大类,136小类数据共20亿数据的汇聚与治理工作。

  • 数据应用:建立了30多个基本与主题专题库,开发了数十个服务接口,完成55张表数据模型的开发;通过数据开放服务赋能了一人一档、全息感知、犯罪预测、一车一档、户籍办理等实战应用。

(3)某县级大数据资源平台

a. 平台总体定位

  • 定位概述:作为县信息资源中心,构建PB级大数据采集、存储、计算、挖掘、分析与应用能力,汇聚数据资源,形成数据资产,建立数据应用和数据服务,保护数据安全。

b. 总体解决方案

  • 解决方案概述:通过整合各类数据资源,连接各类人员,提供数据管理、开放门户、数据采集、数据安全等功能,实现数据的整合、挖掘、分析与应用。

c. 总体架构设计

  • 核心模块:包括数据源、数据交换、数据资源中心、数据治理管理、数据管理开放门户、统一运维监控、数据安全等。

  • 技术架构:采用大数据、云计算等技术手段,实现数据的采集、存储、计算、挖掘和分析。

d. 大数据示范应用

  • 应用概述:利用信息资源中心数据资源、数据可视化技术以及指挥运营中心的大屏展示设备,构建全县统一的总体态势感知展示窗口。

  • 应用效果:以可视化的方式全面展示全县政务服务、经济发展、市场监管、民众监控、生态环境、交通等方面的关键指标数据,及时感知、掌握全县发展动态。


以下为部分内容展示(电脑端观看更舒适)>>

特别说明:原文解读章节属于本公众号原创,享有内容版权。根据网络搜索下载编辑整理部分文章版权归原作者所有,方案展示章节PDF\PPT等来源于各文库类平台,源头无从查找,仅供读者学习、参考,禁止用于商业用途。如有错误或对于文中所使用的图片、文字、链接中所包含的软件\资料等,如有侵权,请跟我们联系删除!

延伸阅读>>

    了解更多,欢迎扫码联系博主
    👇👇

    👇🏻点击阅读原文」,更多好文,任意下载

    数智标杆实战
    提供数字化战略、数字化转型、智能制造、运营管理规划方案和咨询。欢迎关注。
     最新文章