点击上方“高科技与产业化”可以订阅哦
摘要：大数据时代，随着煤电公司数字化转型步伐走深走实，对海量数据进行分析、应用的需求越发高涨，对数据治理能力的要求不断提高。如何有效利用海量数据，并将其转化为能支撑管理决策的价值信息，成为煤电公司新时代面临的难题。本文系统阐述国内外数据治理现有研究成果，深入分析煤电公司数据治理现存问题，创新性地提出了以数据中台为核心的煤电公司数据治理框架，以供有参考。
关键词：数字化转型，数据治理，数据中台，数据资产
为充分利用大数据时代海量数据蕴含的巨大价值，社会各机构积极探索数字化转型的正确道路。然而，由于能源行业的传统性和分散性，且国内尚未形成成熟的数据治理知识体系[1]，煤电公司落实数据治理存在困难。本文结合国内外数据治理实践经验及相关信息技术的最新发展成果，针对煤电公司数据管理普遍存在的问题，创新性地提出了煤电公司数据治理框架，指导能源企业科学开展数据治理工作。
利用信息技术管理数据截止到目前大体经历了人工报表、报表系统、数据仓库系统、大数据平台等概念阶段[2]，数据管理和使用的方式更加有效，而数据中台是现阶段实现数据价值的解决方案之一[3]。中台的概念是基于前后台架构的传统模式提出的，旨在解决后台单独定制导致的重复开发、资源浪费等问题和前后台同时开发产生的数据孤岛等问题[4]。煤电公司涉及煤炭、火电、新能源等产业，伴随着信息技术的快速发展，普遍实现了从机械化到自动化的飞跃，也因此产生了海量数据。根据业务特点使用数据中台有助于煤电公司将数据作为战略资产进行管理，贯穿数据收集到处理应用的全数据生命周期，以提高数据质量，实现广泛的数据共享，最终实现数据价值最大化。
2.1 缺乏数据标准
一是未建立统一的数据标准和管理规范。公司各部门和机构普遍根据自身需求进行系统开发，导致数据的来源、存储、管理方式各不相同，难以管理。二是公司内各业务板块主数据不统一[5]。公司的组织、用户、设备、供应商等主要信息普遍不通过统一的业务管理流程在系统间维护，相同的数据标签在不同的系统、数据库内设置不同编码，导致系统间数据无法共享、复用，主数据在整个业务范围内难以保持一致性。
2.2 数据治理内容不明确
一是数据治理人员单一。数据治理工作普遍交由公司内部的信息管理部门或科技创新机构，但数据的生产者和使用者遍布各业务部门，仅依靠信息专业人员会导致数据治理内容不明确、脱离生产经营实际等问题。二是过于依赖数据治理工具。部分煤电公司将数据治理视为信息技术问题，认为只靠购买数字产品就能解决问题，忽略了建立跨技术、业务和管理部门的组织架构和制度流程。
2.3 数据全生命周期管理不完整
煤电公司普遍关注数据的收集、使用和展示，但对数据产生、使用、维护、备份、销毁的全生命周期管理缺乏重视，没有制定相关的规范和管理办法，各业务数据缺少归口管理，难以识别过期数据和无效数据。
数据中台的建设与前沿的大数据技术息息相关，最终目的是实现数据价值最大化。结合大数据技术的发展情况和相关研究成果，数据中台框架由物理管理层、逻辑管理层、数据资产管理层、数据服务层。
处于数据中台框架底层的是物理管理层，能进行系统的数据存储、运算、共享等，并搭建具备基础能力的实体机器和软件操作平台。在物理管理的基础上对存储的数据进行逻辑管理，即将数据经过处理加工，转变为兼具理解性和操作性的具有规范化结构的数据资产。数据资产管理的主要功能是面向业务实际设置的管理体系实现数据资产价值的释放。数据服务是数据资产发挥价值的关键。通过对全局数据进行统一管理，各部门能共享数据价值，并利用数据中台提供的数据服务为各业务领域提质增效。网络的安全防护是数据中台平稳运行的基础，从数据安全和隐私保护等方面采取相应的安全管理技术手段，为数据的处理提供安全保障。
4.1 整体架构
煤电公司数据治理整体架构如图1所示，包括数据采集、数据治理、数据构建三部分。
图1 数据治理整体架
4.2 实施内容
4.2.1 全业务域数据入湖
煤电公司需要搭建各种系统为生产经营提质增效，利用数据治理工具将在运系统进行数据入湖，将不同来源、不同格式的数据集中存储管理，并对外提供统一的数据分析方式，有效解决数据孤岛问题，同时显著降低存储和使用数据的成本。
4.2.2 数据治理规范化
数据治理团队要和各业务部门做好调研、协商，确定标准主题，制定信息项框架，力求覆盖全面、重点明确。在调研阶段，根据煤电公司业务范围进行主题定义和分类，明确责任部门，做好信息项类别的识别和划分。在标准制定阶段，完善信息项属性，确保唯一性、准确性。在发布和落地阶段，进行数据管理规范的发布，并制定数据规范的管理办法和更新规则，记录相关规范的落实情况，促进推广应用。
4.2.3 数据管理标准化
一是制定数据标准与规范，组织编制公司级数据中台搭建规范、基础编码规范等文件，并在平台建设过程中严格遵守，保证数据的兼容性和规范性。二是优化数据校核流程，充分调研安全生产及经营管理业务填报数据校对审核的情况，开发配置数据审核校对等功能，保证数据的真实性、可靠性、及时性。三是明确用户数据权限，对业务系统数据进行盘点、展示和管理，并对用户数据权限进行管理，为数据的管理者和使用者提供个性化数据资产管理、资产视图以及权限管控功能。
4.2.4 生产经营数据一体化
一是盘点数据资产，对各业务系统按照业务场景形成数据资产目录，评估数据资产的重要性和数据分布情况。二是进行数据清洗、加工与存储，包括对采集的数据进行清洗和整合等，然后加载到数据仓库中，支持数据分析和数据挖掘。三是元数据管理。元数据管理是对相关数据源定义、目标定义、转换规则等进行管理。从数据源到后续的逐层加工以及稽核，元数据将各类的数据实体进行定义、约束。四是数据质量管理。具体措施包括数据处理过程监控、数据稽核、问题管理、日志管理等。五是数据安全管理。数据管理安全保障方面，要求平台具备身份认证、数据加密、数据脱敏等功能，保障平台的数据应用安全。
参考文献
1 国际数据管理协会.DAMA数据管理知识体系指南[M]. 北京:清华大学出版社, 2012.
2 缪翀莺,谭华,易学明.数据中台的定位和架构分析[J]. 广东通信技术, 2019,39(12):57-62+70.
3 孙建军,马亚雪.面向多元场景的数据治理:进展与思考[J]. 图书与情报, 2023(4):1-11.
4 吴信东,盛绍静,蒋婷婷,等.从知识图谱到数据中台: 华谱系统[J].自动化学报, 2020,46(10):2045-2059.
5 李智彩.基于数据中台的企业数据管理体系构建策略[J]. 时代经贸, 2024(2):138-140.
更多内容请订阅《高科技与产业化》杂志
地址：北京市海淀区中关村北四环西路33号（100190）
电话：010-62539166
邮箱:hitech@mail.las.ac.cn
网址：http://www.hitech.ac.cn
全年12期，128元/期，全年订价1536元
邮发代号：82-741
刊号：ISSN1006-222X CN11-3556/N
