在实际生产作业中,原材料、半产品和产成品可能存在质量问题,不符合质量要求的,只能是废品。同样,数据也可能存在质量问题,质量差的数据不仅没有业务价值,还可能给业务带来误导和干扰,甚至给企业带来经济损失。因此,企业必须采取相关举措,确保数据的质量。
数据质量的管理不是一件容易的事情。那怕是华为这样的领先企业,在其数字化建设的早期,仍然存在“账实不符”等数据质量问题,存货的账实不符率一度超20%。为此,华为公司于2007年启动了数据治理的相关工作。通过超10年的持续努力,已基本解决了数据质量的问题。
可以说,在数字化建设过程中,数据质量差,是很多企业普遍存在的问题。华为公司是为数不多,比较早就意识到,并下大力气解决了此类问题的企业之一。华为公司的数据治理实践,思路清晰,措施得当,成效显著,值得其他企业借鉴。本文中,笔者就从数据治理的为什么和怎么做、华为公司的数据治理历程、经验小结和管理启示等方面,谈一谈华为公司的数据治理实践。
一、数据治理的为什么和怎么做
关于数据治理的定义,不同的机构有着不同的说法。下面列举的是几个权威架构或体系对数据治理的定义:
IS/IEC、TRO38505-2:2018:数据治理是关于数据采集、存储、利用、分发、销毁等过程活动的集合。
GB/T4960. 5-2018:数据治理就是数据资源及其在应用过程中相关管控活动、绩效和风险管理的集合。
国际数据管理协会(DAMA):数据治理是指对数据资产管理行使权力和控制的活动集合(规划、 监督和执行)。
上述关于数据治理的定义还比较模糊。实际上,我们可以从目的和举措等方面看数据治理:
1. 数据治理的目的
数据治理的目的是确保和提升数据的质量,以及数据使用时的安全合规。质量保证与安全合规,是组织进行数据治理的主要目的。由此可见,数据质量是目的,数据治理是手段。
2. 数据治理的举措
为了达成数据在质量、安全、合规等方面的目的和要求,组织必须对数据全生命周期中的规划、设计、采集、存储、加工、分发、利用等环节采取相应的管控活动。概言之,数据治理是数据全生命周期的管控活动集合。
二、华为公司的数据治理历程
图6.5 华为公司数据治理的实践历程
在第一阶段,围绕数据清洁、财报准确和主业务流打通等目标,华为公司开展了一系列的数据治理工作。在笔者看来,最值得其他企业借鉴的是,华为公司在数据治理的第一阶段,基本建成了适合华为公司自身特点的数据治理综合体系和能力。
图6.6 华为公司数据治理综合体系(来源:《华为数据之道》)
1)制定了数据管理和治理的政策指引。
具体内容包括:数据管理总纲、数据架构管理政策、数据质量管理政策、数据源管理政策等政策指导文件的编制和发布。
2)设计了全公司统一、完整的数据架构
在相关咨询公司的指导下,华为公司规划并设计完成了符合自身业务发展的数据架构,架构内容包括数据资产目录、数据标准、数据模型和数据分布。数据架构是企业数字化建设、数据治理和数据运营的顶层设计,是数据治理工作的主要指导。
3)建立和完善了数据质量的分类管理框架和机制
华为公司根据数据特性和治理方法的不同,对数据进行了分类定义:内部数据和外部数据、结构化数据和非结构化数据、元数据。对于结构化数据,又进一步细分为基础数据、主数据、事务数据、报告数据、观测数据和规则数据。针对不同的数据类型,华为公司明确了相对应的质量要求和管控方法。
在建立和完善数据质量分类管理框架的同时,华为公司还明确了各类数据质量的度量标准。针对不同类型的数据,从准确性、完整性、一致性、可靠性、时效性等方面度量其实物质量,还从可用性、 可理解性、可访问性等方面度量其使用质量。
4)开发了“管理数据”的流程
流程型组织建设是华为公司各项管理工作的总目标。在数字化领域,华为公司开发了作为支持类的L1级流程——“管理BT&IT”,其下包括L2级流程——“管理数据”,而“管理数据”流程又包括“管理数据架构”、“管理数据质量”、“管理数据分析”等L3级流程。
5)完善了公司的数据管理组织
华为公司的数据管理组织包括:数据主人(公司级数据主人和领域级数据主人)、数据管理部门(公司级数据管理部门和各业务板块数据管理部门)、数据架构专家小组,等等,他(她)们以矩阵式组织的形式运作。其中,数据主人是数据质量的第一责任人;数据管理部门(或数据管家)是实体化的管理组织,辅助数据主人做好数据管理工作;数据架构专家小组是数据管理的专家顾问。
6)搭建了数据管理的工具平台
为了支撑政策指引、管控标准、相关流程、组织职责的有效落地,华为公司还搭建了专门的数据管理工具平台,具体包括:主数据管理平台、维度数据管理平台、元数据管理平台、数据质量管理平台,等等。后续,又陆续搭建了数据集成、数据开发、数据服务、数据安全等方面的IT平台。
2.第二阶段:实现数据的可视、共享,支撑数字化转型(2017~至今)
在第二阶段,华为公司主要在数据的供应侧和需求侧,围绕数据的采集、加工、消费等方面开展相关工作,以供促用,以用促供。同时,也进一步强化数据质量并落实数据使用的安全合规。
图6.7 华为公司数据治理第二阶段的工作内容(来源《华为数据之道》)
1)建设数据底座
数据底座是华为公司的数据供应中枢,具体内容包括数据入湖和数据主题联接。
随着业务对象、业务规则和业务过程的数字化工作推进,华为公司掌握了大量的数据。为了存储上述数据,华为公司明确了两种入湖方式和六项入湖标准,可以将批量或实时采集的数据进行数据入湖和集中管理。
数据的主题联接,是通过以业务流为中心的联接、以对象为中心的联接、智能标签等方式,将数据转化为信息,便于业务部门以数据服务等形式进行数据消费。
2)推进业务数字化
业务数字化,即,业务对象、业务规则和业务过程的数字化,是数据产生的主要手段。除了通过CRM、MES等IT系统的实施和应用来实现业务数字化,华为公司还积极应用物联网、人工智能、数字孪生等数字化技术,实现业务的全过程、全息、实时的数字化,进而完成业务的感知、采集、汇集与业务的描述、诊断、预测、指导的数据自动闭环。
3)开发数据服务
为了解决数据找不到、不可读等问题,华为公司开发了数据地图、数据服务API等形式的数据服务。数据地图类似于数据推荐和数据搜索引擎,服务的对象是各类业务分析人员。数据服务API以接口的形式提供数据服务,服务的对象是相关IT系统。
4)搭建数据分析平台
为了满足业务领导、分析人员、数据科学家等不同类型用户的数据分析需求,华为公司搭建了数据分析平台,提供数据大屏、数字化运营中心、“察打一体”的管理驾驶舱、自助分析、Data Lab等多种形式的数据消费方式。
5)强化数据质量
数据质量管理是一个持续性工作。在第二阶段,从核心数据到非核心数据,从基础数据到事务数据、分析数据,从结构化数据到非结构化数据,华为公司持续强化数据质量的PDCA管理循环,持续强化数据质量管理。
6)落实安全合规
除了进一步强化数据质量的管理,华为公司还建立和完善基于元数据、分类分级的数据安全管理体系和个人隐私保护体系。在数据安全方面,华为公司强调“核心数据以安全优先,非核心数据以效率优先”的管控原则。
三、经验小结和管理启示
在数字化转型和数字经济时代,数据治理的重要性日益凸显。通过数据治理,企业可以更好地管理和利用数据,以高质量数据助推业务发展。数据治理还有助于保护数据安全,通过建立和完善数据安全管理体系,防止数据的泄露、盗窃和滥用。
作为数字化建设的领先者,华为公司在数据治理等方面有着丰富的实践经验、有效的工作方法和明显的治理成效,其思路和做法值得广大企业借鉴。在笔者看来,华为公司的数据治理实践中,至少有以下三点值得大家借鉴:
1. 综合体系保障的数据治理
在数字化建设中,很多问题,首先是管理问题,其次才是技术问题。具体到数据质量和数据安全等方面的目标和要求,首先要靠管理体系的建设和完善,其次才是IT工具的配合和支持。
在华为的数据治理实践中,在第一阶段,华为首先建立了包括政策指引、数据架构、质量管控、管理流程、组织落实和IT工具在内的综合性数据治理体系和能力,从目标、原则、要求、方法、流程、职责等方面规定了数据治理的为什么、做什么、这么做和谁来做。华为公司通过建设数据综合治理体系,1)确保关键数据资产有清晰的业务管理责任;2)IT建设有明确的原则和依据;3)作业人员有规范的流程和指导;4)当面临争议时,有裁决机构和升级处理机制;5)治理过程所需的人才、组织、预算也有充足保障。
尤其关键的是,华为公司明确指出,业务部门要对数据质量负责,业务领导是数据质量的第一责任人。为此,华为公司任命了公司级数据主人和各领域数据主人,并组建专门的数据管理部门和数据架构专家组来支持数据主人的职责落实。
反观其他企业,有的把数据质量的责任归结到IT部门,有的虽然明确了业务部门的数据质量责任却没有任命数据主人,有的虽然任命了数据主人却职责上形同虚设。如果上述管理体系和管理责任不明确、不捋顺,再好的IT工具也是枉然。
2.基于数据架构的正向治理
决定数据治理成效高低的另一个因素是治理的方法:企业是先有数据架构,然后基于数据架构做“有章可循”、“有的放矢”的正向治理;还是根本就没有数据架构的概念,是“跟着感觉走”、“走到哪里算哪里”的随意治理。
显然,华为公司选择的是基于数据架构的正向治理,故而治理的成效显著;而很多公司选择的是无标准、无套路的随意治理,故而治理的成效较差。因此,企业如果向华为学数据治理,就要认认真真先做好数据架构的规划设计工作。
3. 业务需求倒逼的数据治理
在数字化建设方面,华为之所以走在很多企业的前面,一则是华为公司管理团队、业务团队和数字化团队的积极作为,二则是广大咨询公司和外部顾问的悉心指导,三则是华为公司自身业务所存在的问题和业务需求的倒逼。
数字化是一门实践的学问,是先有实践,再有理论。而且,实践得越多,遇到的问题也越多,从问题解决中总结出的经验和理论也越多。因此,企业不应为数字化建设和数据治理中所存在的问题而困扰。问题一定会有,只要正视和解决应对,问题就一定能得到解决。