《信息化建设》|协同共享:数据拉通实现全局最优

时事   2024-07-30 09:17   浙江  

解码数据价值化

为进一步加快数据要素价值释放,助力数字化转型工作跨越升级,省数字经济联合会、《信息化建设》杂志联合有关专家、学者,共同开设“解码数据价值化”专栏,以价值为纲、数据为要、场景为抓手,开展数据要素价值化理论研究、路径研判和实践经验分享,供广大读者借鉴参考。

投稿联系:13588463507

投稿地址:szjjlhh@126.com



在数字化时代,‌数据被视为最基本的要素,其‌凭借边际成本低、‌规模效应大、‌流动性高、‌可复用性强等特点,‌正在成为引领中国高质量发展的一个新引擎。但从目前的发展情况来看,数据质量问题严重制约了数据要素价值化的进程。企业将巨大的精力投入在数据治理、数据标准制定上,采用各种方法来约束和管控业务数据的生产、采集和利用,却往往忽视了数据其实是一个协同的工作。提升不同用户之间的协同共享,成为解决数据质量的最佳方法。 

协同共享是数据质量问题的本质解决方案

人们在提到数据质量问题时,往往会责怪数据的生产者不遵守规则、不按系统要求进行录入等行为。例如,企业的数据管理人员通常会说类似“业务前端混乱输入,把系统都搞乱了”等话语。但真的是这样么?

精益数据方法认为,数据质量并不是数字化转型追求的根本目标,而是为了达成业务目标的手段和工具。不能为了追求数据质量而去限制或要求业务人员一定要遵从一些僵化的规定和流程,让业务失去敏捷性。

数据质量问题的本质根源是缺少协同。当业务团队在填写财务要求的指标时,财务团队无法实时掌握,只能在事后看到问题后去追溯,而如果能够做到实时协同,那么这样的问题在第一时间就可以纠正。

当前,业务变化的速度已经超越了标准和流程制定的速度,数据层面更是这样。新的业务动作、业务想法源源不断地产生,如果每一个新业务都需要等流程、规则都制定清楚之后再去执行,那么肯定为时已晚,所以打造高响应力的企业,就需要高度的协同共享。

精益数据方法将数据协同共享作为数字化企业的六大核心能力之一,建议每个企业都要建立自己的数据共享体系,从而提升全局数据的协同能力,如图1所示。

当前很多企业只关注数据的生产能力,而忽视了数据的协同共享机制,这是导致数据质量差、数据孤岛等问题出现的重要原因。建立内外部数据协同体系,让业务、数据和技术全链路拉通,是打造数据驱动型企业的重要手段。

数据协同的核心是实现端到端闭环,以数据为生产要素,打造高效协作、快速反馈的数据价值引擎,从而在协同中发现问题、纠正问题,制定全局最优的解决方案。

数据本身没有壁垒,是相互关联、相互耦合的,但是企业的组织结构、岗位分工却将数据困在一个个孤岛里,使其无法自由地流动和参与部门协作。受限于组织结构、应用架构和职能分工,很多企业的数据不能共享、不能集成、不能协同,于是出现了数据需求膨胀、IT部门能力不足、数据开发需求缓慢等情况。IT部门的资源已经无法支撑企业剧增的数据需求,在全链路协同下,各部门数据自服务将成为企业的趋势。

数据协同要从一种自发、无组织、依赖工作人员线下关系和利益的被动协作,走向标准化、统一、借助平台工具的体系化协作,才能从根本上打破数据壁垒,让数据要素真正成为企业的资产,更快、更好地创造价值。

数据协同是企业数字化转型体系的重要能力组件

《精益数据方法论——数据驱动的数字化转型》中首次将数据协同纳入企业的数字化转型体系,并作为重要的能力组件。数据协同是指多方协作,融合多方数据,对数据要素进行加工利用,达成某一类业务目标的过程。数据协同的本质是人与数据的价值连接,如图2所示。

数据协同包括局部协同和全局协同。其中,局部协同是解决局部业务问题,优化多人协作的过程;全局协同是企业整体的数据生产、采集、加工、利用的全链路协同方式,让所有的数据用户利用同一套数据,按照统一的标准协作。目前大部分企业的数据协同都处于局部协同阶段,通常是项目级、任务级的团队内部协作,并未形成企业级的全局协同。

企业数据协同的现状分析

企业各个业务部门对于数据的依赖性越来越高,很多企业每个业务部门都有专门的数据分析和运营人员来获取和分析业务数据,生成报表和洞察报告提供给业务决策者。在此过程中,业务部门不仅需要本部门的数据,还需要其他业务部门的数据,各业务部门对于数据共享的需求越来越旺盛。但现在大部分企业中,业务部门期待的数据协同方式和实际现状间仍存在很大差距,如图3所示。

过去很多年,找数据、做分析、制报表等所有需求都需要找IT团队来解决,这也导致企业数据协同的需求并不旺盛,因为各部门都要求IT部门提供数据,自己并不需要承担数据的工作。企业随着业务的快速发展,全员对数据的需求处于爆炸式增长的阶段,所有的业务分析、决策都需要数据来支撑,甚至开一个会都需要抓取各种数据来做临时分析。在这种情况下,没有任何一个企业的IT部门能够及时满足如此庞大、随机、随时的数据生产需求。当业务部门在IT部门排队等待、催促还是无法获得数据以后,业务部门就开始自建数据分析和运营体系,在部门内部完成获取数据、分析数据、加工数据等过程,这样一来,各种数据生产工具不断出现,各种数据集不断产生。由于缺少统一的标准,缺少技术工具,各业务部门之间的数据口径、数据分布不一样,数据分析工作缺少标准化协同,最后带来重复加工、重复分析、数据不一致等多种问题。

数据协同的六大阶段

经过十几年的信息化建设,企业生产的数据越来越多,企业利用数据的需求也越来越广泛和深入,所以很多企业都专门设置了数据加工和分析的岗位,所有人员在一套企业的数据基础上进行加工利用,形成了企业数据协同的全景图,如图4所示。

企业的数据协同过程可以分成6个关键阶段:

第一个阶段是数据源。企业内部众多割裂的系统时刻都在产生大量的源数据,这些数据以部门为单位,服务于某一段时期的特定业务需求,不同的开发团队采用的技术架构不尽相同,数据建模方法也不一样。应用级的数据之间口径不一致,内部的数据开发人员缺少协作,最终导致数据孤岛丛生。

第二个阶段是数据采集、获取。在过去以数据仓库为主的企业数据建设过程中,很大一部分工作是从源数据系统中采集和集成数据。这样的采集工作呈现两个特点——需求多样和标准不一。不同的业务需求对数据有着不同的采集频率、采集方式,比如文件传输、数据库复制、通过API获取等。这样的采集工作缺少全局的规划,数据消费端的需求不一样,所以采集哪些数据,用什么结构去采集,以及如何设计数据处理链等都不一样。

第三个阶段是数据存储。采集到的数据会被存储到各种各样的数据系统中。很多企业的数据体系是按照组织结构来设计的,缺少统筹规划。比如,集团有集团级别的数据仓库,分/子公司有分/子公司级别的数据仓库,甚至有的业务部门也有自己的数据存储系统,重复加工、重复存储的数据随处可见。缺少统一的数据血缘追溯体系会让数据消费端不知道从哪里能取到最可信的数据。

第四个阶段是数据分析、加工。数据分析是应用最广泛的数据处理工作,从业务人员到数据人员都有数据分析的需求,但是目前企业的数据分析现状具有以下3个特点:大量时间花费在找数据而不是分析数据;缺少在线协作的分析工具;分析后的成果难以共享和分发。数据分析的背后是非常繁重的数据加工工作,而当前大部分企业的数据加工环节是以数据团队为中心去进行的,这会导致出现以下3种现象:数据团队疲于奔命;数据加工环节缺少统一的监控、调度、预警等管理功能;缺少统一的工作台,带来数据不一致、重复加工、版本无法管理等问题。

第五个阶段是数据产品:构建数据产品是从数据到价值的最后一公里。当前企业数据产品构建往往呈现3大特点:由于没有建立起统一发现、搜索和使用数据资产和产品的平台,当出现紧迫的业务需求时,就会出现数据的分发和复制等现象;由于缺少运营,导致数据平台和数据产品的价值无法被精准度量;由于没有设立数据资产的分级、分类机制,导致数据产品的安全管控措施缺失。

第六个阶段是业务场景。数据产品最终会应用于不同的业务场景,如生产领域的智能排产、需求预测;销售领域的精准营销、用户画像。这些业务场景往往是由不同的部门主导和构建的,各业务场景之间相互割裂、互不联系。站在理论的角度来看,所有的业务场景背后应该只有一套可信且真实的数据,但在现实情况并非如此,由于各个业务领域都有自己的数据副本,且数据经过多次加工,最终导致不同业务场景中的一些共性数据口径不一致、结果不一致等问题。

数据协同的六大挑战

从企业数据生产加工过程来看,企业数据协同面临以下6个挑战,如图5所示。

目标不一致。协同的基础是有共同的目标。只有有了共同的目标和利益,相关人员才能够在内心认同协同。现在很多部门的数据利用与生产是割裂的,各部门有各自的KPI考核指标,并没有形成统一的目标,因此缺少对齐目标的意识和行动。

缺少意识。目前很多企业尚未建立起数据协同的意识。业务部门认为数据是技术部门和数据部门的事情,与己无关;而应用开发团队又往往将数据团队隔离在外。如此,数据不一致的问题难以避免。

缺少标准。当下很多企业在数据开发和利用上没有统一标准,包括数据协同处理的流程和规则、各个团队之间的分工等各方面。

缺少度量。由于缺少标准,所以采集不到协作过程的进度、状态等关键指标,也就无法可视化和度量每一个数据任务的状态,最终导致数据盲跑的现象出现。

缺少平台。大部分企业都缺少企业级的数据协同平台,不能把业务、技术和数据三方的相关内容和工作人员都整合在一起,无缝衔接,无边界协作。

缺少运营。让企业实现数据协同还需要运营。运营的主要任务包括运维、调度、分析和引导等。

数据协同的四个原则

企业已经进入数据民主化的时代,如何能够在全员皆是数据用户的情况下做好数据协同,成为所有企业面临的问题。精益数据方法认为,企业实现数据协同要遵循4项原则,如图6所示。

价值驱动:所有的协同动作都要以业务价值为目标,协同的动作要适合具体的业务场景。

安全合规:数据是企业的核心资产,安全合规是一切数据工作的基本准则和底线。

开放共享:在安全合规的前提下,数据的开放共享做得越好,数据用户之间不必要的协同动作就越少。

最小必要:不同用户之间的协同需要遵守最小必要原则,即在明确业务价值、充分开放共享数据的基础上,尽可能地减少不必要的协同动作。

企业构建数据自服务门户的价值

单靠流程制度是无法实现数据协同目标的,企业还需要构建数字化的协同平台来支撑和保障数据协同过程,这个协同平台就是“数据自服务门户”。

数据自服务门户是为企业所有用户提供集成、统一的数据产品和服务的唯一入口,所有的数据用户能够在数据自服务门户中找到其需要的数据资产,并且在这个平台上进行数据的开发生产、协作分享等相关工作。

对于企业来说,数据自服务门户的价值主要体现在以下5个方面,如图7所示。

统一入口:统一过去割裂、分散的数据资产,用户通过一个入口登录,一站式解决所有问题,这是数据自服务门户的核心价值。通过一个入口、一个平台、一套体系、一个身份就能访问企业最新的、自己权限下所有能访问的数据和数据产品及数据相关的系统。

整合资源:统一的入口让所有数据相关的产品、资源、工具、技术、项目都集中在一个平台上展示出来,用户可以通过全局搜索,更便捷地查找相关数据。搭建数据自服务门户是企业整合数据资产、提高协同效率最简单的方式。

推动协作:过去企业的数据协同不完善,不是因为各部门没有需要,而是因为缺少协作的手段。数据自服务门户可以让数据资产更容易地共享、流转、交换、集成,让协同变得更加简单。

价值运营:数据被连接、集成和分享的次数越多,价值越高,所以必须要让数据流动起来。数据自服务门户可以通过强大的运营能力,设计价值度量体系,开展数据产品营销活动,让可信的数据集和数据产品能够被更多用户看到,引导用户去解决企业最有价值的业务问题。

赋能全员:数据自服务门户能够利用简单易用的工具和流程,让不懂数据和技术的业务人员及管理人员快速掌握一些基础的数据分析技能,从而做到数据自服务,减轻数据工作者的压力,同时提升业务人员的数据意识和能力。

 

企业数据自服务门户的典型功能构成

数据自服务门户是一个开放性、可集成、可扩展的平台。通过技术协议,企业将所有的数据相关的应用和功能集成在一个视窗里,促进企业级的数据协同和生产。数据自服务门户包括以下核心组件,如图8所示。

个性化首页:每一个角色都可以根据自己的喜好和习惯,定制专属于自己的个人门户,自定义配置首页和管理模块。

内容管理平台:可以定义各种栏目,然后将各个栏目交由不同的部门角色去管理,栏目的运营人员可以发布、管理自己的内容。

数据产品/服务市场:每个用户既可以是数据的生产者,也可以是数据的消费者。用户可以上传自己的数据集,也可以搜索、查找其他用户发布的数据集和数据产品,从而进行交易。

数据资产目录:查看并管理自己可以浏览和访问的企业数据资产,包括各类数据产品和数据服务,还可以订阅数据资产的更新信息,获得及时的推送。

企业级内容搜索:使用户能够快速找到自己想要的内容。

数据探索平台:提供各种数据探查和浏览的工具集,让用户可以对数据有全面的了解。

数据创新平台:集成了完成提出想法、数据实验、模型验证、最小可行产品测试等事项的全链路功能,让业务人员、数据人员和技术人员可以基于数据,共同围绕业务目标开展各种创新试验。

数据标签体系:为每一个数据产品、数据服务以及相关文章等内容打上标签,从而提高数据利用的便捷性和协作的效率。

数据自服务工具包:为不同的角色提供对应的数据自服务工具包,包括各类专业的数据分析和挖掘工具,从而支持用户灵活地配置自己所熟悉的工具包。

门户运营看板:用户可以设置查看自己关注的对象浏览了哪些数据集,以及订阅自己需要的数据产品的实时更新状态等。

沟通协作工具:提供便捷的沟通协作工具,让不同地点的员工可以远程沟通、协同,主要包括大规模讨论的线上论坛,点对点沟通的即时通信软件,开发人员的协作编程工具等。

数据自服务门户的核心目的是构建蓬勃的企业数据生态。运营团队围绕企业目标、业务价值,实时监测、管理和引导用户行为,通过各种运营策略和活动,提高数据自服务门户的活跃度,让数据能够更快地流动起来,再根据用户的行为数据分析来优化功能和运营策略,形成运营闭环,如图9所示。

通过数据自服务门户,让业务人员和技术人员能够在统一、标准化、即时反馈的协同体系里进行全链路的数据加工协作,进而从根本上解决数据质量的问题,实现数据拉通共享,打造全局最优的企业业务。

 

(作者系中国特色数字化转型方法论创始人。畅销书《精益数据方法论——数据驱动的数字化转型》唯一作者,中国计算机学会数字化转型与企业架构SIG主席、数字产业创新研究中心副主席、公众号《凯哥讲数字化》作者,为企业提供数字化转型咨询培训辅导教练服务。本文刊发于2024年第7期《信息化建设》杂志

往期推荐


数实融合:数据驱动的数字化转型
纲举目张,开启数据要素价值化的宏伟蓝图
战略选择,数据资产入表实践指南
数据优先:价值驱动的精益数据战略

价值为要:精益思想打造数据要素产品

敏捷迭代,让业务价值和数据治理携手同行



 最新文章