数据中台没能消灭数据孤岛

文摘   2024-09-25 13:14   浙江  
Hi,你好呀,见字如面,我是唐晨,日更大数据领域知识和个人观点,关注 Data + AI  领域的小伙伴,可以点击关注公众

目前,我正在体系化更新数据资源管理/数据治理/数据中台系列文章。

今天的文章,我们聊一聊:企业内部的数据孤岛问题并没有因为数据中台而彻底解决。
随着大数据、云计算以及人工智能技术的普遍应用,数据可谓是当下最重要且最具价值的资产,企业通过挖掘与分析数据,可提高其竞争力,预测市场趋势,做出更具针对性的决策。
但,数据孤岛问题成为阻碍企业发展的天堑。
数据孤岛是一个常态持续性问题,像个疯狗,赶走了过段时间又跑过来了,如此往复,让人疲惫不堪。
根据华夏邓白氏、微码邓白氏近期开展的研究,目前有 92% 的中国企业内部存在数据孤岛,其中,36% 的企业该现象相当普遍。
数据中台的目标之一是帮助企业彻底消灭数据孤岛,但显示的情况并没有那么乐观。

01

为什么,数据孤岛


什么是数据孤岛?

根据百度百科,即企业发展到一定阶段,出现多个事业部,每个事业部都有各自数据,事业部之间的数据往往都各自存储,各自定义,会存在多个数据中心,甚至跨海内外的数据中心,每个事数据中心就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动。

什么原因导致的?

一般来说,企业信息化发展有三个阶段:基于设备的建设,基于项目的建设和基于战略的建设。

通常在第二阶段必然会产生信息孤岛,有这么几个原因

1、组织架构按照部门单元划分:因为企业的工作是以部门为主的功能型,这样的话每个部门都会有业务数据的产生,有对数据保存和使用的需要,不同部门对数据的定义和使用可能存在比较大的差异,所以各部门之间的数据不能互通。

2、信息部门建设的相对滞后:如果信息部门不能尽快满足业务对数据处理的要求,那业务部门就可能独自开发业务系统,这种情况还是普遍存在。

3、缺少统一的数据战略、标准和文化:如果不能做到信息系统建设的统一,由不同部门,不同公司来建设的话,必须有一个标准能够使得日后的互通比较容易实现。

总结一下就是:企业目前普遍采用以“部门/事业群”为单元的组织架构来管理业务,加上信息化系统建设进度无法跟上业务发展需求,与此同时,企业也缺少了整体的数据战略和标准,很多系统之间缺少互联和协同。


02

如何打破数据孤岛


如何打破数据孤岛是一个老命题了。

数据孤岛会降低生产力、引入不必要的错误、隔离用户并导致数据隐私风险,我们一直在找寻应对的方法。

常见的方案如下

序号方案描述
1数据集成平台使用ETL工具、ESB(企业服务总线)、数据中台等技术来集成各个系统中的数据,使数据能够统一汇聚到一个平台。
2API接口开放各系统通过标准化的API接口相互通信,允许数据实时共享和访问。
3数据湖建设建立一个集中的数据湖,存储不同格式、结构的数据,消除部门或系统间的数据分隔。
4统一数据标准在组织内部建立统一的数据标准,确保不同部门或系统在使用相同的数据定义和模型,从源头上减少数据不兼容的情况。
5数据治理和主数据管理实施数据治理框架,明确数据所有权,确保跨系统的数据质量一致性;通过主数据管理(MDM)来统一关键数据。
6数据虚拟化通过数据虚拟化技术,无需实际移动数据,就能实现跨系统的数据访问和整合。
7数据中台构建数据中台,作为组织内各业务系统的数据枢纽,将不同系统的数据统一管理和服务化输出。

这些方案均在不同的行业、不同规模的企业中落地过,均可以对数据孤岛问题产生一些良好的效果,但无法彻底消灭数据孤岛。

数据中台是近些年消灭数据孤岛问题的热门方案,在包含 BAT在内的诸多企业中,都得到广泛应用。

数据中台是"一套可复用、可快速迭代、可支撑前台多样化业务需求的通用技术组件和能力",它旨在提供标准化的数据服务,实现数据的共享和价值最大化。

这么说可能还比较抽象,可以看看下面的框架图:

图片来源于网络

可以看到,数据中台对接了企业内外部的可用数据源,将数据统一集成到湖仓内,进行统一的清洗、加工处理,并配套质量及安全保障能力,最终通过数据服务的方式,统一为数据应用或业务系统做数据支撑。

相当于数据中台就是企业全部数据的集散地了,按道理,这样应该可以很少的解决数据孤岛的问题呀。

你想过一个企业内有多个数据中台的场景没?

是的,你没有看错,我之前就经历过一个项目,一个集团企业有多套数据中台,下面的每个子公司都是自己的数据中台,不同的业务线也单独采购了数据中台。
合理吗?
看起来非常不合理。
但别忘了:存在即合理。
我们现在的很多解决方案,大多都是从技术或工具层面出发考虑的,看起来能够很好地解决问题。
但是,实际情况比这复杂的多,单纯一个“组织差异性”因素,就带来无数个变量,可以把一切技术和工具优势扫平。
随着多年的技术发展,现在阻碍数据流通,解决数据孤岛问题的卡点早已经不是“工具层”了,而是,更深层次的组织管理和文化。
还记得前面说的产生数据孤岛的原因没?
其中第三点是说:缺少统一的数据战略、标准和文化。
就拿上面不同的子公司和集团都立项采购数据中台,这说明了几点:
1)集团对子公司的管控能力弱;
2)集团层面在数据重视程度上不足,行动比子公司差;
3)也有可能子公司不遵从集团层面的数据战略。
这些问题靠工具层面是无法解决的,因此,很多数据中台厂商事后吐槽,企业自身内部掉链子,最后都说是厂商的产品的锅,他们也是有苦说不出。
如何解决呢?
这可是一个大的问题,并没有标准的答案,我也无法给出明确的、适合所有企业的解决办法。
不过,有一些通用的思路,可以做一些借鉴:
  • 制定统一的数据战略
明确数据在企业中的战略定位,将数据视为企业核心资产,推动跨部门协作,避免数据孤立。
  • 建立跨部门数据共享机制
通过数据共享协议和流程,确保各部门愿意开放和共享数据,减少“数据所有权”意识。
  • 统一的数据标准和规范
制定全公司统一的数据标准(如命名、格式、数据字典等),确保不同系统之间的数据一致性。
  • 数据治理与管控机制
确立数据治理框架,指定数据管理员和数据管控流程,保障数据的合规性和质量。
  • 建立数据文化与培训体系
推动全员数据文化,提升员工对数据的认识和使用能力。定期进行数据培训和教育。
  • 数据驱动的决策流程
在决策过程中强化数据驱动,要求各级决策依赖数据支持,推动数据共享和整合。
  • 持续监控与优化
定期监控数据孤岛问题,收集反馈,持续优化数据战略和工具应用。

04

小结


数据孤岛与企业可能是长久的共生关系,我们和数据孤岛的战争远没有结束。

好在,我们并非需要完全消灭数据孤岛问题。

换个角度来看,数据孤岛有点像我们人类身体上的“致癌基因”,我并没有直接把它当癌细胞来举例,避免进一步夸大数据孤岛的危害。

伴随企业的发展和运营,一家企业必然会出现数据孤岛,但并不是都会带来毁灭性问题,就像很多的致癌基因并不一定会导致我们患癌一样。

数据中台虽然无法全面消灭数据孤岛,但是,如果企业能够制定统一的数据战略、标准和文化,数据孤岛的问题将在数据中台的支撑下,得到极大的改善。

消灭数据孤岛不是最终目的,我们需要的是将企业需要的数据有机联动起来,为我们创造更大的业务价值。

只要不是阻碍我们实现业务价值的数据孤岛,就让他孤着又如何,总之,面对数据孤岛问题,建言四字:按需治理。

(正文完)



今天的分享就到这里,希望对你能有多帮助和启发。

我是唐晨,日更大数据+AI 领域知识和个人观点,关注 Data + AI  领域的小伙伴,可以点击关注公众号。

看看都是哪些角色在订阅唐晨说数,点击下方选项查看:



转载、投稿、商务、咨询合作

均可添加微信沟通


现在文字真的越来越少用户有耐心阅读完了,后期是需要经营视频号了,欢迎关注,到 500 了启动直播,线上聊一聊。


唐晨说数
大数据领域从业者,分享关于数据治理、数据中台、数据应用等领域相关的,个人实践及观点,以文会友,欢迎关注。
 最新文章