目前,我正在体系化更新数据资源管理/数据治理/数据中台系列文章。
01
为什么,数据孤岛
什么是数据孤岛?
根据百度百科,即企业发展到一定阶段,出现多个事业部,每个事业部都有各自数据,事业部之间的数据往往都各自存储,各自定义,会存在多个数据中心,甚至跨海内外的数据中心,每个事数据中心就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动。
什么原因导致的?
一般来说,企业信息化发展有三个阶段:基于设备的建设,基于项目的建设和基于战略的建设。
通常在第二阶段必然会产生信息孤岛,有这么几个原因:
1、组织架构按照部门单元划分:因为企业的工作是以部门为主的功能型,这样的话每个部门都会有业务数据的产生,有对数据保存和使用的需要,不同部门对数据的定义和使用可能存在比较大的差异,所以各部门之间的数据不能互通。
2、信息部门建设的相对滞后:如果信息部门不能尽快满足业务对数据处理的要求,那业务部门就可能独自开发业务系统,这种情况还是普遍存在。
3、缺少统一的数据战略、标准和文化:如果不能做到信息系统建设的统一,由不同部门,不同公司来建设的话,必须有一个标准能够使得日后的互通比较容易实现。
总结一下就是:企业目前普遍采用以“部门/事业群”为单元的组织架构来管理业务,加上信息化系统建设进度无法跟上业务发展需求,与此同时,企业也缺少了整体的数据战略和标准,很多系统之间缺少互联和协同。
02
如何打破数据孤岛
如何打破数据孤岛是一个老命题了。
数据孤岛会降低生产力、引入不必要的错误、隔离用户并导致数据隐私风险,我们一直在找寻应对的方法。
常见的方案如下:
序号 | 方案 | 描述 |
1 | 数据集成平台 | 使用ETL工具、ESB(企业服务总线)、数据中台等技术来集成各个系统中的数据,使数据能够统一汇聚到一个平台。 |
2 | API接口开放 | 各系统通过标准化的API接口相互通信,允许数据实时共享和访问。 |
3 | 数据湖建设 | 建立一个集中的数据湖,存储不同格式、结构的数据,消除部门或系统间的数据分隔。 |
4 | 统一数据标准 | 在组织内部建立统一的数据标准,确保不同部门或系统在使用相同的数据定义和模型,从源头上减少数据不兼容的情况。 |
5 | 数据治理和主数据管理 | 实施数据治理框架,明确数据所有权,确保跨系统的数据质量一致性;通过主数据管理(MDM)来统一关键数据。 |
6 | 数据虚拟化 | 通过数据虚拟化技术,无需实际移动数据,就能实现跨系统的数据访问和整合。 |
7 | 数据中台 | 构建数据中台,作为组织内各业务系统的数据枢纽,将不同系统的数据统一管理和服务化输出。 |
这些方案均在不同的行业、不同规模的企业中落地过,均可以对数据孤岛问题产生一些良好的效果,但无法彻底消灭数据孤岛。
数据中台是近些年消灭数据孤岛问题的热门方案,在包含 BAT在内的诸多企业中,都得到广泛应用。
数据中台是"一套可复用、可快速迭代、可支撑前台多样化业务需求的通用技术组件和能力",它旨在提供标准化的数据服务,实现数据的共享和价值最大化。
这么说可能还比较抽象,可以看看下面的框架图:
图片来源于网络
可以看到,数据中台对接了企业内外部的可用数据源,将数据统一集成到湖仓内,进行统一的清洗、加工处理,并配套质量及安全保障能力,最终通过数据服务的方式,统一为数据应用或业务系统做数据支撑。
相当于数据中台就是企业全部数据的集散地了,按道理,这样应该可以很少的解决数据孤岛的问题呀。
你想过一个企业内有多个数据中台的场景没?
制定统一的数据战略
建立跨部门数据共享机制
统一的数据标准和规范
数据治理与管控机制
建立数据文化与培训体系
数据驱动的决策流程
持续监控与优化
04
小结
数据孤岛与企业可能是长久的共生关系,我们和数据孤岛的战争远没有结束。
好在,我们并非需要完全消灭数据孤岛问题。
换个角度来看,数据孤岛有点像我们人类身体上的“致癌基因”,我并没有直接把它当癌细胞来举例,避免进一步夸大数据孤岛的危害。
伴随企业的发展和运营,一家企业必然会出现数据孤岛,但并不是都会带来毁灭性问题,就像很多的致癌基因并不一定会导致我们患癌一样。
数据中台虽然无法全面消灭数据孤岛,但是,如果企业能够制定统一的数据战略、标准和文化,数据孤岛的问题将在数据中台的支撑下,得到极大的改善。
消灭数据孤岛不是最终目的,我们需要的是将企业需要的数据有机地联动起来,为我们创造更大的业务价值。
只要不是阻碍我们实现业务价值的数据孤岛,就让他孤着又如何,总之,面对数据孤岛问题,建言四字:按需治理。
(正文完)
今天的分享就到这里,希望对你能有多帮助和启发。
我是唐晨,日更大数据+AI 领域知识和个人观点,关注 Data + AI 领域的小伙伴,可以点击关注公众号。
看看都是哪些角色在订阅唐晨说数,点击下方选项查看:
转载、投稿、商务、咨询合作
均可添加微信沟通