【果总谈BI】数据归IT,分析归业务

文摘   2024-11-12 21:28   美国  



站在业务和IT不同的角度来回答“怎样更好地创造业务价值”这个问题,一定会有不同的答案。在融合了这两种角色的视角后,企业知识开源首席布道师陈果的答案是:数据归IT,分析归业务。即IT部门主要负责管理好数据、提供好工具,分析本质上是业务要做的事情。


为何会有这样的结论?陈果在「敏捷·创变——2024观远数据智能决策峰会暨产品发布会」上分享了他的思考。




敏捷BI仍为市场主流

AI赋能催生新型模式

BI全称“Business Intelligence”,现在翻译为“商业智能”,但最初叫做“企业洞察”,它阐述了BI的实质:助力业务人员通过数据分析洞察企业运行脉络,催生企业洞察。1992年,Teradata推出首个ETL数据库,标志着分析型数据库诞生。BI也随之诞生,并开始了其到目前为止三个阶段的发展。



阶段一:数据仓库/数据挖掘

BI发展的第一个阶段,是数仓和数据挖掘的时代。彼时人们将注意力集中在数仓建立的两种范式:先有数据集再有数据仓库的“自上而下”的范式,以及先有数据仓库再有数据集的“自下而上”的范式。企业关注的重点在分析报表上,分析的对象则聚焦在结构化数据的挖掘。


阶段二:大数据和敏捷BI

随着大数据出现,数据形态由单一走向多元化,结构化数据演变为结构化、半结构化乃至非结构化数据并存。BI发展进入第二阶段,但并非完全替代了第一阶段,第一阶段以报表为主的BI依然存在。此时,“高级分析”兴起,聚焦机器辅助洞察生成,过程中不仅涵盖对历史数据的描述,还具备未来预测。融合AI+BI的高级分析,实现了用户中心化分析,依据场景驱动数据获取与建模,根据分析意图实现数据可视化,这便是第二阶段的敏捷BI。


今天为止,敏捷BI还是市场的主流方向,“让业务用起来”也是敏捷BI的核心理念。


阶段三:人工智能BI

近年来,AI热潮迭起,BI也开始了第三个阶段——“人工智能BI”的发展探索。AI更深入地融入BI领域,催生新型模式,由过往的AI+BI的“高级分析”进化为AI×BI的“增强分析”。AI对BI更深度地赋能,但并未改变BI的初衷——洞察业务本质。


Gartner在两年前提出“增强分析(Augmented Analytics)”,其核心理念是在于,现今BI最大挑战非可视化展现方式,而在怎样获取高质量的数据。例如即便同为销售分析,在不同管理语境下对销售的定义都是不同的,需依据分析意图获取数据,如果没有现成数据就会涉及很多数据加工或模型重塑的工作。融合AI能力实现的智能数据准备、智能建模、自然语言交互和查询能够大幅提升BI数据准备的效率,即实现“增强分析”。


另一个与“增强分析”同样对未来BI发展产生巨大影响的是“生成式AI”,其对BI分析方法带来巨大变化,值得再行详述。


技术发展持续放飞业务部门的数据消费需求

时至今日,多数企业依旧尚处于BI发展的第一阶段,即以报表为主的阶段,亟盼跃升至“让业务用起来”的敏捷BI阶段。而在BI发展的三个阶段中,企业业务与IT的分工也历经多次变迁。



在第一阶段,业务与IT职责泾渭分明。业务方提出报表需求,IT负责数仓建设、报表开发、ETL开发等,形成经典的瀑布式协作。


在第二阶段,业务与IT分工发生变化。IT重心转向精细化的数据加工与建模,包括指标开发、数据科学、ETL/ELT混合等工作。业务侧则涉足分析模型与可视化开发。双方互动加深,IT提供数据模型,业务在敏捷BI上自主用数,整体效率提升。但这一阶段要求业务人员要对数据特性、数据模型的深度认知,企业在这其中不仅要提供敏捷的工具,还要推动内部数据分析组织模式的变化,提升业务数据分析水平,才能真正实现“敏捷”。


到第三个阶段,业务与IT融合度更趋紧密。AI在很大程度上解放了对业务人员在技术方面的要求,集中精力于业务创新,让数据更好地赋能业务增长。IT也不再单纯是支撑角色,能够将更多精力放在数据治理、AI模型构建及管理等工作上,与业务共同探索数据价值最大化的路径,实现业务效能质变。



基于BI的三个发展阶段,我们能看到商业智能的范式发展。在横向上,是覆盖的企业员工数越来越多。在纵向上,是分析工作越来越智能化。而这两个维度整体来看,从低自动化、少数人使用的企业报表,到触及广泛员工群体,支撑业务人员的自主用数的自助分析,再到越来越智能化,让更多员工可以快速用起来的增强分析,整个范式演变的核心,就是“让业务用起来”。


在此范式下,生成式AI对传统BI的提升还在发展中,方向依然是要让业务把BI用好。这个结论来自于过去一年我们对ChatBI的深入考察所带来的三个发现:


1、当下,AI热议正酣,尤其在近一年里,随着AI技术迭代,机器学习与深度学习进步,自然语言处理越来越智能化、自动化,ChatBI日益风靡。但遗憾的是,真正意义上可以解决复杂商业问题的ChatBI尚未问世,目前ChatBI仅在特定场景提高了BI效率。当下主流方向是用自然语言助手提升BI系统的交互式体验,包括采用Text2SQl使得达模型可以连接到数据库架构,但目前还无法解决现实商业世界中的细微问题。


2、2024年出现了一个新的BI发展方向,所谓复合AI系统,通过智能体来管理和调用不同AI组件和工具,每个组件完成一个微小的任务,提高分析的灵活性、可解释性。这是当前的一个技术发展方向,但目前也尚未成熟。


3、在非互联网企业中,数据中台的应用价值已被证伪,企业OLAP和OLTP需要不同的数据治理策略,并且提升BI的敏捷性,让业务部门把BI先用起来。


总结来看,目前市场主流还是AI+BI的敏捷BI,生成式AI的发展将给BI带来深远影响,其发展重点还是如观远数据所一直倡导的“让业务用起来”。


企业BI效率提升建议

从集中式到分布式

近期有幸协助了国内某大型消费品企业优化BI体系,针对其BI效率提升问题给到了一些建议,借此机会分享给更多企业参考。



该企业规模庞大,IT团队有数百人,企业IT设施完备,主流软硬件装备齐全,数据链条畅通无阻,标准数仓建设到位,BI平台功能完善,可视化开发游刃有余。然而,即便资源丰富,仍面临数据需求交付周期长的难题,短则三周,长可达月余,症结何在?


问题出现在“怎么用”上。企业上了很好的BI工具,但依然深陷传统模式——业务提需求,IT开发。IT部门内部组织了20多人的BI团队,并构成跨财务、HR、营销等四五个业务域的分析团队小组,成员精通SQL、擅长BI工具运用、熟稔数据模型构建及可视化开发,但这整个过程中却没有业务用户参与。同时,内部数据资产梳理缺失,导致业务提出的需求不知道是否已有数据,使交付周期充满不确定性。


所以,该企业的问题不是技术问题,而是能够提升BI效率的敏捷组织的问题。对此,我们提出了三点建议:


第一,BI组织架构重塑。缩减BI团队规模,将数据工程师和数据架构师保留在IT部门,聚焦数据管道建设与SQL优化,基于数仓按照业务域开发标准化数据产品,深化数据治理。


第二,业务导向的流程优化。迁移业务分析师等至各业务部门,配以多样化的BI工具训练,让业务分析师能够自助建模分析。同时,更重要的是业务部门建立“数据驱动”的业务流程改进机制,让数据真正发挥价值。数据部门也要蜕变为核心推手,引导业务流程革新,让“表哥”“表姐”们称为业务改进的洞察者,为业务创新产生真正的价值。


第三,全方位数据素养提升。有用数需求的业务也能分成两类,一类是业务分析师,一类是实际要看数据的人。企业要在分析师与终端用户角色上双管齐下,推进全公司数据素养提升。通过数据黑客松比赛等方式提升业务部门用数能力,并且落实全公司的数据治理体系,营造浓厚的数据氛围,构筑坚实基础设施,确保数据效用贯穿企业上下。


“让业务用起来”的三大要素

对上述公司的三条建议,可以成为更多企业构建敏捷组织的参考。但要实现以上三点,企业也面临着一些挑战。其一是业务部门用户需要具备较强的数据工程能力,其二是分布式分析模式下,对指标管理归属的定义。它们指向的是“如何让业务用起来”的问题,而解决这一问题有三个前提条件:


1、建立指标管理,集中管控和自主分析的平衡

“让业务用起来”需奠基于健全的指标分析体系之上,哪怕是ChatBI,如果数据质量差、指标治理混乱,效率也会很低。定义指标可以在数据层、数据平台的指标层乃至独立的指标层进行,企业定义指标不论在哪一层进行,指标策略都要支持企业的分析形态。如果企业的分析形态是鼓励业务人员用起来,对指标管理的要求则会更高,就会需要像观远Metrics这样独立的企业统一指标管理平台。


此外,机器学习、智能应用乃至报表或BI数据可视化等不同的场景,都会对企业的指标平台建设提出不同要求,企业需要根据自身集中式或分布式的数据分析模式,进行指标平台建设。


2、以用户为中心的可视化

第二是要建立以用户为中心的数据可视化审美能力。结合实际应用场景与目标(展示说服、确认理解、探索分析),甄选合适的可视化方式,以此激发表达效果和认知共鸣。现在网络上有很多开源的数据可视化模版,观远BI也提供了众多标准化的可视化模板,一些生成式AI也已经可以帮助人们来生成数据可视化的图像,但掌握如何站在用户的角度可视化展现数据的方法更为重要。


3、降低对业务部门的数据工程能力要求,利用AI能力

最后是如何利用AI能力“让业务用起来”。观远数据目前也发布了最新的融合生成式AI能力的问答式BI——观远ChatBI,降低业务使用数据的门槛。但目前整个行业应用AI的旅程才刚刚开始,从数据准备、业务洞察到用户体验,如何利用AI能力,提升整个数据分析连路上的某一个环节或全链路的效率,让业务人员更好地把BI用起来,是我们未来要持续探索的方向。


扫码获取陈果分享完整ppt


陈果George
企业知识开源计划首席布道师。二十五年管理咨询经验,前波士顿咨询Platinion董事总经理、前IBM咨询全球合伙人、前怡安翰威特咨询全球合伙人、汉普咨询联合创始人、惠普咨询供应链首席顾问,还曾在国企工作过八年,担任过主板上市公司总裁。
 最新文章