目前,我正在体系化更新数据资源管理/数据治理/数据中台系列文章。
| 01
企业在指标管理和应用中遇到的问题
“如果数据仓库和可视化报表是首站,大数据平台和敏捷 BI是第二站,数据中台是第三站,那么,指标平台就是大数据的下一站”--佚名。
“指标”的概念可比“大数据”这个词出现的要早多了。在 20 世纪 60 年代指标就被提出来了,用于衡量和管理企业的绩效,相比之下,“大数据”的概念则是到了 2001 年左右才被正式提出。
时至今日,指标仍然是指导企业战略目标落地的标准语言,是企业数字化经营的核心数据载体。
随着企业数字化逐渐进入深水区,在数据应用方面也暴露出越来越多的问题。而指标管理混乱问题,尤为明显,已经严重影响了企业数字化深化的进度和质量。
具体而言,有以下突出问题:
口径不一致,主打一个乱。
不同的业务部门或组织,在度量面向同一业务发展情况时,口径经常不一致。
比如虽然指标中文名都叫“黑金活跃用户销售额”,市场部门和会员中心对于黑金活跃用户的定义存在差异:
市场部门以过去三个月内的购买行为和消费金额作为衡量标准,而会员中心则以最近一个月内的购买行为和消费金额作为衡量标准。
响应速度跟不上业务需求,主打一个慢。
由于需要同时支撑多部门的数据处理需求,需要经过需求沟通、指标开发、报表上线等环节,流程长成本高,且响应慢,在人员有限的情况下,很难支撑众多部门的需求,研发效能成为短板。
灵活性不足,主打一个死板。
业务人员希望数据不固化、能及时修改,更灵活的支持业务数据需求,当缺少想要的指标时,能够快速定义,实现真正自助式分析,以面对更细颗粒度、更复杂的业务需求 。
| 02
指标平台的演进
指标口径不一致的问题,一直是一个核心痛点,不过这个痛点如果通过数据中台或数据仓库严管控的话,也是可以有效解决的。
难点在于,如何同时解决口径不一致、响应速度慢、灵活度不足的问题。
现在市面上的指标平台,都瞄准了这一复杂场景,推出了第三代一站式指标管理平台。
图片来源于网易数帆指标平台
以报表为核心的第一代,以宽表为核心的第二代,当下进化到以指标为核心的第三代。
同样被叫做第三代指标平台,也有另外一种分法。
第一代是以敏捷 BI 为核心,在应用层解决指标的问题;
第二代则是以数仓为核心,在数据基建层来解决;
第三代则是以国外 HeadlessBI(无头 BI)概念为基础,将指标从 BI 中抽离出来,生成一个解耦层(来完成指标的统一管理和定义,也就是第三代指标平台)。
目前,北京数势和杭州大应主要按照 HeadlessBI 的概念在构建(也就是第三代),而奇点云则是基于自身数据中台的经验和优势,在数据基建层(数仓)来完成指标的统一构建和管理,逐步实现从治到系统自动化的处理效果,通常主流的 BI 工具,则都支持指标的定义和应用。
| 03
指标平台的功能
很多读者可能有个疑问:还是没搞明白,有了数据中台和 BI 系统,为啥还需要单独的指标平台?
接下来,我们一起看一下指标平台包含哪些模块:
图片来源于网易数帆指标平台
1. 指标定义
功能:用于定义业务指标,包括指标的名称、描述、计算公式、数据来源、维度和度量等
核心能力:
指标标准化:确保所有定义的指标具有统一的格式和标准。
计算公式管理:支持复杂计算公式的定义和管理。
数据源配置:支持多种数据源的配置和集成。
2. 指标开发
功能:用于定义和开发业务指标,包括指标的名称、描述、计算公式、数据来源、维度和度量等,同时提供开发工具和环境,支持开发人员编写和测试指标计算逻辑。
核心能力:
指标标准化:确保所有定义的指标具有统一的格式和标准。
计算公式管理:支持复杂计算公式的定义和管理。
数据源配置:支持多种数据源的配置和集成。
可视化开发工具:提供拖拽式界面,简化指标开发过程。
版本管理:支持指标计算逻辑的版本控制和管理。
自动化测试:提供自动化测试工具,确保指标计算的准确性和稳定性。
3. 指标管理
功能:管理已定义和开发的指标,包括发布、维护和更新等。
核心能力:
权限管理:控制不同用户对指标的访问和操作权限。
生命周期管理:管理指标从定义到废弃的整个生命周期。
日志和审计:记录指标操作日志,支持审计和追踪。
4. 指标分析
功能:提供数据分析工具,帮助用户深入了解指标数据。
核心能力:
可视化分析:支持多种图表和可视化工具,帮助用户直观地理解数据。
数据挖掘:提供数据挖掘和分析模型,挖掘隐藏的业务洞察。
自助分析:支持用户自助进行数据分析和报表生成。
5. 指标服务
功能:用于构建和管理统一的业务指标语义层,确保所有业务指标具有一致的定义和解释。
核心能力:
统一语义层:提供一个统一的指标语义层,确保所有业务指标的定义和解释一致。
模型管理:支持业务模型的定义、管理和维护,确保模型的正确性和一致性。
模型共享:支持在不同业务部门之间共享统一的指标模型,确保数据的一致性和可比性。
模型优化:提供模型优化工具,支持对指标模型的持续优化和改进。
数据整合:支持将多个数据源的数据整合到统一的指标模型中,提供全面的数据视图。
| 04
小结
经过多年的探索和发展,大家逐渐意识到,很多高大上的概念如果不具备落地价值,那么一切都是空谈。
一切数据应用手段和工具,都要为业务的发展做支撑和贡献,否则终将被淘汰。
指标平台除了规范化定义指标以外,最大的作用是统一团队协同语言,让大家劲往一处使。
(正文完)
今天的分享就到这里,希望对你能有多帮助和启发。
我是唐晨,日更大数据+AI 领域知识和个人观点,关注 Data + AI 领域的小伙伴,可以点击关注公众号。
看看都是哪些角色在订阅唐晨说数,点击下方选项查看:
有任何问题想咨询我本人,可添加微信。