腾讯选择后者,在灵活敏捷 BI 和统一管控指标口径之间

文摘   2024-08-24 00:04   浙江  
Hi,你好呀,见字如面,我是唐晨,日更大数据领域知识和个人观点,关注 Data + AI  领域的小伙伴,可以点击关注公众

目前,我正在体系化更新数据资源管理/数据治理/数据中台系列文章。

今天的文章,我们聊一下:腾讯视频忍受不了指标口径不一致的问题了,开始强推指标中台建设。
我以前的很多老同事还在腾讯,前几天找一个关系不错的同事聊了聊,关于腾讯在大数据领域的一些动向。
“今年上半年忙啥大项目呢”我问
“倒腾指标平台呢,AI 方面也在探索,都比较崎岖,一言难尽”
“之前不是在 BI 可视化平台搞的指标吗?咋了”
“BI 那边太灵活了,腾讯视频的老板觉得内部口径不一致问题太严重了,非常影响内部协同和工作效率”
“指标口径问题,算是一通病了,那现在咋搞的”
建设统一的指标平台,把业务所需的指标都规范化管理起来,BI 可视化也联动指标平台做,年底准备把全部业务指标看板都重构掉,统一使用指标平台生产的指标。”
“那这工程量可不小啊”
“是啊,业务老板受不了了呗,业务分析会老是被数据对不齐的问题干扰,影响业务决策和效率。”
其实,腾讯视频老板面临的是通用问题,很多企业数字化转型时都会遇到指标口径不一致的问题。

| 01

企业在指标管理和应用中遇到的问题

“如果数据仓库和可视化报表是首站,大数据平台和敏捷 BI是第二站,数据中台是第三站,那么,指标平台就是大数据的下一站”--佚名。

指标”的概念可比“大数据”这个词出现的要早多了。在 20 世纪 60 年代指标就被提出来了,用于衡量和管理企业的绩效,相比之下,“大数据”的概念则是到了 2001 年左右才被正式提出。

时至今日,指标仍然是指导企业战略目标落地的标准语言,是企业数字化经营的核心数据载体。

随着企业数字化逐渐进入深水区,在数据应用方面也暴露出越来越多的问题。而指标管理混乱问题,尤为明显,已经严重影响了企业数字化深化的进度和质量。

具体而言,有以下突出问题

  • 口径不一致,主打一个乱

    不同的业务部门或组织,在度量面向同一业务发展情况时,口径经常不一致。

    比如虽然指标中文名都叫“黑金活跃用户销售额”,市场部门和会员中心对于黑金活跃用户的定义存在差异:

    市场部门以过去三个月内的购买行为和消费金额作为衡量标准,而会员中心则以最近一个月内的购买行为和消费金额作为衡量标准。

  • 响应速度跟不上业务需求,主打一个慢

    由于需要同时支撑多部门的数据处理需求,需要经过需求沟通、指标开发、报表上线等环节,流程长成本高,且响应慢,在人员有限的情况下,很难支撑众多部门的需求,研发效能成为短板。

  • 灵活性不足,主打一个死板

    业务人员希望数据不固化、能及时修改,更灵活的支持业务数据需求,当缺少想要的指标时,能够快速定义,实现真正自助式分析,以面对更细颗粒度、更复杂的业务需求 。


| 02

指标平台的演进

指标口径不一致的问题,一直是一个核心痛点,不过这个痛点如果通过数据中台或数据仓库严管控的话,也是可以有效解决的。

难点在于,如何同时解决口径不一致、响应速度慢、灵活度不足的问题

现在市面上的指标平台,都瞄准了这一复杂场景,推出了第三代一站式指标管理平台。

图片来源于网易数帆指标平台

以报表为核心的第一代,以宽表为核心的第二代,当下进化到以指标为核心的第三代。

同样被叫做第三代指标平台,也有另外一种分法。

第一代是以敏捷 BI 为核心,在应用层解决指标的问题;

第二代则是以数仓为核心,在数据基建层来解决;

第三代则是以国外 HeadlessBI(无头 BI)概念为基础,将指标从 BI 中抽离出来,生成一个解耦层(来完成指标的统一管理和定义,也就是第三代指标平台)。

目前,北京数势和杭州大应主要按照 HeadlessBI 的概念在构建(也就是第三代),而奇点云则是基于自身数据中台的经验和优势,在数据基建层(数仓)来完成指标的统一构建和管理,逐步实现从治到系统自动化的处理效果,通常主流的 BI 工具,则都支持指标的定义和应用。

| 03

指标平台的功能

很多读者可能有个疑问:还是没搞明白,有了数据中台和 BI 系统,为啥还需要单独的指标平台?

接下来,我们一起看一下指标平台包含哪些模块:

图片来源于网易数帆指标平台

1. 指标定义

功能:用于定义业务指标,包括指标的名称、描述、计算公式、数据来源、维度和度量等

核心能力:

指标标准化:确保所有定义的指标具有统一的格式和标准。

计算公式管理:支持复杂计算公式的定义和管理。

数据源配置:支持多种数据源的配置和集成。

2. 指标开发

功能:用于定义和开发业务指标,包括指标的名称、描述、计算公式、数据来源、维度和度量等,同时提供开发工具和环境,支持开发人员编写和测试指标计算逻辑。

核心能力

指标标准化:确保所有定义的指标具有统一的格式和标准。

计算公式管理:支持复杂计算公式的定义和管理。

数据源配置:支持多种数据源的配置和集成。

可视化开发工具:提供拖拽式界面,简化指标开发过程。

版本管理:支持指标计算逻辑的版本控制和管理。

自动化测试:提供自动化测试工具,确保指标计算的准确性和稳定性。

3. 指标管理

功能:管理已定义和开发的指标,包括发布、维护和更新等。

核心能力

 权限管理:控制不同用户对指标的访问和操作权限。

生命周期管理:管理指标从定义到废弃的整个生命周期。

日志和审计:记录指标操作日志,支持审计和追踪。

4. 指标分析

功能:提供数据分析工具,帮助用户深入了解指标数据。

核心能力

可视化分析:支持多种图表和可视化工具,帮助用户直观地理解数据。

数据挖掘:提供数据挖掘和分析模型,挖掘隐藏的业务洞察。

自助分析:支持用户自助进行数据分析和报表生成。

5. 指标服务

功能:用于构建和管理统一的业务指标语义层,确保所有业务指标具有一致的定义和解释。

核心能力

统一语义层:提供一个统一的指标语义层,确保所有业务指标的定义和解释一致。

模型管理:支持业务模型的定义、管理和维护,确保模型的正确性和一致性。

模型共享:支持在不同业务部门之间共享统一的指标模型,确保数据的一致性和可比性。

模型优化:提供模型优化工具,支持对指标模型的持续优化和改进。

数据整合:支持将多个数据源的数据整合到统一的指标模型中,提供全面的数据视图。

| 04

小结

经过多年的探索和发展,大家逐渐意识到,很多高大上的概念如果不具备落地价值,那么一切都是空谈。

一切数据应用手段和工具,都要为业务的发展做支撑和贡献,否则终将被淘汰。

指标平台除了规范化定义指标以外,最大的作用是统一团队协同语言,让大家劲往一处使。

(正文完)



今天的分享就到这里,希望对你能有多帮助和启发。

我是唐晨,日更大数据+AI 领域知识和个人观点,关注 Data + AI  领域的小伙伴,可以点击关注公众号。

看看都是哪些角色在订阅唐晨说数,点击下方选项查看:


有任何问题想咨询我本人,可添加微信。


现在文字真的越来越少用户有耐心阅读完了,后期是需要经营视频号了,欢迎关注,到 500 了启动直播,线上聊一聊。


唐晨说数
大数据领域从业者,分享关于数据治理、数据中台、数据应用等领域相关的,个人实践及观点,以文会友,欢迎关注。
 最新文章