B站数据治理平台建设

科技 2024-04-21 11:21 浙江

导读Bilibili 是一家数据驱动的公司，数据在员工日常工作中至关重要。B 站内部有60% 的员工日常参与用数和数据决策，数据平台的建设直接影响了他们的工作效率。本文将介绍 B 站大数据开发治理平台产品的设计心得。主要内容包括以下几大部分：

主要内容包括以下几大部分：

1. B 站的用数场景及数据开发治理平台的概况介绍

2. 基于价值体系的数据地图产品建设

3. 基于抽象配置的数据治理产品建设

4. 核心工作及未来规划

B 站的用数场景及数据开发治理平台的概况介绍

B 站大数据开发治理平台历经 5 年建设，目前包含数据集成、数据开发、数据治理、数据安全、数据分析等多个模块，服务于公司各个业务部门。

B 站数据平台的使用者覆盖了 60% 的员工，其面向的用户群体主要是技术开发、产品、运营、算法工程师、分析师、数据开发等。通过对用户的数据能力进行分层，我们可将数据平台的用户大致区分为高阶开发、中阶用户、数据小白等 3 个用户群体。

基于用户分群，我们提出了数据平台的产品定位：专业，门槛，标准化，闭环。

专业：数据平台需要满足专业的数据开发及分析诉求，提升数据供给效率。
门槛：数据平台需要满足产运等用户低门槛的建数、用数、取数要求。
标准化：数据平台需要快速满足多业务、各部门不同的数据诉求，功能既要通用，也要足够灵活。
闭环：数据平台在 B 站也是数据中台，我们同时承担了数据运营、成本治理、规范约束、质量监控等管理角色，因此平台需要替业务完成数据从入仓、生产、运维、治理等流程的全闭环。

根据不用的业务场景和用数诉求，平台主要包括数据生产、数据消费、数据管理三大场景，分别提供相应的数据服务。

本文将重点介绍数据地图和数据治理产品的设计。

基于价值体系的数据地图产品建设

1. 数据运营的痛点

面向多业务的数据中台团队或数仓团队，当模型基数较大时，往往会面临数据运营难的痛点。如何通过数据平台，结合数据内容的建设，解决用户找数用数痛点，是数据运营产品的核心目标。随着模型规模的快速增长，我们从 20 年开始，也逐渐面临数据运营难的痛点。数据运营的痛点是分阶段暴露的：

2. 数据运营的解决方案

针对上述痛点，我们提出了一套解决方案：完善产品功能体系，推动数据运营体系的建设，建设数据模型的评估能力。

3. 数据地图产品建设

数据地图是一个基于元数据的数据门户，它能够帮助用户更好地理解和管理数据资源。作为一个企业的数据中心，数据地图具备多种功能，包括数据检索、元数据详情、数据预览、数据血缘和数据管理等。这些功能的存在，有效地提升了用户的找数效率，降低了数据理解难度，也降低了使用门槛。

通过完善洞察推荐、全文检索、类目体系、数据画像、UGC 及 API、数据专辑、数据血缘、影响分析等八大产品矩阵，能够满足用户在找数、用数、数据理解、数据治理、数据推广等不同场景下的使用诉求。

4. 数据运营方法

基于数据地图产品体系的迭代，沉淀了一些数据运营方法。

点(用户)：1V1 标准化

采用线上和线下的 1v1 方案针对问题进行答疑和解惑，使用工具咨询或者解决数仓相关问题。

线(业务)：周期节点化

定期线下结合数据内容对运营同学进行培训、访谈以及工具的普及。

面(平台)：1VN 体系化

将点和面的问题及解决方案进行记录，通过平台进行沉淀，并体系化地反馈给业务方。

通过点线面结合的运营方法，结合线上和线下的运营策略，形成了 B 站的数据运营方案，同时从数据价值、用户指标、用户访谈、定期调研四个评估体系，能够更有效的完成策略和效率提升。

5. 评估数据价值

经过产品功能迭代和运营体系化建设，已经可以很好地引导用户找数、用数，但是我们发现众多的数据模型，仍无法让业务有“模型建设得好”的感知，为了更好地衡量数据价值，对模型进行 ROI 评估，驱动良性的模型运营和数据建设，构建了模型价值评估体系。通过衡量数据价值，能有效提升业务的数据认可度，基于此可建设数据推荐策略、数据开发价值评估、模型的管理策略和治理策略。

6. 数据价值计算

根据数据价值，设计了模型价值分。数据应用场景主要包括数据查询热度、ETL 引用情况、API 引用情况、BI报表热度、数据应用使用情况、出仓业务场景热度。价值元素主要包括内部人效、外部基线等级、外部数据质量、安全等级、数据新鲜度等方面，根据不同场景和不同因素进行份子权重设定，并通过产品化方案，更有效地支持多业务自定义数据价值。

7. 数据地图效果展示

以下是具体场景下的产品功能展示：

找数场景

包括元数据展示、标签展示、用户洞察、数据专辑功能等功能。

用数场景

主要集中在表详情页的功能，提供了丰富的应用功能，包括基本信息、业务信息、存储信息、标签等。

血缘&影响分析

基于血缘数据，沉淀了血缘地图和归因/影响分析两个产品。血缘地图提供手动探查、可视化分析、链路分析的功能；归因/影响分析功能提供基于血缘的向上和向下的数据聚合分析的功能，主要针对下游数据异动快速定位问题、口径变更对基线的影响的问题，提供批量血缘查询、信息聚合、拉群和通知的功能。

产品功能、数据运营体系、以及数据价值评价三方面的建设，为数据运营带来了显著提升。经过迭代，数据地图渗透率从 30% 提升到 60% ;推荐表热度提升 40%，用户评价提升 33%。同时数据价值被业务认可，价值分 Top 热度提升 20%，用户能找好数，用对数，数据建设价值可被衡量和评估。

基于抽象配置的数据治理产品建设

在 B 站，表和任务以每半年翻倍的速度进行增长。从 22 年开始，我们关注到数据治理需要以更高效的方式进行推进和落地，因此提出了用 B 端产品化的思路针对数据治理方案提供的通用治理工具，以高效解决数据治理问题。

1. 建设背景及产品架构

在业务快速发展期间，数据资产增长较快、资产管理混乱，数据治理工作往往迫在眉睫。通常数据治理工作有如下痛点：

数据治理入手及落地难，操作和流程无法指导
运动式,治理工作不可持续
治理成效的可视化不足
治理不到人，权责不分明
运营成本高，消耗人力

从数据成本、数据规范、数据质量、数据安全四大方向入手进行治理。治理中心的产品框架主要由管理运营、治理配置& 应用、基础数据模块组成。以元数据为基础数据，基于灵活配置，提升治理效果。

2. 数据治理运营机制及工作流程

结合数据委员会、治理工具、运营机制三个方面，逐渐形成了一套持续可执行的治理运营流程。治理工作推进流程采用策略线上 POC->数据委员会发布->策略上线的新流程，对比之前流程有很大的改善。

3. B 站治理运营的推进痛点和诉求

在 B 站，数据治理运营的痛点主要有三个方向：治理的资产对象多、资产的操作路径特殊、存量问题资产多，增量快。

4. 治理工具的解决方案

通过丰富的元素和配置，可以实现用户个性化诉求，解决不同业务、不同视角、不同用户制定的形态各异的治理策略，比如：配置流程固定化、配置参数规范化、配置操作简单化。让业务自主完成治理方案的制定、规则定义和工作推进。

5. 抽象：通过通用化配置实现个性化

以下是针对上述三个数据治理问题，提供的通用化配置的产品功能。

抽象治理对象

将资产抽象为统一的元数据对象，每个治理对象有通用的属性和自定义属性，围绕元数据进行治理数据建模。每个对象的属性，均可以通过动态参数如{jobid} 的形式被获取，形成全局变量。

抽象操作和处理方案

充分利用现有功能和接口，通过配置 url、接口入参等，快速达到治理动作复用和上线，极大提升功能落地效率。

统一治理问题的生成和处理流程

通过开发数据策略、配置治理对象、配置操作流程、动态参数及使用文案，可快速生成一个待办问题生成器；通过调度，每天自动扫描文档，生成待办明细，推送用户治理。

6. 效果及收益

目前通过治理工具，B 站已上线了 62 个策略，每个策略平均开发和上线时间 2-3 小时。累计生成治理问题 8w+，累计处理治理问题 2w+，累计治理金额超 500w，累计节约人效 100+ 人日。

300万字！全网最全大数据学习面试社区等你来！

如果这个文章对你有帮助，不要忘记 「在看」 「点赞」 「收藏」 三连啊喂！

全网首发|大数据专家级技能模型与学习指南(胜天半子篇)

互联网最坏的时代可能真的来了

我在B站读大学，大数据专业

我们在学习Flink的时候，到底在学习什么？

193篇文章暴揍Flink，这个合集你需要关注一下

Flink生产环境TOP难题与优化，阿里巴巴藏经阁YYDS

Flink CDC我吃定了耶稣也留不住他！| Flink CDC线上问题小盘点

我们在学习Spark的时候，到底在学习什么？

在所有Spark模块中，我愿称SparkSQL为最强！

硬刚Hive | 4万字基础调优面试小总结

数据治理方法论和实践小百科全书

标签体系下的用户画像建设小指南

4万字长文 | ClickHouse基础&实践&调优全视角解析

【面试&个人成长】社招和校招的经验之谈

大数据方向另一个十年开启 |《硬刚系列》第一版完结

我写过的关于成长/面试/职场进阶的文章

当我们在学习Hive的时候在学习什么？「硬刚Hive续集」

http://mp.weixin.qq.com/s?__biz=MzU3MzgwNTU2Mg==&mid=2247521559&idx=1&sn=62fe693aed40f4aa4f1fc3fda9abe3d4

大数据技术与架构

王知无，大数据卷王，专注大数据技术分享。

最新文章

数据开发SQL写得好有没有用？

Spark 4.0｜自适应查询(AQE)优化革命！

【收藏版】抖音集团指标管理与消费体系建设实践

10万字、近20家企业BI智能分析决策合集

【排查问题/面试必备】Doris SQL执行流程全解析

强烈建议尽快搞个软考证！（重大利好）

Paimon x StarRocks 实时湖仓落地实战

Paimon的Changelog Producer到底有什么用？

Apache Paimon主键表的一些最佳实践

大数据湖仓一体架构未来思考

Apache Doris 3.0核心特性和生产实践解读

从Clickhouse到Doris，湖仓一体架构升级实践

<From官网>Paimon你必须要知道的核心概念

Apache Paimon 0.9版本的一些特性解读！

自助者天助之｜记录大数据提高班锦鲤妹妹从小公司进入中大厂的经历！

【查询优化】Doris性能优化不要慌，再看看这里！

Doris性能优化不要慌，再看看这里！

抱歉，年前我劝各位真的别轻易离职......

Doris性能优化不要慌，看看这里！

面试界经典的「如果xx怎么办？」问题回答思路

技术类面试，面试官的决策标准

关于Flink内存分配核心知识点

Apache Paimon走在正确的道路上｜一些使用体验和未来判断

Doris Compaction生产环境最佳实践这个问题该怎么回答？

零售消费数据分析案例｜七秒易购供应链管理全流程解析（附下载）

Flink 1.20 版本发布，一些值得注意的特性！

简简单单一份大数据面经

Apache Doris 入门 10 问

关于Apache Paimon你需要知道的基本知识

数据开发方向选择问题一次性说完

互联网末法时代的一些思考

最近换工作的一些启示，清华学姐篇

Doris 2.0 ｜高并发点查询性能提升！

收藏版｜数据湖在快手的应用实践

除了写代码，有哪些技能可以让你突破瓶颈期？

有人给我提了一个「差不多就行」的需求？

好多朋友离开大数据开发这个行业了吗？

Apache Paimon要赢了？湖仓一体实时化时代全面开启！

为了摸鱼，我用AI自动清洗数据

收藏级｜蚂蚁金服EB级大数据治理最佳实践

（待会删）yyds，大数据开发请低调使用！

从 0 到 1 构建一站式数据开发治理平台

裁员了，很严重，大家做好准备吧！

面试中的数据模型设计问题该怎么回答？

Apache Paimon毕业，湖仓架构的未来发展趋势！

第一批用AI工作的大数据开发，已经碾压同事了！

Apache Paimon毕业，湖仓架构的未来发展趋势！

B站数据治理平台建设

数据治理要不要在简历中体现？

金三银四还有没有？

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉