快手数据相关建设指南:数据中台、数据治理评估体系、数据指标、指标体系、应⽤场景···(附相关资料下载)

科技   2024-11-08 14:00   天津  

木木自由/数据分析·领地,一起学习数据分析,持续更新数据分析学习路径相关资料~更多产品、运营与数据分析、数据治理、数据资产干货以及经验分享(精彩数据观点、学习资料、数据课程分享、读书会、分享会等你一起来乘风破浪~


木木自由·数据分析·领地

·


快手是一家数据驱动的公司,数据扮演了非常重要的角色,而数据的生产加工主要依靠数据开发工程师,其工作内容会涉及多个方面。快手数据建设相关内容,值得数据从业者参考借鉴~

在此,【数据分析·领地】也整理了快手数据相关建设指南》“供大家更好的学习了解,仅供学习交流!

·快手数据中台建设实践


大数据服务化平台



数据平台本身的定位是一站式自助数据服务平台。用户通过平台来创建数据服务接口、运维服务、调用服务。平台秉承“配置即服务”的理念:数据开发工程师不再需要手写数据服务,只需要在平台上进行简单配置,平台便可自动生产和部署数据服务,从而提升效率。


系统架构


大数据服务化业务架构如下所示,Data Lake 数据湖中存储原始数据,经过数据开发之后,形成按主题域组织的数据资产。此时数据资产通常是在数据仓库,访问速度较慢,因此需要通过数据加速到更高速的存储介质,最后经过多场景服务接口,服务于业务。


在技术架构方面,数据接口形式有 RPC 和 HTTP 两类接口。RPC 接口不需要重复建立链接,且传输数据时会被高效序列化,适用于高吞吐场景下的微服务,实现负载均衡、流控、降级、调用链追踪等功能。相对而言,HTTP 接口传输效率低一些,但使用非常简单。


关键技术一:配置即开发


平台用户分为两类角色:其一是数据服务生产方,其二是数据服务调用方。数据服务生产方只需要配置,做到“配置即开发”,配置包括:
  1. 数据源;
  2. 数据加速到何处;
  3. 接口形态,访问方式;
  4. 配置独立的测试环境,访问隔离的测试数据。当配置完毕后,数据服务平台便会根据配置清单,完成接口的自动化生产和部署。生产和部署完毕后,调用方在平台申请服务权限调用。通过自动化生产,达到配置即开发的目的,从而极大的提升效率。



关键技术二:多模式服务形态


数据服务有多种服务形态,包括:

1、KV API:简单点查,可以支撑百万QPS、毫秒延迟。这类API是通过模板自动化创建出来,支持单查、批量查询等接口,返回的结果是 Protobuf (PB) 结构体,从而将结果自动做了 ORM,对于主调方更加友好。典型场景包括:根据IP查询geo位置信息、根据用户Id查询用户标签画像信息等。

2、SQL API:复杂灵活查询,底层基于 OLAP/OLTP 存储引擎。通过 Fluent API 接口,用户可自由组合搭配一种或若干种嵌套查询条件,可查询若干简单字段或者聚合字段,可分页或者全量取回数据。典型场景包括:用户圈选(组合若干用户标签筛选出一批用户)。


3、Union API:融合API,可自由组合多个原子API,组合方式包括串行和并行方式。调用方不再需要调用多个原子API,而是调用融合API,通过服务端代理访问多个子查询,可以极大降低访问延迟。



关键技术三:高效数据加速


前面提及的数据资产,通常是存在于低速的存储引擎中,无法支撑线上业务高访问流量。因此需要以系统化的方式进行数据加速。目前有两种加速方式:全量数据加速和多级缓存(部分数据加速)
(1)全量数据加速

从多个数据源摄入原始数据(如Kafka,MySQL、线上访问日志等),进行加工建模后,得到数据资产。数据资产经由独立的数据同步服务,同步至其他更高速的存储引擎,如 redis、hbase、druid等。


数据同步支持一次性或者周期性(小时、天、周等)将数据从Hive同步至其他存储中,数据同步本身是基于分布式的调度系统,内核是基于 datax 进行数据同步。大数据服务化平台单日同步的数据量达到1200亿条,数据size达到20TB。


(2)多级缓存

大数据服务化平台会使用 Redis、Hbase、Druid、Clickhouse 等方式存储所有数据,但是部分存储如Hbase速度可能较慢,针对热点数据需要使用额外的热点缓存来Cache数据。热点缓存是多级缓存,针对每个API接口,用户可自由搭配组合多级缓存、灵活设置缓存策略。


此外,针对数据较大的API,还可配置数据压缩,通过多种压缩方式(如 ZSTD, SNAPPY, GZIP 等),可将数据量显著减少(部分API 甚至能减少90%的数据存储量)


关键技术四:高可用保障


服务可用性是微服务领域内的一大核心,服务的高可用通常需要组合多种手段来保障。快手数据服务化平台通过多种方式来达到高可用的目的,主要包括弹性服务框架、资源隔离及全链路监控。

(1)弹性服务框架

数据服务是部署在容器云环境,容器云是快手自研的弹性可伸缩的容器服务,部署在其中的RPC服务会注册到 KESS (快手自研服务注册与发现中心),供主调方去调用,如有离群坏点,会自动摘除。服务调用是基于 RPC,全链路都有监控,包括服务可用性、延迟、QPS、容器CPU、容器内存等情况。


(2)资源隔离

资源隔离是可用性保障的常见手段之一,通过隔离将意外故障等情况的影响面降低。不管是微服务,还是存储,我们都按照业务 + 优先级(高、中、低)粒度隔离部署,独立保障,业务之间互不影响、业务内不同级别也互不影响。同一业务线内可能有多个不同数据服务,通过混合部署,提高资源使用率。


(3)全链路监控

服务很难避免出现问题或者故障,一旦出现问题,及早发现及早介入是非常重要的。服务平台构建了全链路监控,包括:


  • 数据同步:对数据资产同步至高速存储的过程进行监控,包括数据质量检测(过滤脏数据)、同步超时或者失败检测等。
  • 服务稳定性:构建一个独立的哨兵服务,来监测每个API的运行指标(如延迟、可用性等),客观的评估健康度。
  • 业务正确性:数据服务需要确保用户访问的数据内容和数据资产表内容是一致的,因此哨兵服务会从数据一致性层面去探查,确保每个API的数据一致性。


·快手搭建数据指标体系

那看完了好的数据指标体系的一个标准之后,我们来一起看一下怎么能够去建设一个好的数据指标体系。通用的建设数据指标体系的方法论是OSM理论:

  • O-代表了了公司/业务/产品/项目核心的价值点和以及核心目的是什么,搞清楚业务方向的目标是可以确保后续的指标体系拆解是贴合业务核心价值的,和贴业务核心目的的。

  • S-代表了为了达成上述目标采取的策略和抓手,围绕着核心目标进行拆解出来相对应的业务策略之间是可以相比较的,快速定位问题。

  • M-是针对S的抓手用于衡量策略的有效性,通过适合的量化的数值针对策略的有效性进行评估。

我们举一个日常电商直播业务的例子,看一下具体的这个方法论具体是怎么操作的,首先来看一下对于电商直播业务的O,一般都会是由业务同学直接去给到,如果业务同学没有给到的话,大家可以从公司制定的财报里边,或者说相对应的业务制定的每月或每个季度的OKR里找到,那针对于电商直播业务来讲,它核心的指标就是提升营收(GMV)。

然后在这个目标Objective的方向上,我们可以使用UJM(User Journey Map)去拆解相对应的这个业务策略(Strategy)。UJM的逻辑是从业务的核心目标出发,拆解整个业务流程上我们为用户提供价值点,以及这些价值点触达用户的整体路径都有哪些。

UJM的方法论可以保证:

  • 第一:所有业务策略类的拆解不重不漏,所有业务策略相关的触点都会在里面;

  • 第二:UJM的拆解可以反向论证整个业务策略是不是真的能够为用户去带来相对应的价值,从而达成最终的业务目标。

所以拿电商这个例子我们来看一下:为了完成这个相对应的一个营收目标(GMV),我们触达用户所有的行为路径。

  • 第一步,用户在整个直播广场页面或者搜索banner位去查到相对应的一个直播列表或者相对应的一个信息,那这种情况下,用户触点就是直播广场的流量位或者是搜索位。这个步骤上对应的业务策略是需要去优化流量位的一些内容,或者是优化搜索位置的匹配效率,让用户能够快速的看到相对应他想看到的内容。

  • 第二步,用户选择了可能感兴趣的内容之后,去进行相对应的内容的观看,从而产生兴趣点。这个兴趣可能是对主播本人,有可能是对商品本身,那在这个角度来讲,业务主要抓手就是直播内容,主播或者是商品,对应的业务策略就应该是打造主播个人的人设,或者提升商品的性价比,从而让观众能够产生兴趣。

  • 第三步,如果用户感兴趣,他就会点击相对应的小黄车,进行付费的操作,对应的业务策略应该是减少摩擦,减少操作步骤,能够提升用户在付费页面的转化效率。

  • 第四步,用户完成购买之后,可能会有一些社交诉求。比如说他在这个直播间买了性价比特别高的货,特别想把它分享给他的好友,那这种情况下,业务上面可以提供分享晒单或返现的策略,促进用户去进行相对应的分享,让更多的人完成直播间的购买行为。

  • 最后一步,用户离开直播间的时候,业务上会给用户提供一个关注主播的机会,把这个用户和主播的信任关系或关注关系沉淀下来,进而促进用户去进行之后的复购,从而提升我们最后的GMV规模。

在梳理了用户行为路径上的业务策略后,我们可以按照为用户提供的价值划分为四个象限:是节省时间还是消磨时间;是为了用户提供的价值来自于产品本身,还是来自于『连接』其他资源。

  • 比如说为用户提供工具类型业务策略,一般是为了让用户节省时间,快速的定位到所需要的信息或者完成某一种任务, 那么这种策略核心的价值就在于提升效率,一般的衡量指标是:使用量,目标达成率, 频次;以上面电商的例子来讲的话,就是第一步中的流量推荐位,以及搜索功能是不是能够让用户快速的定位到它所感兴趣的直播内容,那这种情况下做优化流量位的内容和搜索匹配优化我的衡量标准就是它的效率,曝光,点击,转化效率。

  • 比如说为了用户提供消遣的内容,让用户可以消磨时间, 那么这种策略的核心价值就在于为了用户提供丰富的高质量的内容,不管是短视频, 直播, 或者活动玩法。那么这种策略的核心的价值就在于为用户提供内容的量与质,一般衡量指标是:消费人数, 消费广度, 消费市场,以及用户与内容的互动,用来衡量用户对于内容的喜爱。比如B站的弹幕就是一种用户对于内容认可的更高层次的情感表达。

  • 比如说为了用户提供与供应商和商品的链接,促进用户交易,那么这种策略的核心价值就在于为用户提供好的购物体验,能够提升付费页面转化效率, 提升购买的总规模,客单价以及复购率。上文中的电商直播的例子里面,衡量小黄车和付费流程效果的核心指标就在于页面的转化效率高不高。

  • 比如说为了用户提供与其他人的情感连接, 促进用户和用户之间的关系沉淀,进而让用户对于平台或者对于业务更有依赖性,促进用户的活跃和互动,一般的衡量指标是:内容的发布量,用户和用户之间的互动量,沉淀下来的关系对数。譬如说快手是一个社区平台,那就是用户和创作者之间的一个链接;像微信,是用户和用户之间的一个情感的连接,那衡量这种连接的紧密性主要是人与人之间的互动量,点评赞数量,沉淀的关系的数量。以上文电商的例子来说,衡量指标就是分享给好友的用户数, 次数,以及沉淀的关系对数。 

文│网络整理:快手相关数据建设内容
【数据分析·领地】星球一起学习财务分析、经营分析、商业分析、数据治理、数据资产~等数据分析相关资料~

- END -

附1:【快手数据建设】快手大数据安全治理实践

···

(进星球领取完整版)

附2:【快手数据建设】如何打造标准化的数据治理评估体系 - 快手数据平台

···

(进星球领取完整版)

附3:【快手数据建设】如何建设好的指标体系-快手数据平台.pdf

·

····

附4:行业数据治理相关指南》

包括证券行业数据治理解决方案、大厂数据治理、智能数据治理-数据自动化清洗功能设计方案、大模型赋能数据治理方案···等内容~

数据治理解决方案-证券(66页 PPT).pptx

数据治理大数据平台解决方案(54页 PPT).pptx
数据治理平台解决方案(76页 PPT).pptx
智能数据治理-数据自动化清洗功能设计方案.pptx
企业数据治理平台建设与应用技术方案(41页 PPT).pptx
【数据治理】数据治理体系与睿治数据治理产品亿信(113页 PPT).pptx
模态数据融合治理实践(45页 PPT).pptx
2024年大模型赋能数据治理方案(24页 PPT).pptx
华为数据治理案例:引领企业数字化新纪元的智慧密钥.pdf

···



···

(进星球领取完整版)

获取全套资料,请在公号后台回复“8”,加入数据分析·领地知识星球,或扫描下方文末二维码进入星球下载。

「完」

版权声明:本号内容部分来自互联网,转载请注明原文链接和作者,如有侵权或出处有误请和我们联系。


(点击阅读原文进数据分析星球,领取统计学相关资料、数据指标搭建、案例、方案、方法相关资料等相关分析资料~)





#数据分析相关课程# 从零开始学数据分析25讲

#数据分析相关课程# 数据分析思维与实战23讲

   ···

#数据分析入门级别资料# 数据分析基础分享讲解(1-6)(附数据分析报告)

·····

····

    立即扫码
    扫码加入星友群
    即可各种数据分析思维、工具、课程、书籍、项目、运营、产品相关结构化体系资料~
    内容持续更新,期待你来


    在后续也会在【数据分析·领地】中,组织读书会,分享会等专项活动,读书会主要学习技术类的书籍领读,分享会主要以数据分析思维分享,案例复盘分享等~

    部分图片来源于网络,使用图片、文字等均不作为商业用途使用,如有侵权,请联系删除~

木木自由
《数据分析手记:72个数据分析问题精解》作者,这是运营对数据的漫谈理想之地,这有数据对运营的收藏之所,这为产品对运营的思索之位,明确学习方向、开拓视野、相互交流!
 最新文章