中国信通院泰尔实验室发布了《应用可观测性平台通用能力技术要求》，这份标准从可观测性领域的数据模型、数据采集、数据分析能力、数据集成等十几个方面提供了指导性的要求。
那么，这项标准具体是如何在数据采集与处理等多方面指导可观测性平台建设的呢？
欢迎收看本期听云大讲堂：《应用可观测性平台通用能力技术要求》解读。
本期嘉宾
廖雄杰，基调听云联合创始人。
扫码进群，一起学习
以下内容根据视频内容整理：
大家好，我是廖雄杰，基调听云的联合创始人，目前负责观云可观测性平台的整体架构。
中国信通院泰尔实验室发布了《应用可观测性平台通用能力技术要求》，这份标准从可观测性领域的数据模型、数据采集、数据分析能力、数据集成等十几个方面提供了指导性的要求，今天我结合在基调听云可观测性平台构建过程中的实践，主要从最核心的数据采集、数据处理和数据分析能力三个方面来聊一聊我对于可观测性平台通用能力的理解，希望与各位同行多交流，也希望各路大神多多指正！
数据采集能力
我们先说数据采集能力，强大的数据采集能力是整个可观测性平台的基础，涵盖的观测数据包括指标、调用链、剖析、日志、事件等，这些观测数据可以通过不同的技术手段来完成前期的数据采集，我们可以用 Prometheus 来采集指标，用自动埋点技术来采集 Trace 和剖析数据。
在这个环节，除了这些看得见的能力，采集即治理也是一个容易被忽视的重要能力，数据治理一般很容易被认为是数据处理环节才需要关注的，但实际并非如此！有些数据治理的工作在平台数据处理环节成本会非常高，或者根本不具备可行性。
举个例子，我们经常需要把调用链和日志拉到一起来分析定位问题，但由于调用链和日志往往来源于不同的源，如果放到平台数据处理层，很难找到有效的技术手段将调用链和日志精确地关联起来，这时候我们就需要在采集环节提前做一些治理工作，例如，通过自动埋点技术自动将调用链的Trace Id输出到日志的上下文里，在采集阶段即完成调用链与日志的关联。
再举个例子，应用性能指标是通过 Trace-Span 原始数据聚合而来，如果这个聚合处理完全交给平台数据处理层，意味着采集端需要将采集到的原始数据全量发送给可观测性平台服务器，这也意味着可能需要付出巨大的传输成本。
数据处理能力
数据处理方面，实时流式处理是可观测性平台最基本的能力，除此之外，平台也应具备灵活的元数据管理、数据转换以及可配置的数据采样和生命周期管理能力。
可观测性平台的数据往往来自不同的源，要有效地将不同源的数据放到一个平台分析，灵活且强大的数据转换（即 ETL）能力是不可或缺的，大部分的数据治理都是在这个阶段完成的。在这个阶段，我们可以通过属性的提取和转换，将基础设施、指标、追踪等不同源的数据关联起来。可以给数据打上特定的标签，可以从指标或事件中抽取实体，也可以通过属性的抽取和聚合完成从日志或者事件到指标的转换，给后面的数据分析打下良好的基础。
可配置化的采样和数据生命周期管理能力同样是这个数据处理环节很重要的两个能力，因为它们很大程度上会左右平台的总体拥有成本。
可观测性平台的核心使用场景之一是分析性能问题，绝大部分时候我们只需要一部分样本就足以定位问题了，前提是采集的样本具备足够的统计特征，所以大部分时候我们并不需要全量的数据，我们只是需要一个足够聪明，或者可以根据自身业务特征灵活配置的采样策略。
数据生命周期管理能力同样值得一提，对于可观测性数据，大都具有时效性，不同类型或不同标签的数据的时间价值是不一样的，例如，同样是指标，你会希望一些重要的指标（例如黄金指标，或者重点关注对象的指标），保留的时间更长一些，又或者，同样是追踪数据，你也许会希望某些重要活动期间的追踪数据可以保留时间更长甚至永久保存，所有这些，都需要依赖可灵活配置的生命周期管理能力。
数据分析能力
数据分析能力是我今天要聊的3大核心能力中的最后一个也是最重要的一个，因为平台的价值最终是通过这个环节呈现出来的，在这个环节，我个人觉得有这么几个能力是不可或缺的：
多模型联合分析能力
需要具备指标、追踪、日志、事件等模型的联合分析能力，指标只包含了监控对象的基本统计特征和趋势，想排查问题并进行根因定位，必须联合分析来自追踪、日志、事件等各个模型的数据。
即席多维分析能力
问题的分析和根因定位需要基于对追踪、日志等明细数据进行即席多维度分析，问题往往隐藏在不确定的维度之中，平台只有具备灵活的即席多维分析能力，才能帮助用户在海量的数据中发现隐藏在不同维度下的潜在的特征，一层层抽丝剥茧，定位问题。
统一的查询语言
统一的数据查询语言也是现代可观测性平台所必须具备的能力，随着信息系统越来越复杂，可观测性平台的深度使用者逐渐由人转变为自动化的脚本，在不远的将来，甚至是AI，对于自动化的脚本和AI而言，最易用的UI就是机器语言。
好，感谢大家的观看，我们下期再见！
互动福利
在评论区留言
点赞第1名
可获得基调听云笔记本套装1套
点赞第2名
可获得基调听云定制折叠扇1把
推荐阅读
