点击名片
关注并星标
#TSer#
论文背景
考虑到多变量时间序列的时空动态依赖性，如何学习鲁棒的潜在表示； 基于扎实的统计理论设计自适应阈值策略，以实现期望的预警结果。
提出了一种新的有效的多变量时间序列异常检测框架，并将异常检测任务分解为两个子任务：多变量时间序列表示和动态阈值生成。研究者将多变量时间序列数据转换为图像以进行数据增强，并从层次上完全提取多变量时间序列之间的复杂时空相关性。
基于极值理论优化了自适应阈值方法，并设计了更好的异常检测的自适应策略。在三个公共数据集上对所提方法进行了全面分析，包括与基线的比较、消融研究和深入的案例研究，实验证明了该方法的有效。
模型方法
图1：HCR-AdaAD框架
HCR-AdaAD 框架整体流程包括四个步骤：
数据处理：使用滑动窗口对数据进行归一化和分割；
离线训练：使用分层上下文表示（HCR）模型从数据中学习正常模式；
在线异常检测：利用训练好的表示模型为每个数据点生成异常分数；
使用 AdaAD 方法进行异常检测。
图2：HCR多元时间序列表示模型
HCR 模型由三个组件组成，可以看作是一个编码器-解码器框架。第一个组件是局部时间上下文表示模块，用于提取正常时间序列模式。第二个组件通过构建图结构学习多变量时间序列之间的空间特征和相关性。最后一个组件基于 Transformer 编码器提取全局时间表示，完成层次化上下文表示过程。
01
本地时间上下文表示学习
传统方法直接从原始数据中提取时空特征，与之不同的是，本文目标是捕获与上下文和集体异常相关的上下文时间序列模式。从递归图（RP）中汲取灵感，研究者通过生成图形表示来表示时间序列数据的动态模式。RP 和其他数据增强技术可以有效地突出时间序列数据的周期性、趋势、噪声和突发性。因此，研究者将每个一维时间序列转换为二维图像，并使用卷积神经网络（CNN）提取局部时间特征。
图3：时间序列的典型模式，包括周期漂移、增量漂移、噪声和突然漂移
02
基于图的空间相关性学习
研究者所提出的模型旨在捕获多变量时间序列之间的空间语义信息，以实现更准确的时间序列表示。为了实现这一点，构建了一个图来学习测量之间的空间关系，以此利用图结构的强大表示能力。
为了捕获测量之间的动态空间依赖性，研究者提出了一个基于图注意力的表示模块，该模块根据预定义的图结构学习节点的表示。类似于图注意力网络（GAT）中的信息传播和更新机制，通过关注具有高相似性分数的邻近节点来更新聚合表示。
03
基于Transformer的全局时间上下文表示学习
为了捕获时间序列中的全局时间模式和转换，研究者利用空间和局部时间嵌入来获得全局时间嵌入。由于 Transformer 在序列学习任务中表现出色，则使用了位置嵌入和注意力机制来捕获时间序列的动态全局趋势。
由于 Transformer 对排列是不变的，它们无法捕获时间序列数据的顺序信息，这对于有效的序列学习至关重要。为了解决这个问题，研究者引入了位置编码，将输入时间序列嵌入的位置信息纳入模型中（如图4所示）。
图4：Transformer结构
04
使用层次化上下文表示进行训练
这里使用了非线性神经网络重建原始输入时间序列，包括卷积、线性投影和层归一化操作，并通过最小化重建损失来训练模型。
为了优化模型参数，使用 Adam 优化器来计算梯度并更新模型参数。在训练阶段，模型在没有任何异常的时间序列数据上进行训练。训练完成后，使用重构误差的偏差来计算异常分数，这可以用于区分测试数据集中的正常和异常模式。异常分数进一步用于 AdaAD 方法。
图5：HCR模型的训练过程
05
使用自适应阈值进行异常检测
提出了基于峰值超过阈值（POT）方法的自适应流峰值超过阈值（ASPOT）算法。与基于高斯分布的统计方法相比，极值理论不需要对数据做出任何假设，并且在处理大型或多维数据时具有良好的可扩展性。具体来说，对于长序列，首先通过设置滑动窗口来集中化时间序列的初始段，该段遵循相同的分布，主要目的是检测数据流的分布变化。实际上，研究者使用流数据的前10%作为初始段。
之后根据该段的数值特征设置初始峰值阈值，并根据极值理论计算初始异常阈值。移动滑动窗口，并检查后续时间点的数值是否超过异常阈值。如果它们确实超过了，则将它们标记为异常，并从滑动窗口中移除异常值，以确保滑动窗口内序列的分布不受它们的影响。如果它们只超过了初始峰值阈值，这意味着序列表现出概念漂移，极端值的分布需要更新，基于此更新异常阈值。如果它们被识别为正常，阈值保持不变。
图6：ASPOT策略
实验分析
01
与基线的比较性能
表1：HCR-ADAAD与其他基线方法的精确度、召回率和F1值的比较
02
消融研究
03
AdaAD策略分析
表2：与三种不同方法的F1分数比较
图8：在突变情况下的性能（案例1）
04
空间上下文嵌入的分析
研究者从 MSL 数据集中挑选了几个片段，以展示空间相关性建模的有效性，如图9所示。
显然，这三个传感器时间序列中的异常区间属于局部上下文异常，这些异常可能乍一看并不明显。然而，AdaAD 方法在识别这类局部上下文异常方面存在局限性，难以满足实际场景中异常检测的精度要求。当引入空间相关性信息时，可以明显看出这些时间序列在同一时期的波动更加显著，表明异常的可能性更高。因此，可以利用图注意力网络对异常片段进行建模和高效聚合，从而提高该部分的异常分数。
图9：空间特征对异常检测的有效性。(a)、(b)和(c)是MSL数据集中的原始时间序列，而(d)、(e)和(f)是对应的异常分数（蓝色实线）和动态阈值（橙色虚线）。
总结
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
280+篇专栏笔记，已有260+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
