点击名片
关注并星标
#TSer#
近年来，已提出许多无监督方法用于多元时间序列异常检测。然而，现有工作主要关注稳定数据，却往往忽略了由非平稳环境产生的漂移，这可能导致大量误报。本文介绍一篇 NeurIPS 2023 中的工作，作者提出了动态分解与扩散重建（D3R）方法，这是一种针对现实世界中不稳定数据的新型异常检测网络。整个模型可以端到端训练。在多个真实世界数据集上的大量实验表明，D3R 显著优于现有方法，与之前的最优模型（SOTA）相比，平均相对提升达到11%。
【论文标题】
Drift doesn’t Matter: Dynamic Decomposition with Diffusion Reconstruction for Unstable Multivariate Time Series Anomaly Detection【论文地址】
https://proceedings.neurips.cc/paper_files/paper/2023/file/22f5d8e689d2a011cd8ead552ed59052-Paper-Conference.pdf【论文源码】
https://github.com/ForestsKing/D3R研究背景
时间序列异常检测是确保系统持续稳定运作的关键技术。在实际应用中，时间序列的模式会随着外界条件的变化而不断演变。例如，互联网服务中的用户流量会根据服务的受欢迎程度逐渐增加。忽略这种动态特性可能会导致异常检测系统的性能下降。
尽管现有研究取得了重大进步，但大部分工作仍然侧重于相对稳定的场景。下图表明在面对非稳态数据时，传统方法会在标红区域产生较高的异常得分，进而触发不必要的警报。
图1：现有方法在SMD和SWaT数据集上的异常分数
为解决这个问题，作者尝试将时间序列拆分为稳定成分和趋势成分，并在重建过程中重点考虑稳定成分。不过，这种做法仍然面临两个主要的技术挑战：
长周期时间序列分解的技术限制。传统的分解方法通常是静态的，难以满足实时更新的要求；而一些现代的动态解决方案又往往受限于局部滑动窗口的尺寸，无法很好地处理那些周期长度超过窗口大小的情况。
信息瓶颈调节的成本高昂。正确设置信息瓶颈对基于重建的模型非常重要，通常需要通过大量的实验才能找到合适的平衡点。过去的方法多依赖于内部参数，比如潜在表示空间的大小，这意味着每次调整参数后都需要重新训练模型，这极大地浪费了计算资源。
模型方法
为了克服上述挑战，作者开发了一种专门为长周期非平稳多元时间序列设计的异常检测算法 D3R。
针对第一个挑战，作者采用时间戳作为额外输入，以突破局部滑动窗口的限制。具体而言，作者引入了数据时间混合注意力机制以及偏移减法策略，分别用来解决垂直和水平方向上的数据漂移问题。此外，作者还在训练过程中加入了扰动策略，以增强模型的鲁棒性。
针对第二个挑战，作者提出了一种名为噪声扩散的新颖方法，它允许从外部调节信息瓶颈。Diffusion 提供了一种新的信息瓶颈观点，将噪声看作是信息传递的障碍，而未受污染的信息则被视为重建条件。因为瓶颈不再绑定于模型自身，所以可以自由调整而不必重复训练整个模型。
D3R 的整体结构如图2所示，主要包含动态分解模块和扩散重建模块。
图2：D3R整体结构
01
动态分解模块
数据编码器：由先进的时空 Transformer 模块组成，专门针对多维度时间序列中的时序依赖性和变量相关性进行建模。时空 Transformer 模块的具体构造详见下图左侧，它巧妙地集成了并行运作的时间注意力机制和空间注意力机制。
时间编码器：由单一的时间 Transformer 模块组成，对时间戳的时序依赖性进行建模。
分解模块：引入了一种新颖的数据时间混合注意力机制（详情见图2右侧），通过整合时间戳之间的点积相似性和观测值间的点积相似性，实现多源信息的有效融合，并据此生成稳定分量。
偏移减法：尽管不同周期内同一时刻的往往表现出某种程度上的相似波动模式，但并不总是严格一一对应。为此，作者采用了偏移减法策略，有效解决了潜在的水平位移问题。
02
扩散重建模块
噪声扩散：不同于传统的 DDPM 方法，在向输入添加噪声的同时，作者特别注意保持原有趋势不变，使得算法能够更加聚焦于那些更加重要的稳定分量上。
主干网络：同样依托于时空 Transformer 模块构建而成。它在关注稳定分量同时也兼顾到趋势分量的变化情况。值得注意的是，与常规 DDPM 流程不同，D3R 的主干网络直接承担起还原受污染数据的任务，而非单纯预测噪声本身。
实验效果
作者将 D3R 在三个真实世界数据集上与15种基准算法进行了详尽对比，如表1所示。D3R 优于对手算法并实现了最佳检测性能，证实了其有效性和优越性。
表1：三个真实世界数据集中的结果
为了更直观地展示动态分解模块的效能，作者提供了一系列在高度非平稳数据集上的分解结果可视化。如图3(a)所示，即使面对现实世界中长周期且模式复杂的多变量数据，该动态分解模块依然能够稳定而精准地提取出核心的平稳成分。
为进一步验证引入外部控制信息瓶颈的优势，作者将扩散重建模块整体替换为变分自编码器模块，并针对两者的性能进行了详尽的敏感性分析。根据图3(b)所呈现的结果，扩散重建模块不仅在有效性方面超越了 VAE，而且展现出更强的稳定性。
图3：有效性分析结果可视化
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
280+篇专栏笔记，已有280+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
