点击名片
关注并星标
#TSer#
【论文标题】
Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective【论文地址】
https://arxiv.org/abs/2409.18696
【论文源码】
https://github.com/ForestsKing/GLAFF研究背景
现有的时间序列预测方法大多依赖于数值型的历史数据，并且假设这些数据的分布是相对稳定的。尽管这类方法能够在捕捉数据中的线性关系和周期性规律方面表现良好，但在面对由外部因素引起的非平稳性和异常情况时，它们往往显得力不从心。
比如，在节假日或特殊事件期间，人们的消费行为、出行模式等会发生显著变化，导致相关指标出现不同于平常的波动。如果模型不能充分考虑这些外部因素的影响，其预测结果可能会偏离实际情况，进而影响决策的准确性。
此外，现实世界中的数据常常因意外事件而遭受污染，如电力系统故障导致的异常高耗电量。缺乏对全局模式的深入理解使得现有方案易受模式异常及数据噪声的影响。
时间戳蕴含丰富的全局性季节特征，本应成为提升预测准确性的宝贵资源。例如，工作日通常会在特定时段迎来交通高峰期。遗憾的是，当前研究大多聚焦于局部观测的数值型数据，仅将时间戳作为可有可无的辅助信息源。
消融研究表明，即使去掉时间戳信息，大部分模型的表现也不会有显著退步，这反映出当前当前对于以时间戳为代表的全局信息利用不足。
图1：交通数据集上的实验结果
模型方法
针对上述问题，作者提出了一种通用框架 GLAFF。作为一款插件，GLAFF 能够无缝集成到任何预测主干之中，借助全局信息增强主流模型的鲁棒预测能力。
相较于通过 early fusion 整合时间戳信息的传统方法，基于 late fusion 的 GLAFF 不仅实现了不同类型信息间的平衡利用，还能有效抵御来自单一数据源的噪声干扰，从而显著增强了整个系统的稳定性和可靠性。
GLAFF 插件的整体架构图2所示。在主干网络根据局部观测提供初始预测后，GLAFF 利用全局信息对齐进行修正。
具体而言，它先通过 Attention-based Mapper 对包含全局信息的时间戳进行单独建模，并将它们映射到符合标准分布的观测值。随后，为了处理滑动窗口的观测值中存在异常的场景，作者利用 Robust Denormalizer 对初始映射进行逆规范化，从而减轻数据漂移的影响。最后，Adaptive Combiner 在预测窗口内动态调整全局映射和局部预测的组合权重，产生最终的预测结果。
01
Attention-based Mapper
紧随其后，多头自注意力被应用于标记间的交互，以建模时间戳之间的相互依赖，并由前馈网络单独处理以进行序列表示。
最后，使用投影层来获得初始映射结果。借助注意力机制的长距离依赖性和并行计算能力，Attention-based Mapper 得以对以时间戳为代表的全局信息做到更充分的建模。
02
Robust Denormalizer
针对数据漂移现象，GLAFF 对以时间戳为代表的全局信息采取了一种解纠缠的两阶段建模策略。
第一阶段中，由 Attention-based Mapper 直接产生的原始映射值被假定遵循正态分布规律，以此降低建模时间戳与观测值之间依赖的难度。
在第二阶段，基于历史窗口内初始映射值和实际观测值之间的分布偏差，Robust Denormalizer 再分别将初始映射值逆标准化为最终映射值，以减轻数据漂移的影响。标准的逆标准化操作通常考虑均值和方差的差异。
然而，这种方法容易受到极值的影响，在观测数据含有异常时表现得不够鲁棒。作者分别使用中位数和分位数范围替代均值和标准差，使得 Robust Denormalizer 对异常情况更加稳健。
03
Adaptive Combiner
实验效果
除了评估指标之外，预测质量也至关重要。如下图所示，通过两个典型数据集上的对比分析可以看出，GLAFF 生成的结果不仅更加接近实际情况，而且对于局部异常值具有更好的抵抗能力，而其他单独运作的主干模型则容易受到此类扰动的影响。
图3：GLAFF与主流基线模型的预测展示说明
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
280+篇专栏笔记，已有270+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
