点击名片
关注并星标
#TSer#
深度学习在多变量时间序列预测领域取得了显著进展。尽管现有方法在处理多元时间序列数据时表现优异，但面对时间序列中的非平稳性，模型的预测效果往往不尽理想。近期针对非平稳时间序列特性的研究提出了多种方法，但大多难以兼顾短期和长期依赖建模，导致在实际应用中性能受限。
本文介绍了清华大学和深圳大学合作开展的时间序列预测研究工作。研究人员提出了一种新的时间序列预测框架（TimeBridge），旨在有效应对时间序列中的非平稳性问题。TimeBridge 主要包含单整注意力模块（Integrated Attention）和协整注意力模块（Cointegrated Attention），分别用于消除短期波动中的非平稳性并捕捉局部依赖，同时保留长期变化的非平稳性以提取不同变量间的协整关系。通过这种双重注意力机制，TimeBridge 实现了短期和长期建模的高效对齐。实验结果表明，TimeBridge在短期与长期预测任务中均表现出色，显著提升了时间序列预测的准确性，尤其在金融数据（如CSI 500和S&P 500指数）中展示了对复杂市场波动的鲁棒性。
【论文标题】
TIMEBRIDGE: NON-STATIONARITY MATTERS FOR LONG-TERM TIME SERIES FORECASTING
【论文地址】
https://arxiv.org/abs/2410.04442
【论文源码】
https://github.com/Hank0626/TimeBridge研究动机
在多变量时间序列预测中，非平稳性特性为短期和长期建模带来了显著挑战。图1(a)是两条具有长期协整关系的序列和
，
在阶段A具有两个随机的波动。图1(b)展示了在短期建模中，非平稳性会导致虚假回归现象。注意力图显示，非平稳的短期波动往往使模型错误地将无关事件联系起来，从而产生虚假相关。这种现象在时间序列中的短期建模中尤为常见，因为外部因素引发的突发变化使模型容易将随机事件视为关联关系，进而影响短期预测的准确性。因此，如何在短期建模中有效消除非平稳性成为提高预测可靠性的重要问题。
另一方面，图1(c)则揭示了非平稳性在长期建模中的重要性，其保留可以帮助模型识别变量间的协整关系，从而捕捉到多个变量的长期同步变化趋势。相反，如果消除非平稳性，会导致模型忽视这些长期的协整关系，削弱对长期趋势的捕捉能力。因此，在长期预测中，需要保留非平稳性以保持变量间的长期依赖关系，这对有效建模和准确预测多变量时间序列的长期趋势至关重要。图1(d)显示了是否保留非平稳性对短期和长期建模不同的影响。
综上所述，多变量时间序列中的非平稳性在短期和长期建模中扮演着截然不同的角色：短期预测需要消除非平稳性，以避免虚假回归的干扰；而长期预测则依赖于非平稳性来维持变量间的协整关系，捕捉更广泛的趋势。
这一矛盾使得如何在同一模型中平衡非平稳性的消除与保留成为关键挑战。深入理解非平稳性对不同时间尺度的影响，对于提升多变量时间序列预测的精确性和稳定性具有重要意义，并为未来的时序建模方法提供了新的方向。
模型介绍
如图2所示，TimeBridge 巧妙地弥合了非平稳性与依赖性建模在长期时间序列预测中的鸿沟，有效地实现了两者的平衡与融合。
图2：按规范化和依赖建模分类的时间序列预测方法
图3：TimeBridge的具体结构图
01
分块嵌入（Patch Embedding）
在 TimeBridge 中，首先通过 Patch Embedding 将时间序列数据分割成固定长度的无重叠小块（patch），每个 patch 包含了局部时间段的信息。这些 patch 经过嵌入操作后被映射到高维空间，从而形成时序 token，使模型能够在较小的输入单位上进行特征提取。这种分块嵌入不仅有效降低了计算复杂度，还保证了每个 token 能够携带丰富的时间信息，为后续的注意力机制奠定了基础。
02
单整注意力模块（Integrated Attention）
在短期依赖建模中，TimeBridge 采用单整注意力模块，专注于去除短期时间序列中的非平稳性。该模块通过对 patch token 应用注意力机制，捕捉相邻时间步之间的关系，减少了短期建模中的虚假回归现象。单整注意力模块聚焦于每个变量的局部动态，确保模型能够准确捕捉短期波动的特性，提升了对局部变化的敏感度和预测鲁棒性。
03
分块下采样（Patch Downsampling）
为了在长期建模中获得更丰富的全局信息，TimeBridge 在集成注意力模块后加入了 Patch Downsampling 模块。该模块通过对 patch token 进行降采样，将短期信息聚合成更长时间跨度的特征表示，减少了 patch 数量，从而降低了计算复杂度。此步骤确保每个降采样后的 patch 都携带更加浓缩的长期信息，使得模型在后续的长期依赖建模中可以更有效地捕捉跨时间变量的趋势和模式。
04
协整注意力模块（Cointegrated Attention）
实验结果
长时预测
TimeBridge 与当前最先进的多种方法进行了全面比较，包括 iTransformer、PDF、TimeMixer、PatchTST、Crossformer、FEDformer、ModernTCN、MICN、TimesNet 和 DLinear。为了确保比较的公平性，本文不仅对比了各 baseline 在原文中报告的结果，还进行了输入长度和其他超参数的搜索。实验结果显示，TimeBridge 在各项指标上均取得了最佳表现，尤其在通道数量较多的数据集（如Traffic、Solar和Electricity）上，实现了超过5%的性能提升。
表1：每个baseline正文部分report的结果
表2：Baseline经过输入长度以及其他超参数搜索的结果
短时预测
TimeBridge 同样与多种现有方法进行了对比，包括 iTransformer、PatchTST、DLinear、SCINet 和 TimeMixer 等。由于短时预测任务中数据的时变特性较强，对模型的局部依赖捕捉能力提出了更高要求。下表实验结果表明，TimeBridge 在捕捉短期波动方面表现出色，超越了多种先进模型，尤其在复杂的短期动态环境下展示了显著的鲁棒性和准确性，进一步验证了其在短时预测任务中的卓越性能。
表3：PeMS数据集中的短期预测结果
金融时序预测
TimeBridge 对中美两大股指数据中证500（CSI 500）和标普500（S&P 500）进行了验证。金融时间序列具有显著的短期波动和长周期协同变化特征，对模型的短期和长期建模能力都提出了严格要求。实验表明，TimeBridge 在捕捉短期波动的同时，能够有效识别不同板块间的长周期协整关系，表现出优于传统方法的预测精度和稳定性。在关键指标（如年化收益率、夏普比率等）上，TimeBridge 均取得了显著提升，这表明该模型不仅适用于标准时间序列预测场景，还在复杂的金融市场环境下展现了其强大的适应性和预测性能。
表4：CSI500和S&P500数据集中金融时间序列预测的结果
非平稳性与依赖性建模可视化分析
图4：非平稳性与依赖性建模可视化分析
Weather数据集实际案例分析
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
280+篇专栏笔记，已有270+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
