作者：Vincent Z. Zheng(郑治豪), Lijun Sun(孙立君)
机构：麦吉尔大学(Mcgill)
论文链接：https://arxiv.org/abs/2402.01000
代码：https://github.com/rottenivy/mv_pts_correlatederr
Poster session：East Exhibit Hall A-C #4203，Fri 13 Dec 11 a.m. PST — 2 p.m. PST
TL; DR：本文提出了一种全新的方法，解决了当前多元时间序列预测模型中存在的误差自相关和交叉相关问题。
关键词：时间序列预测，概率建模，不确定性量化
创新点概述
误差结构建模：传统深度学习模型通常假设时间序列预测误差是时间独立的，然而实际数据中往往存在误差自相关和交叉相关。我们的方法通过学习多步误差协方差结构，有效提升了不确定性量化的准确性。 低秩加对角参数化：为了在多元时间序列模型中高效建模协方差，我们采用了低秩加对角的参数化方法。这不仅能精确捕捉多元误差的相关性，还能确保计算的可扩展性。 灵活的插件式方法：我们的方法可以无缝应用于现有的自回归概率模型，无需显著增加模型参数量，从而兼顾预测准确性和模型的计算效率。
什么是概率时间序列预测
概率时间序列预测的目标是通过已观测到的多元历史数据及其相关协变量
，预测未来个时间步个时间步的时间序列的条件概率分布：
，
其中是时刻所有个时间序列变量的集合。该条件分布通常通过自回归模型分解为每个时间步的条件分布之积：
为了捕捉复杂的依赖关系，模型通常使用神经网络将历史信息和协变量
编码为状态向量，进而简化为
。
现有的自回归模型假设每个时间步的误差是相互独立的，即在给定状态向量的情况下，服从多元高斯分布：
其中，表示均值向量，
是协方差矩阵。此模型可以进一步分解为：
其中，是误差项。该模型假设
在不同时间步之间是独立的，即对于任意
有：
。
然而，实际多元时间序列数据往往表现出显著的时间相关性和跨步相关性。残差的交叉协方差（cross-covariance）表明残差中含有重要的信息，这些信息可以用于改进预测质量并更好地量化不确定性（Figure 1）。
方法论
我们的方法建立在自回归模型的基础上，采用高斯分布的误差建模。我们通过引入低秩加对角的协方差矩阵参数化方法来表示多步预测中的误差协方差结构。具体来说，模型的误差项可以表示为
。其中，
是低维潜变量，
是独立的噪声。因此，误差项的相应协方差矩阵可表示为
。
核心思想
传统方法往往假设误差之间相互独立，忽略了实际数据中普遍存在的时间依赖性和跨步相关性。我们的研究针对这一局限，通过以下公式重新设计了广义最小二乘（GLS）损失函数，以捕捉多步相关误差：
其中，表示批量内目标时间序列变量的集合，
表示动态协方差矩阵，建模了多步预测目标变量的相关性。
批量数据的构建过程
在训练中，我们通过引入滑动窗口机制，构建包含跨步误差相关性的批量数据。具体来说，从时间序列中抽取长度为的切片，其中表示条件范围，表示预测范围。为了考虑跨步误差相关性，我们将这些切片重新组织为一个包含个子切片的批量结构：
为了便于批量建模，我们定义批量内的目标时间序列变量为，以此类推。通过这种方式，批量数据能够覆盖整个预测范围，确保时间依赖性在训练过程中被有效捕捉。
动态协方差矩阵的构建
我们通过一个低秩加对角（Low-rank plus diagonal）的协方差参数化方式，有效地降低了计算复杂度：
是低秩因子矩阵；
是动态相关矩阵，由多个基础核矩阵的加权和生成；
表示独立误差的对角元素。
这种结构通过克罗内克积（Kronecker product）有效建模跨时间步的误差相关性，同时保证模型在训练和推理中的计算效率。
误差校准与滚动预测
在多步预测中，我们进一步利用学到的协方差矩阵对每一步预测进行校准：
其中，是过去时间步的误差观测值，表示为：
在生成预测样本时，首先从上述分布中采样误差项，然后与模型预测的均值向量
结合，得到目标变量的采样值：
将此采样值视为观测值后，进入下一个时间步的预测，重复此过程，直至覆盖整个预测范围。通过重复这一过程多次，我们能够生成预测分布的多条轨迹，进一步提升预测的可靠性和准确性。
实验表现
我们在多个公开时间序列数据集上对该方法进行了验证，包括 electricity（电力消耗）、traffic（交通流量）和 solar（太阳能发电）等，实验结果表明：
相较于不考虑误差相关的基线方法，我们的方法在CRPS_sum指标上实现了显著提升：
在 GPVar 基础模型上，平均提升 13.79%；
在 Transformer 基础模型上，平均提升 6.91%。
实验中展示了方法在减少残差自相关和跨步相关方面的优势，显著降低了预测残差的偏差和不确定性。
该方法不仅适用于金融、医疗、能源等领域的时间序列预测，还可以广泛应用于其他需要精确量化不确定性的多元数据场景中。
同时也欢迎来我们的poster session：East Exhibit Hall A-C #4203，Fri 13 Dec 11 a.m. PST — 2 p.m. PST
【论文精读】NeurIPS 2024[Spotlight] | CycleNet：通过建模周期模式增强时间序列预测
NeurIPS 2024 | 时间序列（Time Series）论文总结
NeurIPS24 | Time-FFM: 联邦学习赋能的时间序列基座模型
VLDB2024 ｜TFB: 全面且公平的时间序列预测方法评测基准
点击文末阅读原文跳转本文arXiv链接。
如果觉得有帮助还请分享，在看，点赞
