标题 | Reversible Instance Normalization for Accurate Time-Series Forecasting Against Distribution Shift |
---|---|
作者 | Taesung Kim;Jinhee Kim;Yunwon Tae;Cheonbok Park;Jang-Ho Choi;Jaegul Choo |
论文 | https://openreview.net/forum?id=cGDAkQo1C0p |
1 摘要
在时间序列中,诸如均值和方差之类的统计特性经常随时间而变化,即,时间序列数据遭受分布偏移问题。时间分布的这种变化是阻碍准确时间序列预测的主要挑战之一。为了解决这个问题,我们提出了一种简单而有效的规范化方法,称为可逆实例标准化(RevIN),这是一种具有可学习仿射变换的通用标准化和反标准化方法。所提出的方法是对称结构的,以消除和恢复时间序列实例的统计信息,导致时间序列预测的显着性能改善,如图1所示。我们证明了RevIN的有效性,通过广泛的定量和定性分析,对各种现实世界的数据集,解决分布转移的问题。
2 介绍
时间序列预测在解决各种日常问题,包括医疗保健、经济和交通数据分析方面发挥着重要作用。然而,时间序列预测模型往往受到时间序列数据的一个独特特性的影响,即它们的统计特性,均值和方差,可以随时间变化。这被广泛地称为分布偏移问题,并且它可以产生预测模型的训练和测试数据的分布之间的差异。在时间序列预测任务中,训练和测试数据通常是基于特定时间点从原始数据中分割出来的。因此,它们通常几乎不重叠,这是模型性能降低的常见原因。此外,模型的输入序列也可以具有不同的基本分布。我们可以假设,不同输入序列之间的差异会显著降低模型性能。
在此假设下,如果我们从输入序列中移除非平稳信息,特别是实例的平均值和标准差,则数据分布中的差异将减小,从而提高模型性能。然而,对模型输入应用这种归一化会导致另一个问题,因为它会阻止模型捕获原始数据分布。它删除了在预测任务中对预测未来值可能很重要的非平稳信息。该模型只需要使用归一化输入重构原始分布,由于固有的局限性,降低了预测性能。因此,如果我们显式地将通过输入归一化移除的信息返回到模型,则模型将不必自己重建原始分布,同时保持归一化输入的优点。为了实现这一点,我们建议在输出层中反转应用于输入数据的归一化,即,以使用所述归一化统计量来反归一化所述模型输出。
受此启发,本文提出了一种简单有效的归一化-反归一化方法--可逆实例标准化(RevIN),该方法首先对输入序列进行标准化,然后对模型输出序列进行反标准化,以解决时间序列的分布偏移预测问题。RevIN被对称地构造为通过以与在归一化层中的输入数据的移位和缩放相等的量来缩放和移位在反归一化层中的输出,从而将原始分布信息返回到模型输出。
3 方法
3.1 可逆实例标准化
对于给定的输入集和相应的目标,代表序列个数。我们假设这是个离散多元时间序列预测任务,分别代表变量个数,输入序列长度,输出序列长度。我们利用 来预测。RevIN方法图示如下:
接下来,我们讲解如何进行Instance Normalization。我们计算这个序列的均值和方差:
利用计算出来的均值和方差,我们对输入数据进行标准化:
这里的,是可学习的向量。归一化序列可以具有更一致的均值和方差,其中非平稳信息被减少。因此,归一化层允许模型准确地预测序列内的局部动态,同时接收在均值和方差方面一致分布的输入。
得到我们最后的预测结果。
简单地添加到网络中的虚拟对称位置,RevIN可以有效地缓解时间序列数据中的分布差异,作为任意深度神经网络的通用可训练归一化层。实际上,所提出的方法是灵活的、端到端可训练的层,其可以应用于任何任意选择的层,甚至应用于若干层。
3.2 分布漂移下的可逆实例标准化的影响
本节验证了RevIN可以通过去除输入层中的非平稳信息然后在输出层中恢复它来缓解分布差异问题。我们在所提出的方法的每个步骤中分析训练和测试数据的分布,如图3所示。
当比较每个示例中训练数据和测试数据的分布时(图3(a-b)),我们可以观察到RevIN显著降低了它们的差异。具体来说,在原始输入(图3(a))中,训练和测试数据分布几乎不重叠(特别是ETTm 1),这是由分布偏移问题引起的。此外,每个数据分布都有多个峰值(特别是ETTh 1和ECL的测试数据),这意味着数据中的序列可能在其分布中存在严重的差异。然而,在所提出的方法中,归一化步骤将每个数据分布转换为以均值为中心的分布(图3(b))。这一结果支持了原始多峰分布(图3(a))是由数据中不同序列之间的分布差异引起的。更重要的是,所提出的方法使训练和测试数据分布重叠。这验证了RevIN的归一化步骤可以缓解分布偏移问题,减少训练数据和测试数据之间的分布差异。将归一化数据作为输入,模型可以在预测输出中保留对齐的训练和测试数据分布(图3(c))。正如预期的那样,然后通过RevIN的反规范化步骤将这些返回到原始分布(图3(d))。在没有反规范化的情况下,模型需要仅使用遵循其中去除了非平稳信息的变换分布的规范化输入(图3(B))来重建遵循原始分布的值(图3(d))。此外,我们假设,当仅在输入和输出层应用RevIN时,模型中间层的分布差异也会减少。因此,可以认为该RevIN过程首先使问题变得更容易,然后将它们恢复到原始状态,而不是直接解决存在分布偏移问题的挑战性问题。
4 实验
表1比较了基线和RevIN的预测准确度。结果显示,RevIN的性能始终优于所有三个基线,即Informer、N-BEATS和SCINet,并大幅提高,达到了SOTA。
在表2中,我们进一步定量分析了RevIN对长序列预测的影响。当模型预测长度从48增加至960时,RevIN与基准缐相比会降低预测误差,显示出相对于预测长度的稳健效能。当预测长度较短时(例如48),但是当预测长度较长时(例如336、720和960)。
在表3中,我们将RevIN与经典和最先进的归一化方法进行比较。与其他归一化方法相比,RevIN表现出出色的性能,特别是在ETTh2和ETTm1数据集上。此外,RevBN提高了批量归一化的预测性能。
5 总结
针对时间序列中的分布漂移问题,提出了一种简单有效的标准化和反标准化方法--可逆实例标准化(RevIN)。所提出的方法有效地消除了训练和测试数据分布之间的差异,从而显着提高了时间序列预测的性能。作为任意深度神经网络的普遍适用层,所提出的方法在七个真实世界的时间序列数据集上实现了最先进的性能。大量的定量和定性实验与深入的分析证明了雷文的有效性,准确的时间序列预测的分布转移问题。