本文介绍一篇来 KDD 2024 的研究工作，该工作提出了一种用于检测和适应训练有素的模型中 CDS 的通用校准方法。
从数据生成的角度来看，上下文驱动的分布偏移（CDS）在特定上下文中引入了预测偏差，并对传统的训练范式提出了挑战。本文介绍一篇来 KDD 2024 的研究工作，该工作提出了一种用于检测和适应训练有素的模型中 CDS 的通用校准方法，称为基于残差的 CDS 检测器（Reconditionor），通过评估预测残差与其对应上下文之间的互信息来量化模型对 CDS 的脆弱性。Reconditionor 得分高表明易感性严重，因此需要模型适应。在这种情况下，研究者提出了一个简单而强大的模型校准适配器框架，称为样本级上下文化适配器（SOLID）。该框架涉及策划一个与提供的测试样本上下文相似的数据集，然后对模型的预测层进行有限步骤的微调。研究者的理论分析表明，这种适应策略可以实现最佳的偏差-方差权衡，并且可以轻松适应广泛的模型。
【论文标题】
Calibration of Time-Series Forecasting: Detecting and Adapting Context-Driven Distribution Shift
【论文地址】
https://arxiv.org/abs/2310.14838
【论文源码】
https://github.com/HALF111/calibration_CDS
近年来，Transformers 在处理时间序列数据方面取得了显著进展。通过提取和堆叠多级特征，Transformers 能够更好地捕捉时间依赖性。尽管 Transformers 的架构设计卓越，但分布偏移（distribution shift）成为了一个不可避免且极具挑战性的问题。分布偏移指的是数据生成过程的变化，这通常由一些时间上的观察到的或未观察到的外部因素（即上下文）所驱动。图1：上下文对电力数据 ETTh1 训练数据集分布的影响现有的时间序列预测模型通常没有考虑这些上下文因素，导致在特定上下文中的预测存在偏差，并在训练和测试数据集之间存在分布偏差时，无法做出最优预测。因此需要一种能够检测和适应 CDS 的新方法。
图2：传统框架（上方）与所提框架（下方）的示意图。通过在每次预测之前通过上下文适应对模型进行校准，可以缓解上下文驱动的分布偏移（CDS）。基于此，研究者提出了一种通用的校准方法，用于检测和适应训练好的 Transformer 模型中的 CDS。为此，提出了一个用于测量模型对CDS敏感性的度量标准，称为残差基础的上下文驱动分布偏移检测器（Reconditionor），通过评估预测残差和它们对应上下文之间的互信息来量化模型对 CDS 的敏感性。此外，研究者还提出了一个用于进一步校准的简单但有效的适配器框架（SOLID），用于在发现显著 CDS 时对模型进行微调，以提高预测准确性。Reconditionor 和 SOLID 与模型无关，可以适应多种模型架构。
在这篇论文中，上下文驱动的分布偏移（Context-Driven Distribution Shift，简称 CDS）是指时间序列数据的统计特性和数据分布随时间变化而持续变化的现象。这种变化通常是由一些随时间变化的观察到或未观察到的因素（即上下文）引起的。因此 CDS 的设计主要基于以下几个关键点：
研究者提出了一种新的检测器，称为 Reconditionor，用于评估训练好的模型对 CDS 的敏感性。这个检测器通过计算预测残差和它们对应上下文之间的互信息（Mutual Information，MI）来量化模型对 CDS 的脆弱性。如果 Reconditionor 得分较高，表明模型对 CDS 的敏感性较强，因此需要模型适应。
在检测到模型对 CDS 有显著敏感性的情况下，作者提出了一个简单但有效的适配器框架 SOLID，用于模型校准。这个框架包括以下步骤：- 数据增强：为每个测试样本创建一个包含具有相似上下文的先前样本的数据集。
- 选择操作：选择与给定样本具有相似上下文的先前样本。
- 微调预测层：在有限的步骤中对模型的预测层进行微调，以适应新的上下文。
理论分析表明，这种适应策略能够在偏差和方差之间达到最优的平衡。由于无法获得控制数据生成过程的真实上下文，因此选择具有完全相同上下文的样本是不可行的。为了解决这个问题，研究者设计了一个全面策略，依赖于可观察的上下文（时间片段和周期阶段），并采用样本相似性作为未观察到上下文的代理。这包括：- 时间片段：选择与测试样本在时间维度上紧密对齐的样本。
- 周期阶段：选择与测试样本在周期阶段上差异最小的样本。
- 通过样本相似性处理未观测上下文：假设具有相似输入的样本更有可能共享相似的上下文。
最后，研究者提出了完整的 SOLID 算法，结合了上述策略，通过首先筛选时间片段和周期阶段，然后基于相似性选择样本。研究者使用了8个真实世界的时间序列数据集进行实验，包括电力消耗、交通、疾病、天气等不同领域的数据。这些数据集被划分为训练集、验证集和测试集。同时还选择了多种现有的时间序列预测模型作为基线，包括 Informer、Autoformer、FEDformer、ETSformer、Crossformer、DLinear 和 PatchTST。这些模型在各自的架构上进行了标准化的预训练。
应用 Reconditionor 检测器计算互信息（MI）得分，以量化模型对 CDS 的易感性。结果如下：
对于测试集中的每个样本，使用 SOLID 适配器框架进行模型校准。这包括选择与测试样本具有相似上下文的训练样本，并使用这些样本对模型的预测层进行微调。结果如下：
研究者进一步研究了 SOLID 中关键参数（如上下文定义的参数和微调学习率）对模型性能的影响。通过可视化技术，展示 SOLID 在具体案例中的性能改进情况。结果如下图所示：通过这些实验步骤，论文全面地验证了提出方法的有效性和实用性，并展示了其在处理时间序列预测中的分布偏移问题方面的潜力。
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
![]()
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
