点关注，不迷路，用心整理每一篇算法干货~
今天给大家介绍一篇Salesforce近期发表的时序预测模型Benchmark，用来进行通用时序预测模型效果的评测，涵盖多种类型的时间序列数据。
论文标题：GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation
下载地址：https://arxiv.org/pdf/2410.10393
时间序列预测在各个领域变得越来越重要，近年来时序基础模型的研究得到广泛关注。然而，一些常用的公开数据集受限于自身数据特点，无法有效评估模型在多样化场景下的通用预测能力。因此构造一个高质量、多样化的评测基准，并对各种模型进行公平评估，对时序基础模型研究领域的发展至关重要。此类基准还有助于确定模型的优势和局限性，推动该领域的进步。
为此, 来自Salesforce、新加坡国立大学的研究者引入了GIFT-Eval这一新的综合基准，旨在评估通用的时间序列预测能力，特别针对时序预测基础模型。该基准引入了一个多样化的数据集集合，其中包括 28个数据集，涵盖144,000 个时间序列, 总共包括 1.77 亿个数据点。GIFT-Eval的数据覆盖了7个不同领域，10种频率，单/多变量输入，预测长度从短期到长期不等。
GIFT-Eval为每个数据集提供单独的训练集，测试集和验证集的分割, 从而支持普通模型full-shot和基础模型zero-shot的评估。同时，GIFT-Eval 还包含一个非泄漏的预训练数据集, 从而帮助基础模型的研究和开发。此外，作者团队还从不同维度的时序特征对数据集进行了详细分析，并将所有特征的结果进行汇总以获得对于时序预测模型的更有针对性的见解。
GIFT-Eval 通过引入由预训练和训练/测试组件组成的综合时间序列预测基准来填补上述空白。GIFT-Eval 支持从短期到长期预测的广泛预测任务，同时能够在单变量和多变量设置下评估不同模型，为时间序列数据提供急需的多样性。
此外，GIFT-Eval 通过提供无泄漏的预训练数据，对于基础模型提供公平且一致的模型评估，更广泛的频率和预测长度以及对于零样本预测能力的评估, 使得GITF-Eval能够从其他评测基准中脱颖而出。
GIFT-Eval 由两个关键组件组成：
训练/测试组件:包括 28 个数据集，涵盖144,000 个时间序列,即1.77 亿个数据点，提供跨不同领域、频率和变量设置的全面覆盖。
预训练数据集：其中包含分布在 88 个数据集的 2300 亿个数据点，旨在促进大规模模型预训练。
论文对代表性的统计模型、深度学习模型以及基础模型 (共计17个) 进行了详细的分析和基准测试。它提供了对模型性能的洞见，突出其优势并识别失败案例，以指导未来通用时间序列模型的设计。为了从结果中获得更细致的洞见，作者根据影响数据结构和建模的不同时间序列特征对GIFT-Eval数据集进行了分类。这些特征包括数据来源的领域（例如，金融、医疗保健）、观测频率（例如，每小时、每天）、预测长度或预测范围，以及序列是单变量还是多变量。
此外，时间序列具有诸如趋势、季节性强度、熵、赫斯特指数、稳定性和聚集性等统计特征，这些特征有助于捕捉数据中的模式和变异性。GIFT-Eval考虑了这些特征，以确保在各种真实场景下对预测模型进行全面评估。下图展示了数据集在不同领域和频率上涵盖了多样化的时间性、难度和规律性特征。它既包含波动性大、不规则的模式，也包含稳定、可预测的趋势，确保对模型进行了全面的测试。这使得GIFT-Eval成为评估统一模型和基础模型在时间序列预测方面的通用能力的有力工具。
使用 17 个模型进行实验，涵盖传统统计moxing （例如 ARIMA、Theta）、深度学习模型（例如 PatchTST、iTransformer）和基础模型（例如 Moirai、Chronos）。文中展示了五个部分的结果，涵盖了领域域、预测长度、频率和变量数量等关键特征，然后汇总了所有结果。
领域：在大多数领域，基础模型通常优于统计模型和深度学习模型。然而，他们在以下领域面临困难：网络/云运维和交通，其中高熵、低趋势和块度使得零样本基础模型的数据难以预测。相比之下，深度学习模型在进行全面训练时在这些具有挑战性的领域表现更好，与基础模型相比，这可能受益于更有针对性的训练数据。
预测长度：基础模型在短期预测方面表现出色，可以有效捕捉即时趋势和波动。然而，随着预测长度延伸到中长期预测，它们的性能会下降，而像 PatchTST 和 iTransformer 这样的深度学习模型表现更好，成功捕获了长期依赖关系。尽管微调基础模型提高了其处理长期预测的能力，但基础模型和深度学习模型在中长期预测方面仍然存在显着的性能差距。这一差距凸显了进一步研究的可能性，以增强基础模型管理扩展预测范围的能力。
频率：对于频率最高的数据，例如秒级粒度，统计模型性能处于领先。而随着频率转向每分钟和每小时的数据，深度学习模型开始占据主导地位。基础模型在处理高频数据中的噪声模式时似乎遇到了困难，而专门的深度学习和统计模型在高频数据中表现更好。然而，当涉及较低频率时，例如每日到每年的数据，基础模型始终优于其他方法，利用其广泛的预训练来捕获更广泛的模式和更慢的动态。
变量数：在多变量环境中，深度学习模型在各个指标上都优于所有其他模型，而 Moirai 在基础模型中处于领先地位，但仍低于深度学习性能。这凸显了基础模型研究的差距，与深度学习模型相比，多元预测仍然是一个挑战。相反，在单变量场景中，基础模型，尤其是 Moirai 的大型变体，表现出色，提供优于深度学习模型的性能。
汇总结果：汇总所有结果，文章指出深度模型PatchTST 排名第一，基础模型 Moirai Large排名第二，并且经常出现在前两名。PatchTST 被证明具有强大的泛化能力，可以在不同的数据集上提供可靠的性能，同时Moirai Large在特定情况下表现出色。然而，拓展性法则(scaling laws)（较大的模型表现更好）仅适用于能源和单变量预测等特定领域。
总之，GIFT-Eval 是一个全面且多样化的基准，旨在评估跨关键特征（例如域、频率、变量数量和预测长度）的时间序列预测模型。提供多样化的预训练数据集和详细分析，以便对统计、深度学习和基础模型进行公平比较。希望该基准能够促进更强大、适应性更强的基础模型的开发，推动时间序列预测领域的发展。
投稿&加交流群请加微信，备注机构+方向拉群~
