点击名片
关注并星标
#TSer#
随着时间序列基础模型 (Time series foundation models, TSFMs) 的快速发展，时序预测的研究正在从专门的任务模型转向通用模型的开发范式。模型如 Timer、Moirai 及最近提出的10B规模的 Time-MoE 表现出数据量与模型规模的扩展趋势。社区期望通过更多资源的投入，进一步提升时序预测的性能。
模型缩放定律 (Scaling laws) 提供了一种定量框架，描述模型性能如何随模型参数、计算资源和训练数据规模等核心要素的变化而增长。建立时间序列基础模型的 scaling laws 对其开发至关重要，因为它提供了预测性能收益的参考依据，使研究者可以更加高效地配置资源。
近日，由来自澳大利亚格里菲斯大学、香港科技大学 (广州)、NVIDIA、东京大学等机构的研究团队对时序基础模型的缩放定律进行了深入探索。目前关于时间序列基础模型的 scaling laws 的探索仍然处于早期阶段。已有的研究主要关注时间序列基础模型在分布内（In-distribution, ID）数据上的scaling laws，缺乏对分布外（Out-of-distribution, OOD）的扩展行为，以及模型架构对扩展行为影响的研究。
研究动机
技术贡献
跨数据分布的 scaling laws：将时间序列基础模型的 scaling laws 从分布内场景推广到分布外场景，涵盖模型规模、计算资源和数据集规模三个要素，为分布外数据的性能预测提供了基础。 跨模型架构的 scaling laws：研究 encoder-only 和 decoder-only Transformer 架构在扩展性上的差异，为可扩展的时间序列模型设计提供参考。 scaling laws 引导的设计原则：通过分析模型在跨分布和跨架构场景下的扩展行为，为时间序列基础模型的设计提供从数据、模型和计算角度的实际指导。
关键结论
01
跨分步的scaling laws
其中，表示模型性能（对数似然损失或 MAPE），
是训练中的扩展要素（模型参数量，计算量或训练数据量），
是待求的归一化系数，
则为指数，用以表征模型性能随扩展要素提升的程度。
图1：参数量的扩展
图2：计算量的扩展
计算量的扩展。图2显示了对数似然和 MAPE 随计算量增加在 ID 和 OOD 场景下的变化。无论分布内或分布外，计算量的提升均带来预测性能的显著改善。同时，在给定计算量时，模型的预测性能在 ID 和 OOD 数据上都存在一个下边界。
图3：训练数据量的扩展
02
跨架构的scaling laws
图4：encoder-only 和 decoder-only Transformer 在各项训练要素上的扩展行为
图5：Encoder-only Transformer vs. Moirai
图6：Decoder-only Transformer vs. Chronos
02
“涌现”行为
涌现行为。图 7 展示了三个零样本分布外时间序列预测的例子。我们观察到模型行为偏离了预期的 power-law 的模式，而是表现出更类似于涌现现象的特征：在模型大小达到临界阈值之前，模型的性能保持较低水平，之后模型的性能显著提升。这表明某些时序预测任务可能需要参数足够大的模型以捕获内在的动力模式。
时间序列基础模型的设计原则
基于我们对时间序列基础模型缩放定律的研究结果，我们阐述了以下设计原则，以指导有效且可扩展模型的开发。这些原则围绕训练数据、模型参数和架构，以及计算预算三个维度展开。
训练数据
实验表明，相较于 ID 数据，在 OOD 数据上增加训练数据集的规模可以带来更多预测性能的提升，说明扩大预训练数据集对泛化能力至关重要。然而，在增加数据量的同时，保持数据集中的多样性也同样必要。此外，我们观察到，虽然仅编码器和仅解码器 Transformer 之间存在性能差异，但其缩放模式几乎一致。这意味着数据扩展的增益对模型架构的依赖性较小，可以与模型改进并行进行。
模型参数和架构
研究显示模型大小对提升 OOD 性能的作用最为显著。在三个扩展因素中，增加模型大小对 ID 数据的预测带来的增益最大。在架构方面，encoder-only Transformer 通常比 decoder-only Transformer 预测表现更好，并且更具可扩展性。而对于 Chronos 和 Moirai，尽管在 ID 预测上有所提升，但其OOD的可扩展性相对较低，表明过强的归纳偏差可能限制了扩展性。好的架构设计应综合考虑性能、泛化能力和可扩展性。
计算预算
实验表明在给定的计算预算下，对数似然损失和 MAPE 存在一个的下限。这意味着，随着模型大小的增加，必须投入更多的计算资源才能获得更好的性能。然而，不同的训练目标或模型架构可能会显着影响这个界限。与模型大小和数据集大小的缩放行为类似，计算规模的增加对提高 OOD 性能的影响比对 ID 性能的影响更大，说明实现跨分布的鲁棒的泛化需要更大的模型、更多的数据和计算资源。
总结与展望
本研究从参数规模、计算资源和训练数据规模三方面探讨了时间序列基础模型在分布内和分布外场景下的扩展特性，并研究了不同架构的扩展行为。未来工作将探讨这些因素间的制约关系，以更好地优化资源配置。此外，不同上下文窗口和预测范围对模型性能的影响也需进一步探索。
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
280+篇专栏笔记，已有260+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
