点击名片
关注并星标
#TSer#
对于层级化的时间序列，普遍的做法是将较低层级的预测值汇总到较的高层级，比如跨国零售销售。目前对预测效果的评估往往局限于一组较小的基准数据集，仅能提供算法行为的片面视角。如何评估层级化的时间序列预测模型和算法在现实世界数据集上的稳健性呢？
来自葡萄牙大学的几位研究者提出了 RHiOTS，他们通过系统地改变现有数据集并修改单个序列及其相互关系的特征来弥补这一空白。RHiOTS 还包含了一个创新的可视化组件，将复杂的多维稳健性评估结果转化为直观、易于解释的可视化图像。
RHiOTS 为研究人员提供了一个全面了解预测算法细微行为的工具，为选择最适合给定问题的方法提供了更可靠的依据。
【论文标题】
RHiOTS: A Framework for Evaluating Hierarchical Time Series Forecasting Algorithms
【论文地址】
https://arxiv.org/abs/2408.03399
【论文源码】
https://github.com/luisroque/robustness_hierarchical_time_series_forecasting_algorithms
论文背景
RHiOTS框架方法
01
RHiOTS框架总览
总体来说，RHiOTS 旨在实现两个主要目标：
提供对模型行为的全面理解，通过系统地对数据施加各种转换，然后评估模型的性能来实现这一目标。该过程有助于通过变换和强度来详细评估每个模型的鲁棒性，从而使从业人员能够针对其问题的独特方面和数据属性的潜在变化选择最有效的模型。
支持为特定预测任务选择合适的算法，通过分析不同算法在一系列变换后的数据集上的表现，提供关于哪些算法在不同条件下最具适应性和有效性的见解，这有助于更有效、更明智地比较算法，并提高泛化能力。
RHiOTS 对数据集中的每个个体时间序列应用转换，只对层次结构的叶节点上的时间序列进行转换。在转换后，层次结构的聚合级别会重新计算，即特定组的观察值的总和（或顶级序列）是基于转换后的个体序列计算的。
接下来，RHiOTS 通过将时间序列转换引入的变化与预测性能的变化联系起来，来评估 HTS 预测模型的鲁棒性。为了量化预测性能的变化，文中计算了模型在原始数据集和各种转换版本上预测误差。
02
时间序列转换
抖动（Jittering）：通过向时间序列的值添加随机噪声分量来定义，噪声的标准差是转换参数。 缩放（Scaling）：涉及通过随机标量值修改序列的幅度，缩放因子的标准差定义了转换的参数。 幅度扭曲（Magnitude Warping）：通过插值一个立方样条来实现时间序列数据的平滑、连续、非线性转换。 时间扭曲（Time Warping）：通过在一组均匀间隔的时间点上插值立方样条来定义，时间扭曲可以拉伸或压缩时间序列的时间轴。
实验分析
文中实验的主要目的是展示在 HTS 预测的背景下，RHiOTS 如何用于分析模型和算法的鲁棒性。
文中的实验主要基于7个问题展开分析：
Q1：不同的变换如何影响数据集中时间序列之间的距离
Q2：不同类型的扰动对预测误差的影响
Q3：HTS 预测模型的预测误差如何随时间和序列间依赖性的操纵而变化
Q4：使用 RHiOTS 系统地比较了数据变换对不同算法排名的影响
Q5：使用评估预测性能的基准方法来比较算法的性能
Q6：使用 RHiOTS 来评估时间序列之间依赖性对算法性能的相关性
Q7：确定给定应用领域中最适合的鲁棒算法
图2：数据集中每个数据集（列）、转换（行）和参数集之间的DTW分布
图3：在层次时间序列预测中，使用MASE评估的各种数据变换下的模型性能
图4：旅游数据集在幅度扭曲变换下，预测方法性能的排名，从原始数据到最强烈的变换
图5：左图为旅游数据集在不同变换下预测算法的性能；右图为所有数据集预测算法性能排名的平均值
第二个是经典算法比更复杂的深度学习算法更鲁棒。深度学习算法仅在转换高度破坏性（如高强度幅度扭曲）时才显示出更强的鲁棒性。
表1：实验中考虑的原始数据集的结果（MASE）
可视化和分析汇总结果表明，如果必须在没有先验知识的情况下从数据集中选择单个模型来避免潜在的失真，那么 ETS 模型是最稳健的选择。
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
240+篇专栏笔记，已有230+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
