Fighting，小侠客们好呀，今天为大家带来的甄选论文合集——2024 Time Series Paper S3，包含2024年时间序列领域最新已发表的6篇顶级优秀论文。在信息爆炸的时代，我们面临着大量的数据和复杂的问题，而合集精心挑选最优秀的一批影响力较大的顶会顶刊发表论文，涵盖了各个领域的研究成果，旨在提供一扇通往最前沿研究的窗口，不论您是学者、研究人员还是决策者，这些论文都将为您提供实用的研究方法和宝贵的研究灵感。文末均附有论文及源码提取码，合集已发表前沿论文如下：甄选论文涉及Time Series Forecasting（时间序列预测）、Probabilistic Time Series Forecasting（概率时间序列预测）、Time Series Classification（时间序列分类）、Time Series Imputation（时间序列填补）、Time Series Anomaly Detection（时间序列异常检测）、General Time Series Analysis（通用时间序列分析）、Spatio-Temporal Forecasting（时空预测）、Time Series Clustering（时间序列聚类）等多个研究子领域。
2024 Time Series Paper S3的主要内容：
1. Easy attention（Time Series Reconstruction And Prediction）2. llmtime（Zero-shot Time Series Forecasting）3. WFTNet（Long-term Time Series Forecasting）4. BGBT&NN（Probabilistic Time Series Forecasting）5. denpool（Time Series Forecasting）6. TSPP（Benchmark Tool for Time Series Forecasting）01
Easy attention
Paper：《Easy attention：A simple self-attention mechanism for transformer-based time-series reconstruction and prediction》Task：Time Series Reconstruction And PredictionAbstract：为了提高用于混沌系统时间动力学预测的transformer神经网络的鲁棒性，我们提出了一种新的注意力机制，称为easy attention，并在时间序列重构和预测中进行了演示。由于自注意力只利用key和query的内积，因此证明了key、query和softmax对于获得捕获时间序列中的长期依赖性所需的注意力分数是不必要的。通过对softmax注意力得分进行奇异值分解（SVD），我们进一步观察到自注意力压缩了注意力得分的跨度空间中查询和关键字的贡献。因此，我们提出的简单注意力方法直接将注意力得分作为可学习的参数。该方法在重构和预测混沌系统的时间动力学时产生了良好的结果，与自注意或广泛使用的长短期记忆（LSTM）网络相比，该方法表现出更强的鲁棒性和更低的复杂性。我们的结果显示出在更复杂的高维动力学系统中应用的巨大潜力。
Paper：《Large Language Models Are Zero-Shot Time Series Forecasters》
Task：Zero-shot Time Series Forecasting
Publication：NeurIPS 2024
Abstract：通过将时间序列编码为一串数字，我们可以将时间序列预测框定为文本中的下一个标记预测。在开发这种方法时，我们发现像GPT-3和LLaMA-2这样的大型语言模型（LLM）可以令人惊讶地zero-shot外推时间序列，其水平与在下游任务上训练的专门构建的时间序列模型的性能相当或超过。为了提升这种性能，我们提出了有效地将时间序列数据标记化，并将标记上的离散分布转换为连续值上的高度灵活密度的程序。我们认为，时间序列LLM的成功源于它们自然表示多模式分布的能力，以及简单性和重复性的偏差，这与许多时间序列中的显著特征一致，例如重复的季节趋势。我们还展示了LLM如何通过非数字文本在不进行插补的情况下自然处理缺失数据，容纳文本附带信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们发现GPT-4的性能可能比GPT-3差，因为它如何标记数字，以及不确定性校准较差，这可能是RLHF等对齐干预的结果。Paper：《WFTNET: EXPLOITING GLOBAL AND LOCAL PERIODICITY IN LONG-TERM TIME SERIES FORECASTING》
Task：Long-term Time Series ForecastingAbstract：最近基于CNN和Transformer的模型试图利用频率和周期信息进行长期时间序列预测。然而，现有的大多数工作都是基于傅立叶变换，无法捕捉到细粒度和局部频率结构。在本文中，我们提出了一种用于长期时间序列预测的小波傅立叶变换网络（WFTNet）。WFTNet利用傅立叶变换和小波变换从信号中提取综合的时频信息，其中傅立叶变换捕获全局周期模式，小波变换捕获局部周期模式。此外，我们引入了周期性加权系数（PWC）来自适应地平衡全局和局部频率模式的重要性。在各种时间序列数据集上进行的大量实验表明，WFTNet始终优于其他最先进的基线。04
