点击名片
关注并星标
#TSer#
综述引言
SQ1）应用：时空GNNs的最常见应用是什么？不同应用领域的方法和结果是否存在差异？ SQ2）图构建：图结构是预先确定的吗？如果不是，研究人员是如何定义它的？ SQ3）分类法：在各种分类法中，哪些是最常见的？是否存在一些重复出现的机制？ SQ4）基准模型：最常见的基准模型是什么？它们是经典的机器学习模型还是也是GNNs模型？ SQ5）基准数据集：最常见的基准数据集是什么？ SQ6）建模范式：最常见的范式是什么？是建模复杂的交互系统，还是建模具有多个交互量的系统？具体来说，图是否通常浓缩了多个实体之间的关系，还是描述了同一实体的不同方面？换句话说，图结构是同质的还是异质的？ SQ7）指标：用于评估给定模型准确性的最常见指标是什么？
第2节介绍了收集论文的方法 第3节提供了出版物概览 第4节图神经网络。介绍了一些在研究具有时空图神经网络的时间序列时的基础定义和概念 第5节是这篇综述的核心，探讨了选定论文中提出的时空GNN模型在确定领域中的应用 第6节提供了研究结果的讨论和对上述研究问题的答复。 第7节提出了限制、挑战和未来的研究方向 第8节总结了综述 附录A提供了这次SLR包括的所有期刊论文的列表，以及它们的出版年份、所属组、案例研究和任务性质（例如，分类或预测）。
图神经网络
01
定义与概念
定义1：时间序列（Time series）：
时间序列是按时间顺序索引的一系列数据点（这里假设是定期采样，即等间隔的）。一个长度为T的等间隔单变量时间序列是在时间上收集的一系列标量观测值，表示为向量。一个长度为T的等间隔多变量时间序列是在时间上收集的一系列D维向量观测值，表示为向量
。
定义2：图（Graph）：
定义3：时空图（Spatio-temporal graph）：
定义4：邻接矩阵（Adjacency matrix）：
一个具有个节点的图
的邻接矩阵
是一个n × n的方阵，其中
表示从节点
到节点
的连接数量，对于i, j = 1,...,n。这里假设图中任意两个节点之间不能有超过一条边，因此，根据是否存在连接，
只能是0或1。
定义5：度矩阵（Degree matrix）：
图的度矩阵是一个对角矩阵，其对角线上的元素表示每个节点的度，即与该节点相连的边的数量。用公式表示为：
02
图神经网络概述
03
时空图神经网络及其分类
时空图神经网络的研究主要集中在多变量时间序列上，这些时间序列可以自然地抽象成时空图。
递归GNNs：通过迭代传播邻居信息直到达到稳定状态。 卷积GNNs：在每个更新步骤中使用不同的参数，通过堆叠多个图卷积层来提取节点嵌入。 注意力GNNs：使用注意力机制来聚合节点特征。
时空GNNs通常由一系列空间、时间或混合模块堆叠而成，每个模块都有其独特的角色。 空间模块负责在节点间传播信息，分析不同变量之间的相互依赖性。 时间模块关注数据随时间的演变，独立于节点间的横截面交互。
04
图结构的确定
在处理时间序列问题的时空图神经网络时，一个关键问题是图结构的确定，即节点的连接性。具体来说，一些时间序列数据集本身具有预定义的图结构（例如，道路网络），而另一些则没有。当存在自然的预定义图结构时，它有助于模型更好地捕捉系统的潜在动态。当预定义图结构不直接可用时，用户必须以某种方式定义它（基于领域知识或某些指标），通过某些算法确定它，或由模型本身学习得到。
一旦确定了图结构，就需要定义加权图的邻接矩阵，这是图邻接矩阵的推广，其元素由图的边权重给出。边权重可以由用户事先定义，或者再次基于预定义的架构由模型本身学习得到。在第一种情况下，边权重的分配基于用户选择的一些预定义指标或标准（例如，站点之间的空间距离或相似性度量）。在后一种情况下，随着模型从数据中学习，权重在训练过程中不断调整。
GNN模型应用
01
能源领域
数据集：
提出的模型：
在提出的GNN模型中，大多数使用卷积GNN，也有部分使用注意力GNN。这些模型的图结构描述通常较为简略，有些基于地理位置，有些基于时间序列的相似性或相关性。用于训练模型的最常见的损失函数是均方误差（MSE）。许多论文提到了编程语言Python和Matlab，但其中只有少数几篇提到了用于实现GNN模型的Python库PyTorch和TensorFlow。
基准模型：
结果和性能评估：
02
环境领域
“环境”组别中包含了大量精选论文（156篇中的27篇），这表明在该领域应用GNNs的研究兴趣相当浓厚。然而，该组别高度分散，因为它包含了大量与环境数据研究相关的子领域和应用。预测环境数据对于理解人类活动对环境的影响、追踪气候变化的进程以及预警极端天气现象等至关重要。
预测环境数据的方法通常分为数值模型、统计模型和机器学习方法三类。数值方法基于大气模型，旨在量化不同大气变量之间的相互作用。这些模型的准确性取决于数据的可用性，而获取预测结果的数学模拟可能需要数天甚至数周的时间，从而限制了它们进行良好短期预测的能力。
线性统计方法通过使用类似回归的模型来利用记录数据中的长期依赖性。然而，它们无法捕捉数据集中的非线性关系，这限制了它们的效力。另一方面，机器学习模型通常是线性统计方法的一种泛化，能够捕捉数据中更复杂和非线性的关系。
数据集：
环境领域的研究通常使用特定的数据集，包括公开数据集和一些需要预处理的数据集，如插值缺失数据、去除异常值和归一化。
提出的模型：
大多数论文提出了基于卷积GNN的模型，也有部分使用了注意力GNN和混合架构。图结构的定义在论文中描述不一，有些基于空间距离，有些基于时间序列的相关性或相似性。
基准模型：
环境领域的基准模型包括传统的机器学习模型和一些GNN模型，如LSTM和GRU，这些模型因其能够捕捉时间依赖性而被广泛使用。
结果和性能评估：
论文中提出的GNN模型普遍优于基准模型，但因为缺乏共同的数据集，很难进行跨研究的准确性比较。
03
金融领域
“金融”是另一个新兴的研究领域，尽管尚未得到广泛探索，但在精选的156篇论文中有9篇涉及该领域。金融数据预测的难度是一个公认的事实。这源于市场本身的复杂性、地缘政治事件对市场的影响，以及人类行为（通常是非理性和难以预测的）的不确定性。这种复杂性使得金融时间序列具有高度波动性，因此准确预测和数据建模对于制定有效的交易策略至关重要。GNN被用于建模变量之间的相互依赖关系以及序列动态。
数据集：
金融领域的研究通常使用股票市场指数数据集，如中国A股、CSI 100指数、S&P 100和S&P 500指数等，这些数据集通常包含市场数据、事件和新闻等外生变量。
提出的模型：
在提出的GNN模型中，有一半使用注意力机制，另一半使用卷积GNN。这些模型通常基于公司和股票之间的关系预定义图结构，或者让模型自己学习图结构。
基准模型：
金融领域的基准模型包括传统的机器学习模型和一些GNN模型，如LSTM和GCN，这些模型因其在处理长期信息方面的效果而被广泛使用。
结果和性能评估：
论文中提出的GNN模型在分类任务中的准确性通常使用准确率、精确度和F1分数来评估，而在预测任务中则使用交易模拟来评估模型对投资回报稳定性的影响。
04
健康领域
健康领域（Health）的研究在156篇出版物中占8篇，这些论文重点关注健康监测、疾病建模和诊断工具的关键方面，尤其强调疾病的传播和诊断。所有处理功能性磁共振成像（fMRI）数据的论文都被排除在分析之外，因为这些数据集是以图像序列的形式生成的，而不是时间序列。这种数据结构上的关键差异使它们与本综述的时空焦点不太相关。
数据集：
提出的模型：
基准模型：
结果和性能评估：
05
移动出行领域
通过查询确定出的论文数量最多的主题（在156篇中占39篇）是“移动性”，它关注的是人的移动。这一主题包括城市交通、航空旅行和自行车需求等应用。鉴于该组文章数量众多，因此可以对基准、模型和结果进行更详细的比较。
早期交通预测对于提高交通系统的效率、帮助驾驶员更有效地规划行程以及预防城市交通拥堵至关重要。智慧城市基础设施和交通系统的出现有助于从道路传感器中收集丰富的数据，这些数据可用于交通预测。然而，由于交通模式随时间和空间不断变化，以及天气状况和特殊事件等外部因素的影响，准确进行交通预测具有挑战性。与经典统计和机器学习模型不同，GNN能够模拟空间和时间域中的复杂关系，因此在交通预测方面特别有效。该组中每年发表的论文数量不断增加，既反映了该领域日益增长的研究兴趣，也反映了人们对GNN模型的信心日益增强。最常研究的领域涉及城市交通，尤其是城市交通流量和城市交通速度。
数据集：
论文中提到了多个公共数据集，如PeMS数据集和METR-LA数据集，这些数据集包含了大量的传感器信息，用于交通预测模型的训练和测试。
提出的模型：
提出的模型中，大部分是基于卷积GNN，其次是注意力GNN和混合卷积-注意力架构。这些模型在定义图结构时有多种方法，包括基于道路网络结构、实际人流或时间序列相似性等。
基准模型：
基准模型包括数学和统计方法（如ARIMA和历史平均值模型），传统机器学习模型（如LSTM和XGBoost），以及GNN模型（如STGCN、DCRNN和ASTGCN）。
结果和性能评估：
06
预测性监测
数据集：
提出的模型：
基准模型：
结果和性能评估：
07
通用领域
数据集：
论文中使用了多个公共数据集，包括电力消耗、汇率、太阳能和交通数据集，这些数据集在不同的研究中被广泛认为是基准数据集。
提出的模型：
基准模型：
结果和性能评估：
使用常见的性能评估指标，如平均绝对误差（MAE）、相关系数（CORR）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）等，来评估模型的性能。
08
其他领域
数据集：
研究结果的讨论
研究者在引言中定义的两组研究问题：一般性问题和特定问题。针对特定问题的讨论如下：
SQ1（应用）
三个最受研究的领域分别是“移动性”、“环境”和“通用”。关于前两个组，它们的数据集可以自然地转化为图，这解释了为什么它们随着时间的推移被更广泛地研究。相比之下，“通用”组最近因其在更广泛背景下的适用性而获得了显著的兴趣。至于不同领域之间的差异，主要与图的定义有关，这并不总是明确的，以及基准的选择，通常与特定社区的思维模式有关。在不同应用之间比较结果并确定最有希望的领域并不容易。“通用”组中的研究在广泛的领域中显示出希望。
SQ2（图构建）
大多数选定的论文侧重于预定义的图结构（当可用时），目标是提取最大数量的信息并增强模型的可解释性。然而，最近对模型的兴趣日益增加，这些模型学习图结构和边权重本身，预计这种趋势在未来将变得更加普遍。
SQ3（分类）
设计时空GNNs有两种主要方法：一种在单独的模块中处理空间和时间组件，另一种将它们集成并一起处理。对收集的论文的分析表明，最常见的方法是单独模块。具体来说，研究人员通常独立地处理问题的空間和时间方面，并分别关注每个模块。所提出的GNN模型的分类只涉及空间组件，综述表明卷积和注意力方法是普遍的。大约62%的模型纯粹是卷积的，25%纯粹是注意力的，8%是混合卷积-注意力的。关于时间组件，广泛使用的是GRU的递归结构和注意力机制。
SQ4（基准模型）
就基准模型而言，有许多选项可用，其选择取决于具体应用。在能源、金融、健康和预测性监测等领域，倾向于关注更简单的统计和传统机器学习基准，只有有限的使用GNN基准。在“通用”组中，许多基于Transformer架构的最新机器学习基准模型已经出现。值得注意的是，在“移动性”、“环境”和“通用”组（这也是研究最多的领域）中，有许多参考GNN基准模型。最普遍的基准是图卷积神经网络与长短期记忆网络（GC-LSTM）、时空图卷积网络（STGCN）、基于注意力的时空图卷积网络（ASTGCN）、扩散卷积递归神经网络（DCRNN）、时空图卷积网络（STGCN）和多变量时间序列预测与图神经网络（MTGNN）。
SQ5（基准数据集）
选定论文中提到的数据集与具体的案例研究密切相关。尽管在“通用”组中列出了一些基准数据集，但整个GNN研究社区并没有共同的标准数据集。希望研究社区能够就一些最常用的数据集达成一致，并开始采用它们，例如交通数据集，目标是为整个研究社区开发共享的基准数据集。希望这篇综述能够通过提供不同数据集上模型结果的全面表格来促进这一点，以便于比较不同的时空GNN模型。
SQ6（建模范式）
关于建模范式，大多数选定的论文使用同构图，这模拟了相同性质的多个实体之间的关系。这是因为许多基本的GNN算法最初是为同构图开发的，而且更容易识别相同类型量之间的关系。此外，在许多情况下，关注的是多变量序列，其中感兴趣的变量和目标量本质上是同一性质的。
SQ7（指标）
关于误差指标，其选择高度依赖于具体的案例研究。然而，最常见的是预测问题的均方误差（MAE）、均方误差（MSE）和平均绝对百分比误差（MAPE），以及分类问题的准确性。
挑战与未来方向
01
可比性
论文指出，由于缺乏标准化的时空GNN基准，不同研究的结果难以比较。为了改善这一问题，论文提供了详细的数据集、基准、代码和结果表，希望促进研究者之间的比较和进一步探索。
02
可重复性
03
可解释性
04
信息容量不足
05
异质性
06
其他领域
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
280+篇专栏笔记，已有270+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
