WR | 利用基于边的图神经网络构建可迁移的供水系统元模型

文摘   2024-10-16 19:46   新加坡  
点击订阅公众号 | 前沿学术成果每日更新               

第一作者:Bulat Kerimov

通讯作者:Bulat Kerimov

DOI:https://doi.org/10.1016/j.watres.2024.121933


                 

                 

                 

                 

                 

                 

     

             
内容速览

               

文字摘要

数据驱动的元模型能够再现基于物理模型的输入-输出映射,同时大幅减少模拟时间。这些技术被广泛应用于水分配系统的设汁、控制和优化中。最近的研究强调了基于图神经网络(GNN)的元模型的潜力,因为它们能有效地利用水分配系统中的图结构特征。此外,这些元模型具备归纳偏置,有助于泛化到未见过的拓扑结构。可迁移的元模型对于需要高效评估多种备选布局的问题特别有利,或者在训练数据稀缺时尤为有用。然而,由于缺乏对管道层面发生的物理过程的表示,基于GNN的元模型的可迁移性仍然有限。为了解决这一局限性,该论文的工作引入了基于边的图神经网络(EGNN),这种网络扩展了归纳偏置集,并比传统的图神经网络更详细地表示链接级别的过程。这样的架构理论上与节点处的质量守恒约束相关。为了验证这一方法,作者测试了基于边的网络在估计管道流量和节点压力方面的能力,以模仿EPANET稳态模拟。首先,作者在几个基准水分配系统上将元模型的有效性与图神经网络进行了比较。然后,通过评估未见系统的性能来探索可迁移性。对于每种配置,计算了模型性能指标,如决定系数以及相对于原始数值模型的速度提升。结果显示,所提出的方法比基于节点的模型更准确地捕捉到了管道层面的物理过程。当测试具有相似需求分布的未知水网络时,该模型保持了良好的泛化性能,流速的决定系数高达0.98,预测水头的决定系数高达0.95。模型未来的发展可能包括同时推导出压力和流速。

图片摘要

Highlights

  • 提出了一种新的基于边的图神经网络(EGNN)的元模型方法。

  • 这种基于边的方法利用了质量守恒的归纳偏置。

  • EGNN在总体精度上优于图神经网络。

  • EGNN能够很好地泛化到未见过的拓扑结构,并保持良好的精度。

关键字:Water networks;Artificial intelligence;Transfer learning;Deep learning;Graph Neural Networks;EPANET


               

               

               

               

               

               

               
研究背景

                   

水力模型对于水分配系统(WDS)的设计、管理和控制至关重要。这些基于物理的模型,如EPANET,通过求解质量守恒和能量守恒方程来估计系统在任何给定时间的稳态流量和压力。然而,这些模型在需要大量模拟的应用中可能过于耗时。为解决这一问题,数据驱动的元模型可以显著减少模拟时间,同时保持与原始模型结果的可比性。机器学习方法,特别是人工神经网络(ANN),能够近似物理模型的输入-输出关系,在短时间内获得准确结果。尽管ANN利用了高程、管道粗糙度等参数,但它们忽略了WDS的拓扑信息及其连接性,这对准确建模和模型迁移是至关重要的。

图神经网络(GNNs)提供了一种新的解决方案,能够处理基于图数据集的非欧几里得结构,并考虑图的拓扑。GNNs扩展了深度学习对图拓扑的考量,通过引入邻接矩阵或拉普拉斯矩阵,并具有置换等变性质,适用于任意大小的图。这些特性保留了图结构中的额外信息,减少了可训练参数数量,使模型更轻量级。GNNs已被应用于多种水系统问题,包括爆管检测、分区计量区域划分和识别网络攻击。研究表明,GNNs能够在多个水网络上学习共享表示,但在新领域的实用性仍然受限。

目前关于训练模型可迁移性的证据有限。一个足够可迁移的元模型可以在网络修改后无需重新训练,并能应用于任意布局和配置的网络。文献中的研究通过同时在多个水网络上训练ChebNet模型,探索了基于GNN的元模型的可迁移性。虽然GNNs能在不同WDS中学习共享表示,但在新领域的实用性仍受限。这种局限性主要源于GNNs在建模管道内物理过程时的表现力不足。为此,本研究提出了一种基于边的图神经网络(EGNN),它在边空间上操作,以提高对物理过程的表达能力。通过这种方法,作者能够在给定消费节点的需求和管道参数下预测每条管道的流量,并进一步推导出每个节点的压力。实验结果显示,EGNN不仅提高了预测准确性,还在未知设置下表现出了良好的泛化能力。


               

               

               

               

               

               

               
模型方法

                   
作者首先以数学形式描述问题,并引入基于传统图神经网络(GNN)的元模型。本节包含GNN的技术背景,并突出了其核心局限性。该方法基于GNN定义了一种基于边的图神经网络(Edge-based Graph Neural Network),重点说明了从基于节点的表示转换为基于边的表示的必要步骤,并解决了前面提到的局限性。

 GNN模型

以编码器-处理器-解码器的方式构建模型,其中该组合中的每个模块在所有节点之间共享。
  • 编码器 (ENC) 的目的是将输入Xn转换为特征矩阵H

  • 处理器 (PRC) 考虑拓扑结构,在此高维空间中处理特征矩阵H

  • 解码器 (DEC) 将处理后的特征矩阵H投影到所研究的压力P的一维输出上

编码器:使用多层感知器(MLP) 来将输入特征Xn编码到更高维空间中。MLP 中的每一层都使用线性变换和非线性函数对特征矩阵进行变换,从而增强特征表示并提高模型的表达能力。编码器并行预处理节点特征,不包括拓扑信息。

处理器:特征矩阵可以通过将移动算子(shift operator)与特征矩阵相乘,从一个节点传播到其邻居节点。移动算子是一个矩阵,其元素定义为:当 属于 时,;否则,。通常,任何连接矩阵都可以作为移动算子,无论是邻接矩阵 还是拉普拉斯矩阵 。其中, 是节点度数的对角矩阵。多次应用移动算子可以允许信号从更大的跳数邻域中传播。接收场(即层数)越宽,信息在图中传播的范围就越广,如图1所示。

图 1.一个三层图神经网络。从左到右的图描述了来自邻域的信息传播N( j )={ j ( i, j ) ϵ E } 从节点j到节点本身。此类计算对每个其他节点并行执行。

解码器:最后,解码器 从最后一层的隐藏特征矩阵中获得所需的输出

基于边缘的图神经网络元建模

为了解决基于 GNN 的元模型中突出的过度平滑问题,作者提出了一种替代方法,即从基于节点的表示切换到基于边缘的表示。EGNN 不会输出节点上的压力,而是首先通过摄取和处理边缘特征和 来预测流量。使用 Hazen-Williams 关系,将流量转换为水头损失。最后,从水头损失中得出节点压力。该过程分 3 个步骤执行,概览如图2所示。

 图2.建模方法的概述

               

               

               

               

               

               

               
研究结果

                   

 GNN 和 EGNN 的泛化

在用一个供水系统(WDS)内进行模型的训练和比较,评估当网络布局预先已知并在训练期间使用时,每个模型在不同情况下预测变量的准确度。模型在两个子集上进行评估:一个具有不同需求和固定k的数据集(子集 A),以及一个具有不同需求和管道参数的数据集(子集 B)。在这两个子集中,训练集和测试集的拓扑结构相同。
图3 .实验中使用的供水网络 (Bragalli et al., 2012, Kang and Lansey, 2012, Dandy, 2016, Hall, 2021, Rossman, 2016).

图4总结了模型评估的结果。正如预期的那样,在子集A(条形图顶部)上训练的模型的性能高于子集B(条形图底部)。基于边缘的方法在流量方面始终优于基于节点的GNN。就连接头和压力而言,当参数发生变化时,EGNN更有可能提供可靠的结果(子集B)。

图4. 在预测水头(左)和流量(右)方面,随着参数变化引入的变异性,GNN(粉红色)和EGNN(紫色)在R2性能上的退化。条形图的顶部对应于在固定管道参数的数据集上训练的模型的准确性(第3.2节中的子集A),而条形图的底部对应于在κ和q具有变异性数据集上训练的模型的准确性(第3.2节中的子集B)。

 EGNN的可迁移性

在多个网络训练模型,并进行评估,其结果如下图:
图5和图6展示了EGNN在ASnet2、ZJ、Apulia和Jilin网络上的可迁移性。尽管这些网络未出现在训练数据集中,EGNN表现良好。误差主要体现在对某些网络区域的压力低估上。同时,预测水头损失h的最大误差出现在靠近水库的地方,特别是在图5b中的ASnet2的管道以及图6d中的Jilin的管道处。这些管道连接了分区到网络的其余部分。因此,水头损失的误差会向下传播到其他区域。

图5. 以ASnet2(a, b)和ZJ(c, d)为例,对可迁移性的详细评估,每个案例研究平均进行了(n=100)次模拟。左侧显示了真实f与预测f的比较;以及p与\hat p的比较。右侧展示了网络布局,节点和边的颜色分别表示推导出的压力和水头损失的平均绝对误差(b, d)。

图6. 以Apulia(a, b)和Jilin(c, d)为例,对可迁移性的详细评估,每个案例研究平均进行了(n=100)次模拟。左侧显示了真实f与预测f的比较;以及p与$\hat p$的比较。右侧展示了网络布局,节点和边的颜色分别表示推导出的压力和水头损失的平均绝对误差(b, d)。

 模型加速
图7展示了加速实验的结果,比较了总模型与每种压力重构方法的计算增益。如作者所见,迭代平滑通常比最小二乘法提供更多的速度提升,因为它可以在GPU上并行执行。因此,在相同的图形内存限制下,对于较小的网络,迭代平滑显著更快(最高可达350倍)。对于较大的网络,这两种方法似乎提供了与最小二乘法相对相似的速度提升(最高可达8倍)。这是因为在公式(20)中描述的每次迭代都会传播到最近的邻域。因此,收敛所需的迭代次数随网络直径而增加。尽管如此,如图7b所示,这两种方法在系统中仍然作为瓶颈存在。

图7.执行时间和加速比较。
文献信息             
:5              

点击“原文链接”,查看论文


               

               

声明:本公众号分享的前沿学术成果来源于各学术网站,不依法享有其所有权。若原作者发现本次分享中的文字及图片涉及侵权,请立刻联系公众号后台或发送邮件,我们将及时修改或删除!         

邮箱:environmodel@sina.com         

若您认为有用,欢迎

Environmodel设为星标,或

点击“在看”或“分享”给他人


Environmodel
Environmodel(环境模型)专注于环境科学与工程领域的建模及模型研究进展,并分享涵盖机器学习、深度学习以及人工智能等相关领域的理论知识、主流工具和Python编程技巧。
 最新文章