[论文分享]AAAI 2024 高维偏微分方程解的可解释方法

摘要

近年来，机器学习算法，特别是深度学习，在求解偏微分方程(PDEs)方面显示出了良好的前景。然而，随着维数的增加，变量之间的关系和相互作用变得更加复杂，现有方法难以为高维偏微分方程提供快速且可解释的解。为了解决这一问题，我们提出了一种基于迁移学习和自动微分的遗传规划符号回归算法来求解偏微分方程。

该方法利用遗传规划寻找数学上可理解的表达式，并结合自动微分判断搜索结果是否满足PDE和待解的边界条件。为了克服搜索空间大导致的求解速度慢的问题，我们提出了一种迁移学习机制，将一维PDE解析解的结构转化为高维PDE解的形式。对三种典型的偏微分方程进行了测试，结果表明，本文提出的方法可以得到可靠的、人类可以理解的偏微分方程的实解或代数等价解，且收敛速度优于对比方法。

1 引言

偏微分方程(PDE)是包含未知函数及其偏导数的方程。未知函数是一个多变量函数，自变量包括时间和空间。解析求解偏微分方程对于理解物理、工程、金融等领域的现象具有重要意义。偏微分方程的解析解可以展示变量之间的相互作用对结果的影响，这为工程师理解问题的潜在物理原理并做出更明智的设计决策提供了明确的基础。求解实际问题中的偏微分方程是具有挑战性的。许多偏微分方程没有解析解，需要数值方法来求解。此外，即使存在解析解，求解过程也可能非常复杂，特别是当问题的维度增加时。因此，研究人员一直在努力寻找更有效的方法来求解偏微分方程的解析解。传统数值方法和深度学习方法通常用于求解偏微分方程。然而，与直接求解解析解相比，这些方法有一定的局限性。数值方法通常需要对问题进行离散化，这会引入离散化误差。此外，数值方法的收敛速度可能较慢，需要大量的计算资源。深度学习方法可以直接从数据中学习解决方案，并且可以用于解决复杂几何形状的偏微分方程，而不需要结构化网格。然而，这些基于学习的方法需要大量的训练数据，并且需要调整许多超参数。在PDE求解器的实际应用中，除了求解能力和效率之外，可解释性也是必不可少的。与黑箱解算器相比，可解释解算器可以为求解方程的过程提供一些线索，从而帮助用户理解偏微分方程背后原始问题的物理定律。令人失望的是，传统数值方法和深度学习方法得到的解都是不可解释的。因此，将可解释性分配给有效的PDE求解器具有实际意义，但尚未得到解决。符号回归已被证明是在许多领域实现可解释性的有效工具，它可以通过搜索数学表达式的空间来找到最适合给定数据的函数。遗传编程经常被使用到符号回归通过模拟自然选择和基因突变。在(Oh et al . 2023a)中，引入遗传规划来搜索满足给定PDE和边界条件的函数。通过合理设计搜索空间和适应度函数，遗传规划可以有效地求解低维偏微分方程的解析解。

然而，当维数增加时，遗传规划求解偏微分方程的有效性可能会下降。这是因为高维问题的搜索空间非常大，遗传规划可能难以在有限的时间内找到有效的解析解。此外，高维问题的复杂性也给遗传规划的设计带来了困难。因此，对于高维问题，利用遗传规划求解偏微分方程仍然面临一些挑战。通过解决这一问题，可以使PDE求解器在高维问题中具有高效的求解能力和可解释性，在实际应用中具有重要意义。

值得注意的是，描述相同物理定律的偏微分方程在不同的维度上具有相似的结构。

我们推断物理定律在不同维度上具有相似性，因此描述物理定律的偏微分方程的解在不同维度之间可能具有相关性。这种相关性有助于处理高维问题。此外，遗传规划中有效的个体选择和简化可以提高收敛速度和多样性。

本文提出了一种基于结构传递机制和自动微分的遗传规划符号回归算法(HD-TLGP)，用于求解偏微分方程的解析解。主要贡献如下:

• 提出了一种结构转移机制，通过将一维(1D)问题解析解的结构转移到高维问题上，从而指导高维偏微分方程解的搜索方向，从而加快了收敛速度。
• 引入自动区分来评估个体是否可以作为pde的解决方案，并加快评估速度。
• 引入剪枝算子，简化个体，提高种群多样性，提高可解释表达式的质量。

2.初步研究

偏微分方程

偏微分方程(PDE)是包含若干自变量的未知函数的偏导数的方程。它描述了自变量、未知函数和它的偏导数之间的关系。

设L为微分算子，则PDE可以形式化为，其中为未知函数，X为变量向量。求解偏微分方程意味着找到满足偏微分方程的未知函数的数学表达式。

相关工作

在过去的几十年里，研究人员提出了许多有效的方法来解决PDE问题。目前，广泛使用的技术可分为两大类:传统的数值方法和基于深度学习的方法。

传统的数值方法主要有有限差分法(FDM)、有限元法(FEM)、有限体积法(FVM)和谱法。FDM用有限差分取代了PDE中的导数。FEM 和FVM 使用多项式基函数离散域和近似解。谱方法使用傅立叶级数或切比雪夫多项式来近似PDE的解。这些数值方法各有优缺点，方法的选择取决于所要解决的具体问题。传统的数值方法也有一定的局限性。它们可能无法处理复杂的几何形状和边界条件。数值方法也需要大量的计算资源和时间，因此需要平衡效率和准确性。因此，许多学者转向了深度学习方法。

基于深度学习的PDE求解方法近年来取得了很大进展。这些方法分为三类:有限维算子、物理信息神经网络(pinn)和神经算子。有限维算子使用深度卷积神经网络来参数化解算子。这些方法是网格相关的，不同的分辨率导致不同的误差。pinn通过使用自动微分将PDE嵌入神经网络的损失函数。神经算子是一种神经网络，它被训练来近似PDE到其解的映射，然后构建一个快速且与分辨率无关的求解器来求解PDE 。然而，深度学习方法也有一些局限性，包括它们对大量数据的依赖，以及缺乏可解释性。在工程力学的背景下，缺乏可解释性可能会导致对生成模型及其预测能力和局限性的固有缺乏理解。

上述方法提供了PDE的数值近似解。然而，这些数值方法缺乏可解释性，这使得工程师很难理解问题的潜在物理原理并做出明智的设计决策。基于遗传编程的符号回归(GPSR)用于解决PDE，因此其固有的可解释性和最近成功应用于物理和力学问题。

GPSR 是一种符号回归，它使用遗传规划来进化近似PDE解的数学表达式。(Burgess 1999)首次使用GPSR求解微分方程在遗传规划中嵌入了一种遗传算法来发现和优化数学表达式的结构。Iba等人。通过遗传规划(GP)和最小均方(LMS)推导出微分方程。在之前的工作基础上，Hongsup Oh等人使用物理正则化适应度函数PR-GPSR来增强GPSR。

然而，随着维数的增加，变量之间的关系和相互作用变得更加复杂，现有方法难以快速地为高维偏微分方程提供可解释的解。因此，在本工作中，我们重点研究如何降低GPSR发现高维PDE的实解或代数等效解的难度，加快算法的收敛速度。

遗传规划中的迁移学习

在遗传规划领域，迁移学习旨在从已解的源优化问题中提取知识，以提高求解目标优化问题的效率和有效性。文献中关于遗传规划迁移学习的研究较少。遗传规划中的迁移学习可以分为两类:基于个体的迁移学习和基于实例的迁移学习。

基于个体的迁移学习是通过将一些优秀个体或子个体直接从源问题迁移到目标问题来提出和实现的。基于实例的迁移学习是一种迁移学习，它通过重新加权数据将部分数据从源域重用到目标域。

上述方法仅在源域和目标域处于同一解域中时有效。然而，对于描述相同物理规律的低维和高维偏微分方程，在变量和解域上存在差异。因此，我们关注如何对齐低维和高维方程的解域并实现迁移学习。

3 算法

模型架构

所提出方法(HD-TLGP)的总体框架如图1所示。演化过程遵循GPSR的基本框架。其核心部分是先验知识(步骤1-2&5)、剪枝算子(步骤4)和评价函数(步骤3)的使用。

图1:提议的HD-TLGP的流程:步骤1。结构转移机制:将一维PDE解析解的结构转移到高维PDE溶液的形式。步骤2。引导初始化:利用知识库改进初始种群中部分个体的结构。步骤3。自动微分求值:在进化过程中，使用梯度下降对生成表达式中的常量进行优化，并使用自动微分对搜索到的表达式求值。步骤4。修剪操作:随机执行两个修剪操作，以降低个体的复杂性。第5步。传递算子:利用知识库改进个体结构。

HD-TLGP首先利用结构转移机制将一维PDE解析解的结构转化为高维PDE解的形式。如果1D PDE没有已知解，可以用GP法求得。基于上述算法，可以得到一个知识库来指导高维PDE解的探索(步骤1)，然后，HD-TLGP使用知识库来改进初始种群中部分个体的结构(步骤2)，在进化过程中，HD-TLGP使用传输速率trpb来控制何时使用知识库来改进个体的结构(步骤5)。

为了提高HD-TLGP的性能，我们使用梯度下降来优化生成表达式中的常量，并使用自动微分来计算搜索到的表达式(步骤3)。我们还随机执行上述两个修剪算子(步骤4)来降低表达式的复杂性。当停止条件满足时，我们将使用最终种群的最佳个体作为PDE的解。

结构传递机制

遗传规划可以有效地求解偏微分方程，但由于搜索空间太大，在求解高维偏微分方程时遇到困难。为了克服这个问题，HD-TLGP结合了迁移学习。

物理定律是用数学方程来表示的，这些方程在所有维度上都具有相同的形式。例如，考虑波动方程，它描述了光和声音等波的行为。

n维波动方程的一般形式如式1所示:

波动方程无论在一维、二维还是三维，都具有相同的形式。因此，我们推断不同维度的偏微分方程的解可能是相关的。

在此基础上，我们提出了一种结构性转移机制。它通过将一维PDE解析解的结构转换为高维PDE解的形式来传递先验知识。为了更好地理解本文提出的结构传递机制，我们首先给出了求解PDE时结构传递机制的数学定义。定义引入了域的概念。定义引入了任务的概念。

(域):符号表达式空间是所有可能的符号表达式的集合。域由符号表达空间组成。表示为，其中X为符号表达式空间。

(任务):给定一个域D，定义一个任务，它由一个指定的PDE Y和一个评估函数f组成。

设分别为源域空间和目标域空间。分别为源学习任务(求解一维PDE)和目标学习任务(求解高维PDE)。然后，结构转移机制的目的是利用其先验知识，即从中，提高满足目标任务的解的搜索效率，其中, 。

将最优解扩展到目标域的过程可以表示为，图2说明了使用结构转移算子Φ将一维PDE的最优解扩展为高维PDE解的过程。

图2:结构转移算子Φ的过程:(a)执行替换算子。(b)提取子树。(c)执行扩展操作和叶片替换操作。(d)转移的知识库，该知识库可以指导满足目标任务解决方案的搜索方向。

假设一维偏微分方程的解析解为。与一维偏微分方程描述相同物理规律的d维偏微分方程具有相同的形式和参数。它只比一维偏微分方程多d - 1维相关变量。我们可以将一维偏微分方程解析解中的变量替换为方程2中的变量。

图4:适应度函数:使用数据拟合误差和PDE拟合误差评估搜索到的函数表达式u。

假设我们有一个观测数据集，其中基于待解的微分方程。是一个d维向量，其中d = 2。损失E可以用作适应度函数来评估搜索到的函数表达式u是否可以用作PDE的解。可以定义为式4:

待解的偏微分方程由偏微分方程、初始条件和边界条件组成。因此，PDE拟合误差是这两部分误差的和。

修剪操作符

随着代数的增加，GP倾向于产生更复杂的表达式。这些复杂的表达式会增加求值成本，降低表达式的可解释性和泛化能力。因此，对表达式进行剪枝是提高其性能的必要条件。我们引入了两个剪枝操作符:子树剪枝操作符，它的工作原理是在表达式树中随机选择一个代表个体的节点，并用常数1替换在该节点上扎根的子树(图5 (a))。还有简化-剪枝算子，它对表达式进行简化，然后通过将一些常量设置为零来随机删除公式中的一些结构(图5 (b))。

图5:修剪操作符:(a)子树修剪操作符。(b)简化-修剪算子。

4.实验

在本节中，对三种类型的PDE进行了实验，以评估所提出的HD-TLGP的性能。我们将所提出的HD-TLGP与传统数值方法(FEM)、基于深度学习的方法和基于GPSR的方法(PR-GPSR)进行了性能比较。最后给出了HD-TLGP和PR-GPSR的最优解，验证了所提出的方法可以得到更可靠的、人类可以理解的PDE实解或代数等价解。此外，我们还绘制了每一代最佳适应度函数值的收敛轨迹。还验证了剪枝操作的有效性。

实验设置

在本节中，将详细介绍测试问题。对热方程、泊松方程和平流方程进行了验证。表1给出了每个PDE的简单名称，并描述了详细信息。

表1:PDE总结及其初始条件、边界条件和解析解。

性能比较

在本节中，我们将提出的HD-TLGP与PDE求解器、PINN 和PR-GPSR 的性能进行了比较。PDE求解器由COMSOL Multiphysics 提供，采用有限元法求解PDE。物理信息神经网络是一种流行的最先进的机器学习模型，用于解决PDE。它们最近获得了很多研究兴趣，因为它们能够学习系统的底层物理并做出准确的预测。PR-GPSR是解决PDE的最新GPSR。它在求解简单偏微分方程的解析解方面表现出良好的性能。其设置与HD-TLGP相同。

表2显示了使用上述算法的预测值与真实值之间的均方误差(MSE)和误差方差。HD-TLGP获得的最佳结果最多(12个中有7个)。PDE求解器取得了5个最好的结果，所涉及的PDE都比较简单。HD-TLGP的MSE相对稳定。PDE求解器、PINN和PR-GPSR仅在少数具有较低维数和相对简单的解的PDE上表现良好。

                                表2:模型的MSE性能和误差方差汇总

这进一步证明了HD-TLGP在求解高维PDE中的有效性。

值得注意的是，advection4上PDE求解器的MSE和方差非常大。这可能是由于平流的初始条件复杂，导致数值解不稳定和异常值很大。数据驱动方法可以解决有限元分析中PDE异常值的问题。其他比较算法在优化过程中加入了观测数据，因此离群值问题只出现在PDE求解器中。这进一步说明了传统数值方法的局限性。

符号解决方案比较

HD-TLGP试图通过在符号表达式中搜索满足PDE的公式来求解PDE。符号模型是自然科学的语言。与深度学习模型不同，符号模型具有紧凑、可解释性和良好的泛化能力。因此，符号回归具有自然的人类可理解性。

表3给出了HD-TLGP和SP-GPSR的简化优化公式。由于表3的篇幅限制，一些PRGPSR解决方案在这里没有列出。可以看出，我们的方法在有限的迭代次数内得到了精确的解析解，而其他方法只能得到可以拟合观测数据的近似解，而不能得到精确解。这表明，athd - tlgp可以准确有效地给出人类可理解的PDE解决方案。

                                表3:HD-TLGP和SP-GPSR的最优解

收敛轨迹可视化

在本节中，我们绘制了HD-TLGP和PR-GPSR在100代内获得的最佳目标值的收敛轨迹。advection1实例的辐合轨迹如图6所示。从收敛轨迹可以发现，与PR-GPSR相比，我们算法的目标值可以快速收敛到一个较小的值。这是因为我们的方法传递了可以引导人群向好的方向探索的解决方案。

图6:HD-TLGP和PR-GPSR在平流上获得的最佳物目值的收敛轨迹1。

剪枝操作的验证

在本节中，我们跟踪使用修剪算子前后种群的平均长度。图7显示了100代以上每一代中个体的平均长度。随着代数的增加，不带修剪操作符的HDTLGP倾向于产生更复杂的表达式。带修剪算子的HD-TLGP个体长度相对稳定。复杂的表达式会增加计算成本，降低表达式的可解释性，降低表达式的泛化能力。因此，修剪算子的存在是非常必要的。

                            图7:在heat1下种群中个体的平均长度。

结论

本文提出了一种名为HD-TLGP的新方法来解决PDE问题。该方法提出了一种结构转移机制。

以一维偏微分方程解析解为基础，指导高维偏微分方程解的探索。通过引入自动微分算子和剪枝算子，进一步提高了算法的性能。对三种类型的PDE进行了实验，结果表明，该方法能够得到可靠且易于理解的高维PDE实数或代数等价解，且收敛速度优于对比方法。