Nature Reviews Physics | 结合物理信息的机器学习在正向、逆向问题的应用！

📝 物理引导的机器学习 | Physics- informed machine learning

George Em Karniadakis, Ioannis G. Kevrekidis, Lu Lu, Paris Perdikaris, Sifan Wang, Liu Yang

摘要

尽管在使用数值离散化偏微分方程（PDEs）来模拟多物理场问题方面取得了巨大进展，但仍然无法无缝地将噪声数据并入现有算法中。网格生成仍然复杂，高维问题由参数化PDE控制时无法解决。此外，解决隐藏物理问题的逆问题通常代价高昂，且需要不同的公式和复杂的计算机代码。机器学习已经成为一个有前途的替代方法，但训练深度神经网络需要大量数据，而这些数据并不总是适用于科学问题。相反，这类网络可以通过物理定律获得的额外信息进行训练（例如，在连续时空域中的随机点）。

这种物理引导的学习将（噪声）数据和数学模型集成在一起，通过神经网络或其他基于核的回归网络实现。此外，可以设计出一些专门的网络架构，它们可以自动满足物理不变量，从而提供更好的精度、更快的训练速度以及更好的泛化能力。

本文回顾了将物理学嵌入机器学习中的一些主要趋势，展示了当前物理引导学习的能力和局限性，讨论了物理引导学习在正向和逆向问题中的多种应用，包括发现隐藏物理现象以及解决高维问题。

关键点

• 物理信息机器学习能够无缝地将数据和数学物理模型结合起来，即使在部分理解、不确定和高维环境中也能有效工作。
• 基于核或基于神经网络的回归方法提供了有效、简单且无网格的实现。
• 物理信息神经网络在处理病态问题和逆问题时高效，结合领域分解可以扩展到大规模问题。
• 算子回归、内在变量和表示的搜索、以及嵌入物理约束的等变神经网络架构是未来研究的有前景领域。
• 需要开发新的框架和标准化基准，以及新的数学工具，以支持可扩展、稳健且严格的下一代物理信息学习机器。

Box 1 | 数据和物理场景

下图以示意形式展示了物理问题的三种可能类别及其相关的可用数据。在小数据情境下，假设已知所有的物理定律，并且给出了初始和边界条件以及偏微分方程的系数。应用中最常见的是中间情境，即已知一些数据和部分物理知识，可能缺少某些参数值，甚至偏微分方程中的某一项，例如对流-扩散-反应系统中的反应项。最后是大数据情境，在这种情况下，可能不了解任何物理定律，数据驱动的方法可能是最有效的，例如，使用算子回归方法来发现新物理。物理信息机器学习能够无缝地将数据和控制物理规律结合起来，包括部分缺失物理的模型。这可以通过使用自动微分和神经网络紧凑地表示，设计用于生成尊重基础物理原理的预测结果。

Box 2 | 物理信息学习的原则

使学习算法具备物理信息能力相当于引入适当的观测、归纳或学习偏差，以引导学习过程找到物理一致的解（见图）。

• 可以通过包含基础物理的直接数据或精心设计的数据增强过程引入观测偏差。训练基于此类数据的机器学习（ML）系统，可以使其学习函数、矢量场和反映数据物理结构的算子。
• 归纳偏差对应于可以通过量身定制的干预措施嵌入到机器学习模型架构中的先验假设，使得所寻求的预测隐式满足一组给定的物理定律，通常以某种数学约束的形式表达。有人会认为这是使学习算法具备物理信息能力的最原则性方法，因为它允许严格满足基础物理约束。然而，这种方法可能仅限于处理相对简单的对称群（如平移、置换、反射、旋转等），这些对称性是已知的，并且可能会导致难以扩展的复杂实现。
• 通过适当选择损失函数、约束条件和推理算法，可以引入学习偏差，调节机器学习模型训练阶段的收敛过程，使其显式地倾向于收敛到符合基础物理的解。通过使用和调节这种软惩罚约束，基础物理定律只能被近似满足；然而，这提供了一个非常灵活的平台，可以引入一大类基于物理的偏差，这些偏差可以通过积分、微分甚至分数阶方程的形式表达。

这些不同的偏差方式并不相互排斥，可以有效结合在一起，为构建物理信息学习机器提供广泛的混合方法。

Box 3 | 物理信息神经网络

物理信息神经网络（PINNs）通过将偏微分方程（PDEs）嵌入神经网络的损失函数中，使用自动微分无缝集成了测量数据和PDE信息。这些PDE可以是整数阶PDEs、积分-微分方程、分数阶PDEs【103】或随机PDEs【42, 102】。

这里我们展示了PINN算法，使用粘性Burgers方程作为前向问题的求解示例：

带有合适的初始条件和Dirichlet边界条件。图中，左边的（物理信息）网络表示PDE解  的替代模型，而右边的（物理信息）网络描述PDE残差 。损失函数包括初始和边界条件下的监督数据损失  以及PDE的无监督损失：

其中：

这里  和  是在初始/边界位置和整个域中采样的两个点集， 是  在  处的值。 和  是用于平衡两个损失项之间关系的权重。这些权重可以是用户定义的，也可以自动调整，它们在提高PINNs的可训练性方面发挥了重要作用【76, 173】。

网络通过使用基于梯度的优化器（例如Adam【196】和L-BFGS【206】）最小化损失进行训练，直到损失小于阈值 。PINN算法如图所示，更多关于PINNs的详细信息以及推荐的Python库DeepXDE可参见参考文献【154】。

算法1：PINN算法

构建一个神经网络（NN） ，其中  是可训练的权重和偏置， 表示非线性激活函数。为PDE指定测量数据集  和残差点集 。通过求和数据损失和PDE残差损失来指定损失函数 （见公式3）。然后训练NN以找到最佳参数 ，通过最小化损失 。

图1 | 物理启发的神经网络架构

a | 使用协变组合神经网络（GNNs）预测分子性质。该架构基于图神经网络，按子图的层次结构分解，并形成神经网络，每个“神经元”对应一个子图，并从其他神经元接收输入，这些输入与较小的子图对应。中间面板展示了如何将其等效地视为一种算法，其中每个顶点从其邻居处接收并聚合消息。左侧展示了CHNOSSe 和CHNSi的分子图以及对应的邻接矩阵。

b | 具有Lax-Oleinik公式的神经网络，表示Hamilton-Jacobi偏微分方程的解。 是Hamilton-Jacobi方程的解， 和  是时空变量， 是凸的Lipschitz激活函数， 和  是神经网络参数， 是神经元的数量。

引言

建模和预测多物理场和多尺度系统的动力学仍然是一个开放的科学问题。例如，地球系统是一个独特的复杂系统，其动力学由物理、化学和生物过程相互作用所支配，这些过程发生在跨越 17 个数量级的时空尺度上。在过去的 50 年里，在理解多物理场的应用方面取得了巨大的进展，从地球物理到生物物理学，使用数值方法求解偏微分方程（PDEs），包括有限差分法、有限元法、谱法，甚至是无网格方法。尽管取得了不懈的进展，但通过使用非线性多尺度系统的模型来预测这些系统的不均匀级联动态，使用经典的分析或计算工具往往面临着严峻的挑战，并引入了可观的成本和多种不确定性来源。此外，解决逆问题（例如，推断功能材料中的材料特性或发现复杂物理现象的输运机制）通常是非常昂贵的，需要复杂的公式、全新的算法以及复杂的计算代码。最重要的是，通过传统方法解决具有缺失、间断或噪声边界条件的现实物理问题目前是无法实现的。

这就是观测数据发挥关键作用的地方。随着未来十年内预计将产生超过一万亿个传感器，包括空中、海上和卫星的遥感，大量的多保真度观测数据可以通过数据驱动方法进行探索。然而，尽管数据（无论是收集的还是生成的）在数量、速度和多样性上都有显著增加，但在许多实际情况下，仍然无法将这些多保真度数据无缝集成到现有的物理模型中。数学的（也是实际的）数据同化方法取得了进展；然而，现有数据的丰富性和时空异质性，再加上缺乏普遍接受的模型，凸显了需要一种变革性的方法。这正是机器学习（ML）发挥作用的地方。它可以探索大规模的设计空间，识别多维相关性，并处理病态问题。它可以帮助检测气候极端事件，或统计预测如降水或植被生产力等动态变量。深度学习方法，特别是自然地为自动提取当前可用的、以空前的时空覆盖范围为特征的海量多保真度观测数据的特征提供了工具。它们还可以帮助将这些特征与现有的近似模型结合起来，支持开发新的预测工具。即使在生物物理和生物医学建模中，这种机器学习工具与多尺度物理模型之间的协同作用也已被最近提出的研究所证明。**

当前各科学领域的一个共同主题是，收集和创建观测数据的能力远远超过了合理同化甚至理解这些数据的能力。(Box 1)尽管这些方法在经验上有巨大的前景，也取得了一些初步成功，但大多数机器学习（ML）方法目前仍无法从这些数据中提取出可解释的信息和知识。此外，纯粹数据驱动的模型可能非常适合观察结果，但预测可能在物理上不一致或不可信，原因是外推或观测偏差可能导致泛化性能不佳。 因此，迫切需要将基本物理定律和领域知识整合到机器学习中，通过“教”机器学习模型来掌握物理规则，这些规则反过来可以提供“信息先验”——即，在观测先验之上强有力的理论约束和归纳偏差。为此，需要引入物理信息的学习，这里定义为通过物理知识的过程，这些物理知识来源于我们的观测、经验、物理或数学理解的世界，可用于改进一个学习算法的性能。最近的一个例子表明，这种新型的物理学习可能是解决问题的关键。物理信息神经网络（PINNs）就是这样一类深度学习算法，它们可以无缝整合数据和抽象的数学运算，包括求解带有缺失物理项的偏微分方程（PDEs）(Boxes 2,3)。这些前沿工作强调了引入物理知识或约束条件对于解释能力的重要性。PINNs可以处理不完美的数据（如有缺失或噪声值、离群值等），并提供准确且物理一致的预测，即使在不确定或难以概括的情况下。

尽管存在许多公开数据库，但有用的实验数据和真实的物理系统仍然有限。纯粹的基于具体数据的方法对于预测此类系统的建模取决于可用数据的量以及系统本身的复杂性。在图 8 中显示了这一经典范式的左侧部分，即假设唯一可用的数据是边界条件和初始条件，而具体的偏微分方程（PDEs）及其相关参数是已知的。相反，图的另一端（右侧）展示了大量的辅助数据可用，例如在某个时间段内的数据，但控制方程（即基础PDE）可能是未知的（连续性假设可能无法应用）。对于大多数现实应用而言，图中的更有趣的部分是中央区域。这里假设我们只对部分物理现象了解（例如，观测数据是完整的，但控制方程未知），但分散的测量数据或关键的辅助数据是可用的。这种“混合”场景可能会导致更复杂的情况，在这些情况下，PDE的解可能是随机过程，受到随机激发或不确定的物理属性。最后，存在涉及长时间-长空间尺度相互作用的问题，例如湍流、粘性-塑性材料的非局部传输过程，或分数阶微积分和分数阶PDEs可能是解决此类现象的适当数学语言，因为这些现象表现出分数可表达性，而这与深度神经网络（DNNs）不同。

在过去的两年里，试图通过物理学信息学习来量化和改进仿真工具的研究取得了进展。例如，使用基于国家实验室的大型计算机，科学家们尝试通过LAMMPS或AMBER等模拟工具将物理知识整合到神经网络中。通过这样的方法，人们可以进一步理解隐藏在物理模型背后的系统动态。

在本次综述中，我们首先描述了如何将物理嵌入到机器学习中，以及不同的物理知识如何为开发新的神经网络（NN）架构提供指导。接下来，我们介绍了物理信息学习机器的一些新能力，并强调了相关应用领域。这是一个发展非常迅速的领域，因此在文章的最后，我们提供了一个展望，其中包括对当前限制的一些思考。还可以在参考文献中找到一些现有的物理学与机器学习相结合的方法的分类。

如何将物理嵌入到机器学习中

没有预测模型可以在没有假设的情况下构建，因此，没有任何泛化性能可以期望从没有适当偏差的机器学习（ML）模型中获得。具体到物理信息学习，目前有三种路径可以单独或联合使用，通过将物理嵌入到机器学习模型中来加速训练并增强泛化能力。（Box2）

观测偏差

观测数据或许是机器学习最近成功的基础。它们在概念上也是将偏差引入机器学习中最简单的方式。只要有足够的数据来覆盖学习任务的输入域，ML 方法已经展示出在实现高维任务中点之间的准确插值方面的惊人能力。特别是对于物理系统，得益于传感器网络的快速发展，现在可以利用不同保真度的观测数据，监测在不同空间和时间尺度上复杂现象的演化。这些观测数据应该反映产生它们的基本物理原理，并且原则上可以作为一种弱机制，在训练阶段将这些原理嵌入到机器学习模型中。举例来说，这些包括神经网络（NNs）提出的模型。然而，特别是对于参数过多的深度学习模型，通常需要大量数据来强化这些偏差并生成尊重某些对称性和守恒定律的预测。在这种情况下，面临的直接困难是数据获取的成本，对于许多物理科学和工程科学的应用，生成大规模的观测数据可能需要通过昂贵的实验或大型计算模型来实现。

归纳偏差

另一种思路是设计专门的神经网络架构，这些架构能够隐式地嵌入与给定预测任务相关的任何先验知识和归纳偏差。毫无疑问，该类别中最著名的例子是卷积神经网络（CNNs），它们通过巧妙地尊重自然图像中的对称群组和分布式模式表示，彻底改变了计算机视觉领域的进展。其他代表性例子包括图神经网络（GNNs）、等变网络、核方法（如高斯过程）、以及更通用的物理信息神经网络（PINNs），这些核由支配给定任务的物理原理直接诱导。卷积网络可以推广到尊重更多的对称群组，包括旋转、反射和更通用的规范对称性变换。这使得基于流形的广泛类神经网络架构得以发展，它们仅依赖于内在几何，能够为复杂的视觉任务（如医学图像分割、气候模式分割等）提供非常有效的模型。通过小波基进行的平移不变表示也可以通过散射变换构建，这些变换能够稳定变形并保存高频信息。另一个例子是卷积神经网络（CNNs），它们符合多体系统中的旋转和平移不变性。

尽管这些方法的效果显著，但它们目前仅限于物理或对称性群组相对简单且明确的任务，通常需要精细的设计和复杂的实现。此外，将这些方法扩展到更复杂的任务具有挑战性，因为许多物理系统的基本对称性或守恒定律常常难以理解，或者难以在神经网络架构中隐式编码。

广义卷积并不是设计具有强隐式偏差的架构的唯一构件。例如，可以通过使用矩阵值函数的行列式在神经网络中获得变量交换的反对称性。参考文献33 提出了结合基于神经网络的键序势模型，并将结构参数分为局部和全局部分，以预测大型原子建模中的原子势能表面。在另一项工作中，使用不变张量基嵌入伽利略不变性到网络架构中，这显著提高了神经网络在湍流建模中的预测精度。对于识别哈密顿系统的问题，网络设计旨在保留基础哈密顿系统的辛结构。例如，参考文献36 修改了自编码器以表示 Koopman 运算符，用于识别坐标变换，将非线性动力学重铸为近似线性的动力学。

特别是对于使用神经网络求解微分方程，架构可以被修改以满足所需的初始条件、Dirichlet 边界条件、Neumann 边界条件、Robin 边界条件、周期性边界条件和界面条件。此外，如果偏微分方程解的一些特征是已知的，则也可以在网络架构中对其进行编码，例如，多尺度特征、偶数/奇数对称性和能量守恒、高频/低频等。

具体的例子，我们引用了参考文献48，该文献提出了神经网络架构与粘性解之间的新联系，应用于某些 Hamilton-Jacobi PDEs (HJ-PDEs)。图1b 中展示的两层架构定义了函数  如下：

这让人联想到著名的 Lax-Oleinik 公式。这里， 和  是空间和时间变量， 是凸的 Lipschitz 激活函数， 和  是神经网络的参数， 是神经元的数量。文献48 表明， 是以下 HJ-PDE 的粘性解：

其中哈密顿量  和初始数据  由神经网络的参数和激活函数获得。哈密顿量  必须是凸的，但初始数据  不一定是凸的。需要注意的是，参考文献48 的结果不依赖于神经网络已建立的通用近似定理。相反，文献48 中的神经网络表明，HJ-PDE 类中的某些物理约束可以自然地由特定的神经网络架构编码，而不需要在高维中的任何数值近似。

学习偏差

另一种思想流派探讨的是从不同的角度为神经网络赋予先验知识的问题。与设计专门的架构以隐式地强制执行这些知识不同，目前的研究努力旨在通过适当惩罚常规神经网络近似的损失函数来柔和地施加这种约束。这种方法可以看作是多任务学习的具体使用案例，其中学习算法同时受限于拟合观测数据，并生成符合一组物理约束（例如，质量守恒、动量、单调性等）的预测。代表性例子包括深Galerkin方法和PINNs及其变体。PINNs 的框架在第3框中进一步解释，因为它准确地反映了通过软惩罚约束执行物理学的主要优势和局限性。

软惩罚约束的灵活性使得能够将更通用的领域特定知识实例整合到机器学习模型中。例如，参考文献53 提出了一种具有统计约束的生成对抗网络（GAN），通过从训练数据中施加协方差约束，从而改进了基于机器学习的模拟器，以捕获通过求解完全解析的PDE生成的训练数据的统计特性。其他例子包括针对学习接触引起不连续性问题的模型（如机器人工程）、物理信息自编码器，它们使用附加的软约束来保留李雅普诺夫稳定性，以及能编码不变性的InnNet，通过损失函数中的软约束实现。进一步的扩展还包括卷积神经网络、递归架构和概率形式主义。例如，参考文献53 提出了贝叶斯框架，允许在复杂的PDE动力系统中对预测量的不确定性进行定量化。

需要注意的是，带有软惩罚约束的解和正则化可以视为基于物理的似然假设的贝叶斯公式的最大后验估计的等价形式。或者，可以使用马尔可夫链蒙特卡洛方法或变分推理近似来实现完全的贝叶斯处理，以量化由噪声和稀疏数据引起的不确定性，如上所述。

混合方法

上述物理信息机器学习方法各有其优势和局限性。然而，理想的情况是使用不同的原则相结合，提出不同的混合方法。例如，非量纲化可以恢复系统的特征性状，而引入适当的无量纲参数（如Reynolds数或Mach数）则是有益的。已经提出了几种学习算子以捕捉物理现象的模型。例如，DeepONets 被证明是学习算子的有力工具，采用监督数据驱动的方式。更令人兴奋的是，通过结合PINNs编码的物理学与DeepONets，可能在涉及电化学或超声加工等物理应用中实现具有外推功能的实时预测。然而，当低保真数据可用时，可以开发一种多保真策略以促进复杂系统的学习。例如，参考文献56 结合了观测和学习偏差，通过大规模模拟数据的使用，并结合监督神经网络训练方法来约束低保真度Reynolds平均Navier-Stokes模型中的湍流流动。

额外的代表性用例包括参考文献60 中的多保真NN，用于从压痕数据中提取材料特性，PINNs 在参考文献61 中被用于发现非牛顿流体的构成定律和非线性动力系统的规律，解决这些物理问题的过程中，使用了粗粒度的分级策略。即使无法在学习架构中对低保真模型进行编码，低保真策略仍可以通过数据增强实现——即，通过廉价的低保真数据生成大量的训练数据。此外，还可以通过现有的数值代码（如参考文献61中的有限元方法）解决操作符问题。其他代表性例子还包括参考文献65中的非线性动力系统。此外，还可以通过嵌入网络到传统的数值方法（如有限元）中来增强物理性能。

这种方法已被应用于许多不同领域的问题，包括非线性动力系统、用于建模本构关系的计算力学、地下力学、随机反演等。

与核方法的联系

许多现有的物理信息神经网络技术与核方法有着密切的渐近联系，可以利用这些联系来提供新的见解和理解。例如，参考文献58 中表明，PINNs 的训练动力学可以理解为一种核回归方法，且随着网络的扩展趋于无限大。更一般地说，神经网络方法可以严格地解释为核方法，在这种情况下，基础核是拉普拉斯核。WN 核是用于解释随机非平稳空间统计结构的一种特殊核，并且也被用于解释残差神经网络模型。此外，PINNs 可以被视为在带有特征映射的再生核希尔伯特空间中求解偏微分方程（PDEs），而特征映射则由网络的初始层参数化，后者是从数据中学习的。可以通过研究统计推理技术与数值近似之间的紧密联系进一步加深理解。现有的工作已经在求解PDEs与逆问题、最优恢复以及贝叶斯数值分析的背景下探讨了这些联系。核方法与神经网络之间的联系甚至可以在像注意力机制或基于变压器的架构中建立，其中“操作值核方法”可以为分析和解释深度学习工具在非线性算子学习中的表现提供有价值的路径。

总而言之，通过核方法分析神经网络模型可能会有很大的好处，因为核方法通常是可解释的，且具有坚实的理论基础，能够帮助我们理解为什么深度学习方法可能会成功或失败。

与经典数值方法的联系

经典的数值算法，如龙格-库塔（Runge–Kutta）方法和有限元法，已成为研究和模拟物理系统的主力工具。有趣的是，许多现代深度学习模型可以通过观察它们的隐式偏差与这些经典算法之间的对应关系来加以分析。卷积神经网络（CNNs），例如，可以通过与多网格方法的类比来解释。残差神经网络与跳跃连接类似于向前欧拉（Forward Euler）离散化常微分方程（ODEs）的基本框架，而简单的龙格-库塔积分器（如RK4）则天然带来与递归神经网络（RNNs）的类比关系。线性代数方法如广义最小残差（GMRES）方法，也可以通过神经网络与ReLU激活函数类比为连续分段线性函数，与线性有限元方法的对应关系相同。

这样的类比可以为交叉研究提供见解和指导，并为新的数学信息机器学习架构开辟道路。例如，参考文献57 提出了一种离散时间神经网络方法用于求解偏微分方程（PDEs），灵感来自于隐式的龙格-库塔积分器：使用多达500个隐层，这种神经网络方法可以在非常大的时间步长下允许高精度求解。

物理信息学习的优势

目前已经有许多关于物理信息机器学习跨多个学科的具体应用的论文发表。例如，不同的PINNs扩展覆盖了守恒定律、随机和分数阶偏微分方程用于随机现象和异常传输。此外，将领域分解与PINNs结合在多尺度问题中提供了更大的灵活性，而这些形式在并行化中相对容易实现，可以分配给不同的GPU，并通过非常少的通信同步。总的来说，这些研究结果展示了PINNs在求解正向、逆向问题方面的特别有效性，这些问题不需要现有的基于数值网格的解算器所使用的数据同化。

不完整模型和不完美数据

如图框1所示，物理信息学习可以轻松结合来自物理学和稀疏噪声数据中的信息，甚至在两者都有缺陷时仍能奏效。最近的研究表明，即使PINN固有的平滑或规则性不完全成立，仍然可以找到有意义的解。例如，逆问题和正向问题中，当初始条件或边界条件未被完全指定，或者PDE中的某些参数未知时，这种方法仍然有效——这是经典数值方法可能会失效的情景。当处理不完美模型和数据时，建议结合贝叶斯方法和物理信息学习来进行不确定性量化，例如贝叶斯PINNs（B-PINNs）。与传统的数值方法相比，物理信息学习是无网格的，无需昂贵的网格生成，因此可以轻松处理不规则和运动域问题。此外，代码也更容易通过使用现有的开源深度学习框架（如TensorFlow和PyTorch）实现。

小数据情境中的强泛化能力

深度学习通常需要大量数据进行训练，而在许多物理问题中，难以以高精度获得所需的数据。在这些情况下，物理信息学习具有优势，能够在小数据情境中实现强泛化能力。通过施加或嵌入物理约束，深度学习模型可以有效地被限制在低维流形上，因此可以用较少的数据进行训练。为了加强物理约束，可以将物理原理嵌入网络架构中，例如通过软惩罚约束，或者使用数据增强（如前所述）。此外，物理信息学习能够执行外推，不仅是插值，这意味着它可以在边值问题中进行空间外推。

理解深度学习

除了增强机器学习模型的可训练性和泛化能力外，物理学原理还被用来提供理论见解，并阐明深度学习出人意料的有效性背后的内在机制。例如，参考文献115 中，作者使用颗粒物质的堵塞转变来理解在过参数化制度下深度学习的双下降现象。浅层神经网络也可以被视为相互作用粒子系统，因此可以在概率测量空间中使用平均场理论进行分析，而不必使用高维参数空间。此外，参考文献116 构建了从变分重正化群到基于受限玻尔兹曼机的深度学习架构的精确映射。参考文献117 受成功的密度矩阵重正化群算法的启发，提出了一种用于多类别监督学习任务的量子启发张量网络框架，该框架引入了计算量的显著节约。参考文献118 从统计物理的角度研究了深度网络结构的景观，建立了神经网络和自旋玻璃系统之间的直观联系。并行地，参考文献119 中研究了基于动力系统的广义卷积神经网络中的信息传播，提供了一种分析网络初始化如何决定信号通过网络传播的途径，帮助识别超参数和激活函数的边缘特性，确保信息在深度网络中有效传播。

解决高维问题

深度学习在解决高维问题（如图像分类和文本生成）中非常成功。对于物理应用，特别是高维PDE问题，DNNs能够打破维度的诅咒，前提是目标函数是可分解为局部函数的。参考文献102 中的作者使用生成对抗网络（GANs）来量化高维随机微分方程中的参数不确定性，参考文献126 使用GANs学习高维随机动力学中的参数。这些例子展示了GANs在物理问题中建模高维概率分布的能力。最后，参考文献127 和128 表明，即使对于算子回归和PDE应用，深度算子网络（DeepONets）也能够解决输入空间维度诅咒的问题。

不确定性量化

可靠地预测多尺度和多物理场系统的演化需要进行不确定性量化。这一重要问题在过去的20年里得到了大量关注，补充传统计算方法的随机形式，以解决由于边界条件或材料特性的随机性引起的不确定性问题。对于物理信息学习模型，至少存在三种不确定性来源：来自物理的不确定性、来自数据的不确定性以及来自学习模型的不确定性。

第一类不确定性源于物理系统的随机性，通常由随机偏微分方程（SPDEs）或随机常微分方程（SODEs）描述。参数不确定性源于此类系统中参数的随机性。参考文献16 中，作者展示了使用神经网络作为输入的投影函数，可以恢复低维非线性流形，并提出了一个关于具有不确定扩散系数的SPDE中的不确定性传播问题。相同的精神下，参考文献17 中，作者使用物理信息损失函数——即偏微分方程（PDEs）的能量泛函期望对随机变量的解进行训练，用于训练椭圆SPDE的神经网络参数化解。参考文献21 中，提出了一种条件卷积生成对抗网络，用于基于物理信息的概率损失函数对解的密度进行建模，而不需要在训练数据中施加标签。GANs 提供了一种强大的方法，用于求解高维 SPDEs。物理信息 GANs（参考文献22）代表了第一次尝试，利用从多个随机过程传感器收集的数据，GANs 能够解决从流体动力学到随机偏微分方程的一系列问题。此外，如果适当地进行设计，GANs 的结果显示它们能够解决高维问题时的维度诅咒。

第二类不确定性来源于数据本身的局限性，例如有限分辨率的测量数据。这种不确定性可以通过结合更高保真度的数据和更复杂的模型来加以解决。例如，参考文献23 中提出了贝叶斯PINNs 方法，其可以提供合理的误差界，误差与噪声大小同阶，尽管如何系统地为 B-PINNs 设置误差界仍是一个开放问题。

第三类不确定性来自于学习模型的局限性，例如神经网络的近似、训练和泛化误差，这些通常难以严格量化。参考文献24 中，使用卷积编码解码器网络映射求解方案与域几何，以使用有限元方法获得的数据对解和不确定性进行训练。此外，参考文献25 扩展了时间依赖系统，处理参数不确定性，通过正交多项式混沌方法处理随机 PDE 的时间动态与双正交分解，这些是长时间积分随机系统的有效方法。

应用亮点

本节中，我们讨论了物理信息学习通过各种应用所展示的一些能力。我们的重点是逆问题和病态问题，这些问题对于传统方法往往非常困难甚至不可能解决。我们还展示了一些正在进行的努力，旨在开发开源软件用于科学机器学习。

一些示例

咖啡杯上的流体流动。在第一个示例中，我们讨论如何提取3D速度和压力场的定量信息，基于温度梯度的图像数据。这是参考文献19 中“隐藏流体力学”问题的一个例子。这是一个病态逆问题，因为没有边界条件或其他信息被提供。具体来说，3D可视化是通过背景导向的汤姆逊-BOAS 测量方法（Tomo-BOAS）实现的，该方法通过测量密度或温度并作为输入提供给 PINN 网络，以推导出流动速度和压力场。

图2 | 使用Tomo-BOS成像系统和物理知晓神经网络推断咖啡杯上的3D流体

a | 六台摄像机围绕咖啡杯对齐，记录点图案的畸变，背景板上的点图案由于咖啡杯上方气流的密度变化而发生畸变。图像数据使用LaVision的Tomo-BOS软件处理。b | 从折射率场推导的3D温度场，并基于所有六台摄像机的2D图像重建。c | 物理知晓神经网络（PINN）推断3D速度场（左）和温度场（右）。

4D流 MRI 中的物理信息深度学习 接下来，我们讨论了使用 PINNs 在生物物理学中应用的案例，结合真实的磁共振成像（MRI）数据。MRI 是无创的，能够提供结构和生理常数的范围，因此在心脏和血管疾病患者的临床场景中，MRI 已成为量化体内血流和血管功能的关键工具。然而，MRI 测量通常受到粗粒度分辨率和噪声的限制，导致重建血管形态和流动条件时需要耗时的经验工作流程。最近关于物理信息深度学习的进展极大地增强了现有 MRI 技术的分辨率和信息量，特别是专注于 4D-flow MRI。具体来说，可以通过受Navier-Stokes 方程约束的DNNs有效地降噪MRI数据，并生成流场的物理一致重建，确保以任意高的空间和时间分辨率守恒质量和动量。此外，过滤后的速度场可用于识别无滑移流动的区域，从中可以重建动脉壁的位置和运动，并推导出感兴趣的重要量，如壁剪切应力、动能和耗散率。尽管这些方法大大提高了MRI 技术在研究和临床场景中的能力，但PINNs 的稳健性仍面临一些潜在的挑战，特别是在噪声较大的MRI测量和底层流动中的复杂模式下（例如，由于边界层、高涡量区域、湍流通过狭窄、弯曲的分支血管等）。在生理条件下，血流是层流的，在这种情况下，现有的PINN模型通常仍然有效。

通过部分观测揭示边界等离子体动力学的深度学习 预测磁约束聚变装置边界的湍流传输是一个跨越数十年的长期目标，目前在聚变电厂的粒子和能量约束中仍存在显著的不确定性。参考文献141 中证明，物理信息神经网络（PINNs）可以精确地学习湍流场的动力学，并与双流体理论一致，基于合成等离子体的部分观测数据进行等离子体诊断和模型验证。图4展示了由PINNs 从3D合成等离子体的部分观测（密度和温度）学习的湍流径向电场。

研究从亚稳态分布之间的跃迁接下来，我们展示了物理信息学习如何被创造性地用于解决高维问题。参考文献142 中，作者提出使用物理信息学习研究从两个亚稳态之间的跃迁，这两个亚稳态属于高维概率分布。在该研究中，作者使用 PINN 表示关联函数，训练时结合了物理信息损失函数，该损失函数定义为关联函数的变分公式，并在边界条件上施加了软惩罚。此外，采用自适应重要性采样来偏向稀有事件，从而减少解的方差并提高泛化能力。对144维的Allen-Cahn系统概率分布进行的计算结果如图5所示。尽管这些计算结果展示了这种方法对高维问题的有效性，但将该方法应用于更复杂的系统时，NN架构的表现以及将其适应给定系统仍是一个开放领域。

热力学一致性PINN在其他应用中，研究人员还利用物理学和物理信息学习的原则来设计新的架构。例如，在参考文献143 中，提出了一个混合的NN架构FermiNet，用于解决多电子薛定谔方程的从头计算。FermiNet是一种嵌入物理的混合方法。首先，为了参数化波函数，NN具有特殊的架构，遵循费米-狄拉克统计，即它在输入变量之间是反对称的，并且满足边界条件（在无穷远处衰减）。其次，FermiNet 的训练同样是物理信息的，能量泛函被用作变分公式，使用蒙特卡洛法估计梯度。虽然这种方法消除了量子化学中常见的基底集外推问题，但NN的表现与其架构和优化算法密切相关，这些都需要进一步的研究。

材料科学的应用在材料性质表征的应用中，从无损检测到材料强度的测定，物理信息学习可以发挥重要作用，因为相关问题通常是病态和逆问题。在参考文献144 中，作者引入了一个优化的PINN，用于识别和精确表征金属板中的裂纹表面断裂。该PINN 使用频率为5 MHz的超声波真实声学数据进行监督学习，并物理信息未知波速函数。训练的关键元素是自适应激活函数的使用，这显著提高了超参数调整的效率，并在存在显著噪声的情况下大大加速了收敛。参考文献145 提出了一种替代方法，即通过多保真度框架引入物理信息，用于从仪器压痕中提取3D打印材料的机械性质。

通过解决深度压痕问题，作者能够确定3D打印钛合金和镍合金的弹塑性特性。在这个框架中，使用了两个ResNet网络，一个是低保真ResNet，使用合成数据（大量有限元模拟），另一个是高保真ResNet，使用稀疏实验数据和低保真数据的输出。目标是发现低保真和高保真数据之间的非线性相关性，并随后高保真预测弹性和屈服应力。参考文献46中的结果表明，该多保真框架在屈服应力的推断误差方面表现出显著的改进，从最初的超过100%降低到5%以下。

图3 | 使用物理信息滤波对猪降主动脉血流的4D流磁共振成像数据进行去噪

物理知晓神经网络（PINN）模型可以去噪并重建临床磁共振成像（MRI）数据中的血流速度，同时在重建中约束以符合质量守恒和动量守恒定律，如不可压Navier-Stokes方程所描述。此外，经过训练的PINN模型还能够自动分割动脉壁。

图4 | 揭示边缘等离子体动力学

磁约束聚变中最受研究的方面之一是边缘等离子体行为，这对反应堆性能和操作至关重要。漂移约化的Braginskii双流体理论已被广泛用于建模边缘等离子体，但效果各异。使用3D磁化双流体模型，物理知晓神经网络（PINNs）可以准确重构未知的湍流电场和基础电势，直接通过对等离子体电子密度和温度的部分观测进行预测。

分子模拟的应用在参考文献145 中，提出了一种神经网络架构，用于表示分子动力学模拟的势能面，其中通过适当的预处理保留了分子系统的平移、旋转和排列对称性。这样的神经网络表示可以在深度势分子动力学（DeePMD）中进一步改进。与传统人工设计的势能函数相比，DeePMD 使用从头计算模拟的数据进行训练，能够以与系统大小成比例的成本实现从头精度。参考文献147 中，将分子动力学模拟的极限推至从头精度，实现了每天对超过1亿个原子进行1纳秒长的轨迹模拟，此前的从头分子动力学模拟仅限于最多1百万个原子。

地球物理中的应用物理信息学习还被应用于各种地球物理逆问题。参考文献71 的研究通过将神经网络与全波形反演相结合，利用地震数据估计地下性质，如岩石渗透性和孔隙度，地下流动过程和岩石物理模型。此外，参考文献149 证明了通过结合深度神经网络（DNNs）与数值PDE求解器，物理信息学习能够解决广泛的地震反演问题，如速度估计、断层破裂成像、地震源定位和源-时函数提取。

软件

为了高效地实现PINNs，建议基于当前的机器学习库（如TensorFlow、PyTorch、Keras和JAX）构建新算法。专门为物理信息学习设计的几种软件库已经开发出来，并在表1中进行了详细说明。

目前，一些活跃的库包括DeepXDE、SimNet、PyDEns、NeuroDiffEq、NeuralPDE、SciANN 和 ADCME。由于Python是机器学习中的主流编程语言，因此这些库大多数使用Python编写，除了NeuralPDE 和ADCME，这两个库使用Julia编写。所有这些库都使用TensorFlow等软件中提供的自动微分机制。有些库（如DeepXDE 和 SimNet）可以作为求解器使用，用户只需定义问题，其求解器会处理所有底层细节并给出解决方案，而其他库（如SciANN 和 ADCME）只作为包装器，包装底层函数并通过高层次函数实现物理信息学习的易用性，用户仍需实现解决问题的每个步骤。像GPyTorch 和 Neural Tangents这样的软件包通过核方法研究神经网络和PINNs的训练动态，从而推动了新的架构设计和训练算法的开发。

DeepXDE 不仅能解决整数阶ODEs 和PDEs，还支持求解积分-微分方程（IDEs）和分数阶PDEs。DeepXDE 支持通过构造体素几何技术实现复杂域的几何建模，并使用户代码与数学公式紧密对应。DeepXDE 结构良好且高度可配置，适合用作研究工具来解决计算科学与工程中的问题，DeepXDE 也可以用作教育工具，适用于各种课程。

例如，在DeepXDE 中，用户可以通过自动微分计算偏导数，例如，使用 tf.gradients(f(u,t)) 来计算 ，使用 tf.gradients 两次可以计算二阶导数。DeepXDE 提供了一种更方便的方法来计算高阶导数，例如使用 dde.grad.hessian 来计算 Hessian 矩阵。此外，使用 dde.grad.hessian 还有两个额外的优势：首先，它是惰性求值的，这意味着只会在需要的时候计算Hessian矩阵中的一个元素，而不是计算整个矩阵。其次，它会将已经计算的梯度存储起来，以避免重复计算，即使用户在代码的不同部分多次调用相同的函数，这两个特性在需要多次计算梯度的情景中可以显著加速计算。

这些库（如DeepXDE 和 SimNet）使用物理作为软惩罚约束（参见第3框），并将DNNs 嵌入标准数值方案中（如Runge-Kutta 方法或ODEs 的有限差分、有限元和有限体积方法）以解决逆问题。ADCME 最近扩展支持隐式多尺度方法的非线性约束，以解决大规模计算问题，例如涉及MPI的域分解方法，是大规模工程问题的首选工具。

应该使用哪个模型、框架和算法？

随着方法和软件工具的不断增加，必然会产生一系列问题：在给定一个物理系统和/或控制方程以及一些观测数据的情况下，应该使用哪个机器学习框架？应该选择哪种训练算法？需要考虑多少训练样本？尽管目前没有针对这些问题的经验法则策略，并且需要一定的经验来正确地建立物理信息机器学习模型，但元学习技术【166-168】可以在未来自动化这一过程。

选择往往依赖于要解决的具体任务。为了提供一个高级分类，我们指出，PINNs 通常用于推断一个与基础物理定律兼容的确定性函数，尤其是在可用观测数据较少（如初始/边界条件或其他测量）的情况下。PINNs 模型的架构取决于问题的性质：多层感知器架构通常适用于通用问题，但不包含任何专门的归纳偏差；卷积神经网络（CNNs）适用于二维网格化问题；傅里叶特征网络适用于求解边界周期性或高频 PDEs 的解；循环网络架构适用于非马尔可夫和时间离散问题。此外，PINNs 的概率变体也可以用于捕捉模型不确定性（例如通过贝叶斯推理或频率集成）或观测不确定性（如使用变分自编码器和GANs 的生成模型）。然而，DeepONet 框架可以用于推断算子（而不是函数）。在 DeepONet 中，所使用架构的选择还可以根据可用数据的类型而变化，如散射传感器测量（多层感知器）、图像（卷积神经网络）或时间序列（循环神经网络）。

图5 | 转变过程中的亚稳态之间的过渡

在上述所有情况下，所需的样本复杂性通常是未知的，通常由架构中引入的归纳偏差决定；架构与观测数据及基础物理定律的兼容性，通常被用作正则化；以及基础函数或算子的复杂性。

当前的局限性

多尺度和多物理场问题

尽管物理信息学习在众多应用中取得了成功，但多尺度和多物理场问题仍需要进一步的研究。例如，全连接的神经网络难以学习高频函数，这在文献中称为“F 原则”或“频谱偏差”。此外，高频特征通常导致陡峭的梯度，PINNs 模型往往会努力惩罚PDE残差。结果是，在多尺度问题中，网络在学习高频分量时遇到困难，通常难以训练。为解决高频成分的挑战，需要开发新的技术来支持网络学习，例如域分解【169】和自适应DINN【170】。然而，同时学习多物理场系统的代价可能非常昂贵。为了解决这一问题，DeepM&M 方法首先分别学习每个场，然后结合在一起，或者使用监督学习的 DeepM&M 架构【171】来处理特定的多物理场问题。此外，还可以通过粗粒度数据来学习物理规律，并使用小型仿真数据进行学习。

在现有的NN方法中，物理信息损失函数通常是以点评估的方式定义的。尽管具有这种损失函数的神经网络在某些高维问题上表现良好，但它们可能在一些特殊的低维问题上失效，例如具有非平滑导电性或渗透性的扩散方程。

新的算法与计算框架

物理信息机器学习模型通常涉及训练大规模神经网络，具有复杂的损失函数，通常由多个项组成，因此是高度非凸的优化问题。训练过程中，损失函数中的这些项可能会彼此竞争，影响训练的稳定性，导致全局最优解的收敛不能得到保证【172】。为了解决这个问题，需要为不同的应用开发更强大的神经网络架构和训练算法。例如，参考文献173中提出的PINNs 基本弱点包括频谱偏差，表现为不同分量的收敛率差异，特别是在PINNs 中的高频成分中表现明显。这种不稳定性体现在反向传播梯度的消失或爆炸中。讨论表明，这些问题可以通过设计合适的模型架构和新的训练算法来缓解。

例如，参考文献174 使用域分解和增量训练方法来增强PINNs 的逼近能力。其他例子包括通过修改物理信息学习的损失函数，采样特定区域或进行罚项再训练【175】。另一个问题是，训练过程中的近似估计往往与评估点的选择相关，从而影响最终结果【176】。

随着雷诺数等系统分岔参数的变化，架构可能需要相应调整。深度学习模型的训练和优化代价昂贵，特别是像裂纹传播等应用的学习过程中，使用像DeepONets 这样的架构【183】来实现转移学习变得至关重要。此外，还需要开发可扩展的并行训练算法，使用硬件（如GPU 和张量处理单元），支持数据并行和模型并行的算法。

与经典的分类或回归任务不同，物理信息学习通常涉及更高阶的导数。目前，TensorFlow 和 PyTorch 等流行软件框架对高阶导数的高效评估支持不足。开发一个更高效的高阶导数计算库（例如，使用泰勒级数自动微分）【177】可以显著减少计算代价，并推动物理信息学习在不同学科中的应用。此外，除了高阶导数之外，积分算子和分数阶导数【178】在物理信息学习中也非常有用。

数据生成和基准测试

在处理成像、语音和自然语言处理问题的机器学习社区中，使用标准基准非常常见，以评估算法改进、结果的可重复性和预期的计算成本。创建于几十年前的UCI机器学习数据集库（UCI Machine Learning Repository）就是一个数据集和数据生成器的集合，经常用于比较新算法的相对性能。目前，这些数据集不仅包含物理领域的数据，例如基于厄尔尼诺现象的气温和海流测量、不同翼型设计的水动力阻力等，而且还扩展为基准物理信息机器学习（ML）模型，假设参数化的物理模型可以明确包含在数据库中。然而，许多不同的物理和化学应用（例如湍流的密度泛函理论和分子动力学模拟）需要全场数据，这种数据无法通过实验获得，并且数据资源的创建在时间和内存方面的开销都很大。因此，未来的重点应放在如何使这些数据公开可用，如何策划这些宝贵数据，以及在生成这些数据库时需要包含哪些物理模型和参数。此外，研究人员还需设计有意义的基准测试，确保新提出的物理信息算法在计算时间上的提升是准确的，这是一个非平凡的任务。实际上，即使在上述成就中，如何优化现有基准和度量仍在不断发展，尤其是当将软件和硬件的考虑因素也纳入其中时。

新的数学方法

尽管物理信息学习模型在实践中取得了显著的成功，但对于神经网络基础的理论理解仍然知之甚少。需要一种新的理论来严格分析物理信息神经网络的能力和局限性，例如神经网络的学习容量。更具体地说，一个根本性的问题是：神经网络是否可以通过基于梯度的优化来求解偏微分方程（PDE）？为回答这个问题，应将总误差分解为三类误差：近似误差（神经网络是否可以近似PDE的解？）、优化误差（能否获得零或非常小的训练损失？）和泛化误差（较小的训练误差是否意味着更准确的预测解？）。分析这些误差的稳定性和收敛性是至关重要的，特别是在算子被部分学习或部分已知的情况下。

第一个针对前向问题的PINNs的数学分析出现在参考文献184 中，使用 Hölder 正则化来控制泛化误差。特别是，参考文献184 分析了二阶线性椭圆型和抛物型PDE，并证明了该方法的收敛性。参考文献185 和186 使用平方点来配制损失函数，并为逆问题提供了关于误差界的抽象估计。然而，收敛结果没有报告，因为使用平方点并未量化泛化误差。基于这些假设，参考文献184 提出了连续损失函数，并为PINNs 提出了抽象的误差估计框架。基于神经网络参数化假设的收敛性问题和连续损失的假设也得到了进一步探讨。

除了这些抽象问题外，还需通过梯度优化来更好地理解神经网络的训练动态（例如，梯度下降、随机梯度下降、Adam等）。在参考文献187 中，过参数化的两层网络进行了分析，并证明了二阶线性PDE的梯度下降收敛性，但不包括边界条件。在参考文献188 中，神经切线核理论与PINNs 相关联，证明随着网络宽度趋向无穷大，训练动态可以被视为核回归。

理解神经网络训练过程的一个有用方法是可视化不同公式下损失函数的景观（强形式、弱形式等）。此外，随着方法的快速发展，了解不同模型和不同损失函数（具有不同范数）的等价性也变得至关重要。

对物理信息ML模型进行严格的分析需要深度学习、优化、数值分析和PDE理论之间的紧密协作，这不仅有潜力带来更稳健和有效的训练算法，还能为这种新一代计算方法建立坚实的理论基础。

展望

物理信息学习将数据和数学模型无缝结合，即使在噪声数据和高维上下文中也能很好地工作，并能非常有效地解决常见的逆问题。在这里，我们总结了第1-3框中的一些关键概念，并为感兴趣的读者提供了框架和开源软件的参考，以便他们提前探索物理信息学习。我们还讨论了物理信息学习的当前能力和局限性，并强调了从流体动力学到生物物理学、从材料中的亚稳态跃迁到其他应用的多样化应用。最后，我们提出了物理信息学习机器的新方向，以及需要研究的方向，这些方向将促使更快的训练、更准确的预测，并且为不同物理应用提供更好的解释能力。

虽然像TensorBoard这样的工具已被用于可视化模型图、追踪变量和度量等，但对于物理问题，扩展需求可能包括将物理和复杂几何领域结合到学习算法中，或者可视化高维问题（如在传统的计算平台如FEniCS、OpenFOAM中）。一个用户友好的、基于图形的机器学习开发环境，可以解决上述问题，并帮助更多的从业者开发物理信息机器学习算法，以应用到广泛的物理问题中。

未来的方向

数字孪生（Digital Twins），是由通用电气首先提出的一个概念，旨在描述工厂制造的引擎的数字副本。现在，这一概念已成为多个行业的现实。通过同化真实测量值来校准计算模型，数字孪生可以在虚拟环境中复制一个生命或非生命物理实体的行为。在这些新兴技术能够转化为实际应用之前，存在一些基础问题需要解决。首先，数字孪生模型中的数据往往来自非常异构的数据模式（如图像、时间序列、实验、历史数据、临床数据等），这些数据可能无法以足够的量用于校准计算模型。其次，基于物理的计算模型往往需要耗时的预处理和校准步骤（如网格生成或初始和边界条件的校准），这通常会带来相当大的计算开销，从而阻碍其在实时决策中的使用。由于物理信息学习能够自然地将物理模型和数据结合在一起，并使用自动微分消除网格生成的需求，因此物理信息学习在数字孪生领域的崛起中将成为一个赋能能力。

数据和模型变换、融合和可解释性

随着物理基础建模和机器学习相互作用的加剧，我们将越来越频繁地遇到这种情况——不同的研究者对同一现象使用不同的数据驱动模型，尽管他们使用的是相同的训练数据（或同样有信息量的数据，通过不同传感器观测到）。例如，两个研究团队可能使用相同或等价的替代数据，并且可能使用不同的训练网络（不同的潜在空间、不同的学习算子），但它们的预测结果在训练集上几乎无法区分。我们预见到构建机器学习模型的必要性，这些模型在可验证的方式中一一对应于预测模型、不同保真度的模型和理论。此外，越来越多的研究者正在探索从非线性动力学到相应 Koopman 模型的转换、从泊松系统到扩散方程（具有非平滑导电性/渗透性的情况下）等领域中的多尺度转换。在数据驱动的情景下，测试这些变换的物理解释性至关重要。

搜索内在变量和涌现的、有用的表示

目前大多数物理信息机器学习方法遵循这样的范式：首先定义一组（人类可解释的）可观测量/变量；然后收集数据；根据所选择的算子通过学习算法来制定物理模型（完全或不完全）。一种新兴的范式是利用观察和学习方法自动确定良好/内在的变量，并找到有用或信息性的物理模型表示。通过超越主成分分析、流形学习（如 ISOMAP 到 t-SNE 和扩散映射）及其生成模型的深度学习对应物（如自编码器），自动嵌入空间失序的观测数据，从而学习其中的内在变量和有用的表示。

最终，正在改变的主要元素是我们所指的“理解”的含义。迄今为止，“理解”意味着在 PDE 中，每个项都具有物理意义的解释，操作于某些物理可观测量（因变量）上，同时还操作于某些具有物理意义的空间（自变量）上。现在，可以在没有这种机械式理解的情况下进行准确预测，“理解”的定义在此过程中可能会被重新定义。