论文推荐 | 人工智能综述：物理学与人工智能的跨界新范式

点击蓝字 关注我们

DIGITAL TWIN

本期阅读

物理学 众所周知，物理学是一门自然科学，在认知客观世界中具有启发性作用，重点研究物质、能量、空间和时间，特别是它们各自的属性及其相互关系。广义上讲，物理学通过探索和分析自然界发生的现象来理解其规律。统计力学描述了神经网络在统计物理学中的理论进展。在漫长的历史中，物理知识（先验知识）已被收集、验证并整合到实用理论中。它是自然和人类行为规律在许多重要学科和工程应用中的简化归纳。如果能够适当结合先验知识与AI，则可以从稀疏的数据集中提取出更丰富和有效的特征信息，有助于提高网络模型的泛化能力和可解释性。

人工智能 人工智能是一门研究和开发用于模拟和扩展人类大脑智能的理论和应用系统的学科。人工智能的目的是使机器能够模拟人类的智能行为（如学习、推理、思考、规划等），使机器具备智能并完成“复杂工作”。如今，人工智能在计算机领域受到了广泛关注，涉及机器视觉、自然语言处理、心理学和教育学等学科，是一门跨学科的学科。物理学与深度学习的融合为理论科学提供了激动人心的前景，提供了对深度网络学习和计算能力的宝贵见解。

关系 物理学的发展是对自然的简化归纳，促进了人工智能中的类脑科学研究。而大脑对任何“经验”技术的感知接近于所谓的“物理感知”，物理学为当前人工智能研究开辟了新途径并提供了新工具。在某种程度上，人工智能模型和物理模型都可以共享信息并预测复杂系统的行为，即它们共享某些方法和目标，但实现方式不同。因此，物理学应当理解自然机制，利用先验知识、规律性和归纳推理来指导模型，而与模型无关的AI则应通过数据提取提供“智能”。

主要贡献 基于这些分析，本研究旨在对物理启发的AI深度学习领域进行全面回顾和分类，并总结未来急需解决的潜在研究方向和开放问题。本文的主要贡献总结如下：

1. 全面性和可读性。本文全面回顾了400多个物理科学正在进展中的思想和物理启发的深度学习AI算法，并从经典力学、电磁学、统计物理和量子力学四个方面总结了现有的物理启发学习和建模研究。

2. 启发性。文章总结了人工智能技术解决物理科学问题的最新进展。最后，在新一代深度学习人工智能算法中，我们分析了AI与物理学之间的展望与意义。

3. 深入分析。本文回顾了需要解决的开放问题，以促进未来的研究和探索。

在本综述中，我们首先对深度学习人工智能与物理学的不同交叉点进行一致的回顾。其余部分组织如下：第2章介绍了从经典力学角度启发的人工智能算法及其如何解决物理问题。第3章简要回顾了电磁学启发的人工智能算法及其在电磁学中的应用。第4章和第5章分别概述了统计物理学和量子力学启发的AI算法及其应用。第6章探讨了当前AI与物理学交叉点面临的潜在应用和挑战。第7章是本文的结论。

2 由经典力学启发的深度神经网络范式

本节我们将简要介绍几何深度学习中的流形、图和流体动力学，以及动态神经网络系统中Hamiltonian/Lagrangian和微分方程求解器的基础知识。然后解释与其相关的工作，最后介绍图神经网络的深度学习方法来解决物理问题。我们在表1中总结了本节的结构和代表性方法的概述。

2.1 几何深度学习

深度学习模拟物理世界的对称性（即物理规律在各种变换下的不变性）。从物理规律的不变性出发，可以得到一个不变量，这被称为守恒量或不变量，宇宙遵循平移/旋转对称性（动量守恒）。动量守恒是空间均匀性（畸变度）的体现，通过数学群论可以解释：空间具有平移对称性——物体经过空间平移变换后，物理运动趋势和相关物理规律保持不变。20世纪，Noether提出了Noether定理，即每一个连续对称性都对应一个守恒定律，相关表达式参见文献（Torres 2003, 2004；Frederico 和 Torres 2007），相关应用见图2。

图2 Noethe定理的相关应用

卷积神经网络（CNN）的平移不变性、局部性和组合性使它们自然适合处理像图像这样的欧几里得结构数据任务。然而，世界上仍然存在复杂的非欧几里得数据，几何深度学习（GDL）应运而生（Gerken等，2023）。从对称性和不变性的角度出发，研究了在非传统平面数据（非欧几里得数据）结构情况下深度学习框架的设计（Michael，2017）。这个术语最早由Michael Bronstein在2016年提出，GDL试图将（结构化的）深度网络推广到非欧几里得领域，如图和流形。数据结构如图3所示。

图3 欧几里得/非欧几里得数据结构

本部分介绍了流形神经网络（Manifold Neural Networks，局部欧氏空间）、图神经网络（Graph Neural Networks，非欧氏数据）和流体动力学神经网络（Fluid Dynamics Neural Networks）。

流形是一种具有局部欧氏空间性质的空间，在数学上被用来描述几何形状，例如雷达扫描返回的各种物体表面的空间坐标。黎曼流形是具有黎曼度量的微分流形，其中黎曼度量是微分几何中的一个概念。简单来说，黎曼流形是一个光滑流形，给定了一个光滑的、对称的、正定的二阶张量场。流形学习是一大类基于流形的框架，恢复低维结构通常被称为流形学习或非线性降维，它是无监督学习的一个实例。

图神经网络 图是指由节点和边组成的网络结构数据，如社交网络。图卷积神经网络（GCN）是GNN的“首创”工作。它采用半监督学习方法来近似原始图卷积操作中的卷积核，并改进了原始图卷积算法。图卷积网络是许多复杂图神经网络模型的基础，包括基于自编码器的模型、生成模型和时空网络。文章具体讨论了图卷积神经网络（GCNs）及其在推荐系统中的应用，以及结合了自然语言处理中的注意力机制的图注意力网络（Graph Attention Networks）。

流体动力学神经网络部分介绍了如何将流体动力学的原理应用于神经网络，以解决流体力学问题。计算流体动力学（CFD）是现代流体力学结合的产物，其研究内容是通过计算机和数值方法求解流体力学的控制方程，模拟和分析流体力学问题。隐流体力学网络框架（Hidden Fluid Mechanics Network Framework）通过将流体力学的方程编码到神经网络中，来预测流体物理数据。

2.2 动态神经网络系统

动力学分析和神经网络都能表示非线性函数。同时，各种非线性函数实际上是不同层之间传播的信息波。如果将现实世界中的物理系统用神经网络表示，将大大提高将这些物理系统应用于人工智能领域进行分析的可能性。神经网络通常使用大量数据进行训练，并通过获取的大量信息调整数据的权重和偏差。通过最小化实际输出与期望输出值之间的差异，逼近真实值，从而模仿人脑神经元的行为进行判断。然而，这种训练方法存在“混沌盲区”的缺陷，即AI系统无法对系统中的混沌（或突变）做出响应。

瑞士数学家Johann Bernoulli提出的最速降线问题使变分法成为解决数学物理中极值问题的重要工具。物理问题（或其他学科问题）的变分原理通过使用变分方法转化为寻找函数极值（或驻值）的问题。变分原理也称为最小作用量原理。Karl Jacobbit称最小作用量原理为解析力学之母。对该原理的研究促使了经典力学中哈密顿和拉格朗日公式的发展。

哈密顿神经网络和拉格朗日神经网络（Hamiltonian/Lagrangian Neural Networks）受到经典力学中哈密顿和拉格朗日表述的启发。哈密顿表述使用相空间和能量函数来描述系统的状态，而拉格朗日表述则侧重于系统的位置和速度。在深度学习中，有人尝试在哈密顿神经网络中嵌入物理法则，例如守恒定律，以提高模型的预测能力和泛化能力。哈密顿神经网络和拉格朗日神经网络可以用于建模和预测各种动力学系统的行为，包括机械系统、流体动力学系统、天体运动等。通过学习系统的动力学规律，这些网络能够预测系统在未来的状态。在控制理论中，哈密顿神经网络和拉格朗日神经网络可以用来设计和优化控制器，它们可以帮助确定如何通过控制输入来引导系统从一个状态转移到另一个状态，同时遵守物理法则。在优化问题中，哈密顿神经网络和拉格朗日神经网络可以帮助寻找系统的最优控制策略，以最小化能量消耗或最大化系统性能。

神经网络微分方程求解器 在物理学中，由于局部性和因果关系方程的概念，微分方程是基本方程，因此将神经网络视为动态微分方程并使用数值求解算法设计网络结构是一种前沿趋势。这种方法的核心在于将物理法则，如能量守恒和动量守恒，直接嵌入到神经网络的训练过程中，从而确保模型的预测不仅符合数据特征，还遵循物理定律。

常微分方程神经网络和偏微分方程神经网络是这一领域的两个主要方向。常微分方程神经网络专注于求解描述系统状态随时间变化的方程，而偏微分方程神经网络则处理涉及空间变化的方程。这些网络通过学习微分方程的解，能够模拟从流体动力学到结构力学，再到量子化学等一系列复杂的物理过程。

物理信息神经网络（ PINNs） 物理信息神经网络通过将微分方程作为约束条件直接嵌入到神经网络的损失函数中，确保了网络预测的物理可行性。这种方法在处理逆问题、预测复杂系统行为以及在数据稀缺的情况下进行建模方面显示出了巨大的潜力。

2.3 使用图神经网络解决物理问题

文章描述了图神经网络在分子设计、医学物理、高能物理、电力系统，以及玻璃系统结构预测（玻璃相变）等领域的应用及显著成果。

3 由电磁学启发的深度神经网络范式

电磁学是研究电磁场的产生、传播和相互作用的物理学分支。在人工智能领域，电磁学的原理被用来设计和优化深度神经网络模型，以处理与电磁现象相关的数据和问题。

3.1 光学设计神经网络

光学神经网络（ONNs）是一种利用光学技术（如光学连接技术、光学器件技术等）设计的新型神经网络。光学神经网络的理念是通过利用调制将信息附加到光学特性上来模仿神经网络。同时，利用光的传播原理，如干涉、衍射、透射和反射，实现神经网络及其操作符。ONNs的首次实现是光学Hopfield网络，由Demetri Psaltis和Farhat于1985年提出。在传统神经网络中主要涉及三个操作符：线性操作、非线性激活操作和卷积操作，本节依次介绍了上述操作符的光学实现。

电磁学的原理在神经网络中的应用不仅限于光学神经网络。例如，电磁场的计算和模拟可以通过深度学习方法来增强，从而提高计算效率和准确性。此外，电磁学中的波动方程和麦克斯韦方程组的解可以通过神经网络来近似，这在天线设计、微波工程和光学成像等领域具有潜在的应用价值。

深度学习模型，尤其是卷积神经网络（CNNs），在图像和信号处理方面表现出色。这些模型可以被训练来识别和处理电磁场中的模式，如电磁波的传播特性、天线的辐射模式等。通过学习这些复杂的电磁现象，深度学习模型能够提供对电磁场行为的深入理解，并在设计和优化电磁系统方面发挥作用。

文章展示了电磁学原理如何启发深度神经网络模型的设计和应用。通过将电磁学的概念和方法融入到深度学习中，我们可以开发出能够处理复杂电磁现象的强大工具，这些工具在通信、雷达、医疗成像和许多其他领域都有着广泛的应用前景。这些深度神经网络范式通过模仿电磁学的原理，如波动传播、干涉和衍射，来提高网络模型的泛化能力和可解释性。

4 由统计物理学启发的深度神经网络范式

统计物理的研究对象是由大量粒子（或大量自由度）构成的宏观系统，目的是研究这些系统与热现象有关的宏观性质。不过与热力学的研究方法不同的是，热力学是从若干经验定律出发，通过数学上的逻辑演绎方法，最终导出系统的宏观性质；而统计物理则是从单个粒子的力学运动规律出发，加上统计的假设，最终来获得系统的宏观性质。统计物理是微观与宏观的桥梁，它提供了研究物质世界宏观性质的一个强有力的理论工具。

在机器学习中，统计物理的思想常被用来设计处理具有随机性的模型，统计物理学中的许多概念（比如熵、混沌）和一些经典物理模型（比如伊辛模型）常被借鉴到机器学习中。

4.1 非平衡神经网络

统计物理通常包含平衡态统计物理与非平衡态统计物理：前者只涉及所有宏观性质与时间无关的行为，而后者则涉及系统的时间演化行为。有趣的是，系统如何从非平衡向平衡演化，为什么所有系统都达到统计意义上的相同平衡态而与它们各自的动力学无关，以及是否真的与动力学无关等问题，至今仍是有待进一步研究的问题，其中包含深刻的物理和哲学问题。

—— 杨展如 《量子统计物理学》

非平衡统计物理学中最普遍的问题是对物理（化学或天文学）系统时间演化的详细描述。例如，趋向于平衡状态的不同现象，考虑系统对外部影响的响应、由波动引起的亚稳态和不稳定性、模式形成和自组织、违背确定性描述的概率的出现、开放系统等。非平衡统计物理学不仅创造了与物理学相关的概念和模型，还与信息、技术、生物学、医学和社会科学密切相关，甚至对基本的哲学问题产生了重大影响。

熵 统计物理学中的熵概念，最初是热力学的一个基本概念，描述了系统的“内在混乱程度”。我们常常听到的熵增原理就是在说：宇宙中的事物有自发变得更加混乱的趋势。1877年，玻尔兹曼提出了熵的物理解释：可以认为是所有可能的微观状态的等概率统计平均——这是系统的一种宏观物理属性。随着香农将统计物理学中熵的概念推广到通信领域，提出信息熵——用来衡量信息的不确定性或信息量，熵的普遍意义变得更加明显了。

在深度学习中，模型接收信息的速度是固定的，因此加快学习进度的唯一方法是减少学习目标中的冗余信息。所谓的“去粗取精”就是深度学习模型中的最小熵原理，可以理解为“减少不必要的学习成本”。

混沌神经网络 混沌指的是确定性动态系统由于对初始值的敏感性而表现出的不可预测的、类似随机的运动。Poole等人（2016）在NIPS上发表的一篇文章将黎曼几何和动态平均场理论结合，通过随机深度网络的传播分析信号，并在相平面中形成方差权重和偏差。该研究揭示了信号传播在有序状态和混沌状态之间的动态相变。

从伊辛模型到霍普菲尔德网络  伊辛模型（Ising model）是统计物理中最重要的模型之一，它通过描述粒子的自旋状态来研究物质的磁性行为。对于伊辛模型，如果所有自旋方向相同，则系统的哈密顿量处于最小值。1982年，Hopfield受伊辛模型的启发，提出了Hopfield神经网络。Hopfield网络通过模拟神经元之间的相互作用来存储和回忆信息——它可以解决一大类模式识别问题，也可以给出一类组合优化问题的近似解。将脑神经网络与统计物理中的伊辛模型进行对比，将磁自旋的向上和向下两个方向视为神经元的激活和抑制两种状态，将磁自旋的相互作用视为神经元的突触权重值，这种类比为大量的物理理论和许多物理学家进入神经网络领域铺平了道路。

经典模拟退火算法物理退火过程：首先，物体处于无定形状态，然后将固体加热到足够高的水平以使其变得无序，然后慢慢冷却，退火为晶体（平衡状态）。

模拟退火算法最早由Metropolis等人在1983年提出，Kirkpatrick等人在1983年将其应用于组合优化，形成了经典的模拟退火算法：利用物理中固体物质的退火过程与一般优化问题之间的相似性；从某一初始温度开始，随着温度的不断下降，结合Metropolis准则的概率突变特性（以一定概率接受新状态），在解空间中搜索，并以概率1停留在最优解上（图14）。

图14 全局最优搜索过程

玻尔兹曼机神经网络 Hinton于1985年提出了玻尔兹曼机（Boltzmann Machine，BM），在物理学中常被称为逆伊辛模型。它在神经元的状态变化中引入统计概率，网络的平衡态服从玻尔兹曼分布，网络运行机制基于一种模拟退火算法，是一种良好的全局最优搜索方法，在一定范围内被广泛应用。

受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）是玻尔兹曼机的一种，其神经元之间表现出特定的结构和相互作用模式。RBM的目标是以最大化观测数据的似然概率的方式调整其网络参数。通过学习可见单元和隐藏单元之间连接的权重和偏置，RBM旨在捕获和表示数据中存在的潜在模式和依赖关系。通过迭代学习过程，RBM调整其参数以提高生成观测数据的可能性，从而增强其建模和生成相似数据实例的能力。

4.2 基于能量模型设计神经网络

在物理学中，能量是系统状态的一个核心概念，它与系统的行为和变化密切相关。系统的稳定状态实际上代表了其对应的势能最低的状态。将这个思想迁移到深度学习中，可以构造出神经网络处于稳态时能量函数的定义。在神经网络中，能量的概念被用来分析和优化网络的损失函数，通过寻找能量最小化的状态来训练网络，提高网络的性能和泛化能力。

我们耳熟能详的一些神经网络其实都是基于能量模型来设计的，如生成对抗网络（GANs）、变分自编码器（Variational Autoencoder, VAE）、自回归模型（Autoregressive Models）等等。

GANs通过引入一个生成器网络和一个判别器网络的对抗过程，生成器网络试图生成与真实数据相似的数据，而判别器网络则试图区分真实数据和生成数据。这个过程中的“能量”最小化对应于生成数据的质量和真实性。

VAE是一种利用概率生成模型的深度学习框架，它通过最小化输入数据和生成数据之间的自由能差异来学习数据的有效表示。VAE模型中的自由能包含了数据的生成概率和先验知识的结合，从而能够生成新的数据样本。

自回归模型是一类通过明确定义数据点之间的依赖关系来建模数据分布的神经网络。这些模型通过序列的方式逐步生成数据，每一步的生成都依赖于前一步或多步的输出，从而捕捉数据中的复杂结构。在自回归模型中，每个数据点的概率分布是其之前数据点的函数，这种依赖关系可以被看作是一种“能量”关系，通过训练自回归模型来最大化似然函数，从而生成与真实数据分布相匹配的新数据样本。

RG-RBM模型 Mehta和Schwab在2014年的论文中探讨了重整化（renormalization）概念在深度学习模型性能解释中的应用。他们指出，深度神经网络（DNN）通过迭代式的粗粒化方案学习高级特征，这与统计物理学中的重整化群理论（Renormalization Group Theory, RG）相似。他们论证指出，深度学习中提取相关特征的过程与统计物理学中的粗粒化过程在本质上是相同的，因为深度神经网络有效地模仿了这一过程。

此外，论文还强调了重整化群与受限玻尔兹曼机（RBM）之间的紧密联系，并建议将物理概念框架与神经网络进行可能的整合。重整化群与受限玻尔兹曼机之间的这种映射为统计物理学与深度学习之间的关系提供了见解。

4.3 耗散结构神经网络

自组织理论认为，当一个开放系统远离平衡态达到非线性区域时，一旦系统的某个参数达到一定阈值，系统就会通过波动发生突变，从无序转变为有序，并产生化学振荡等自组织现象。它由耗散结构（从无序到有序）、协同（系统各元素的协同作用）和突变理论（阈值突变）组成。

自组织特征映射（SOM）于1989年由Kohonen教授提出，是一种无监督学习的神经网络，它能够将高维数据映射到低维空间中，同时保持数据的拓扑结构。SOM的灵感来自于统计物理学中的自组织现象，其中系统通过内部相互作用自发形成有序结构。

耗散结构神经网络模仿了非平衡态统计物理学中的耗散结构，这些网络能够在远离平衡态的条件下，通过外部能量输入和内部耗散过程，自发地形成有序结构。这种网络在处理非线性动态系统时表现出色，例如在模式识别和时间序列预测中的应用。

4.4 随机表面神经网络

机器学习早期的研究很大程度上受限于凸优化理论的条件——局部最优即是全局最优。在处理非凸曲面时，高误差局部极小值的存在会影响梯度下降的动态性，从而影响优化算法的整体性能。

随机表面神经网络（Random Surface Neural Networks）是一类模仿物理中随机表面概念的深度学习模型，它们在设计上受到统计物理学中随机表面模型的启发。在物理学中，随机表面通常指的是具有随机粗糙度的表面，这种表面可以用一系列随机的高低起伏来描述。类似地，在机器学习中，随机表面模型被用来描述和处理数据的复杂性和多样性。这些模型可以捕捉数据中的随机波动和不确定性，从而提高模型对数据的适应能力。

随机表面神经网络通过在网络的权重和激活函数中引入随机性，来模拟物理随机表面的统计特性。这种方法可以帮助网络更好地处理输入数据的不确定性，提高网络对新数据的泛化能力。统计物理学中的随机矩阵理论被用来分析神经网络的损失函数曲面。通过这种方法，研究者可以更好地理解神经网络在训练过程中的动态行为，以及如何优化网络的权重以避免陷入局部最小值。随机表面神经网络能够处理和模拟复杂数据的不确定性和随机性，特别是在处理高维数据时表现出色。

总之，统计物理学研究了不同的表面模型，以分析非凸优化景观的行为。理解这些表面的特性不仅对解决高维优化问题的挑战至关重要，而且对改进人工智能算法的性能也具有重要意义。

4.5 自由能表面（FES）神经网络

自由能是指在特定热力学过程中，系统的减少的内能中能够转化为外界功的一部分。它衡量的是在特定热力学过程中，系统能够向外部输出的“有用能量”。自由能可以分为亥姆霍兹自由能和吉布斯自由能。配分函数与自由能是等价的。

在基于能量的模型中，研究人员提出了许多方法来克服计算自由能的困难。这些方法包括穷尽蒙特卡洛法、对比散度启发式及其变体、分数匹配、伪似然以及最小概率流学习（MPF）（其中MPF本身基于非平衡统计力学）。尽管取得了这些进展，在高维数据集上训练具有表现力的基于能量的模型仍然是一个未解决的挑战。

4.6 知识蒸馏优化神经网络

对于神经网络来说：模型越大，层数越深，学习能力越强。为了从大量冗余数据中提取特征，卷积神经网络通常需要过多的参数和更大的模型进行训练。然而，模型结构的设计难以设计，因此模型优化成为解决这一问题的重要因素。

知识蒸馏 在2015年，Hinton的开创性工作“知识蒸馏”（Knowledge Distillation, KD）推动了模型优化的发展。知识蒸馏是一种模型压缩和加速技术，模拟物理中的加热蒸馏以提取有效物质，并将大模型（教师网络）的知识转移到小模型（学生网络），从而使模型更易于部署。在蒸馏过程中，小模型学习大模型的泛化能力，加快推理速度，并保留接近大模型的性能（图16）。

知识蒸馏被广泛应用于计算机视觉、自然语言处理和语音识别等领域。例如，在自然语言处理中，知识蒸馏可以用来创建轻量级的BERT模型，如DistilBERT，它在保持与原始BERT模型相似的性能的同时，显著减少了模型的大小和计算需求。

4.7 深度神经网络解决经典统计物理问题

本章节介绍了人工智能在解决经典统计物理方面的应用，如魔方问题，神经网络检测相变，蛋白质序列预测与结构建模，有序玻璃状结构设计，以及如何提供一个稳健系统来研究、预测和控制非线性动力系统。

本公众号致力于分享高质量的数字孪生与数字工程相关学术研究与知识资讯，以促进学术交流与知识传播。推送的论文内容主要来源于公开出版或在线发布的学术资源，版权归原作者所有，仅供学术交流，未经授权不得商用。如有侵权，请联系删除。

作者如有优秀论文需推荐，请在公众号后台留言与我们取得联系，我们将审核后择优推送。感谢您的持续关注与支持！