基于物理的可靠性和系统安全应用机器学习：现状与挑战Physics-informed machine learning for reliability and systems safety applications: State of the art and challenges
摘 要
在过去十年中，物理系统和社会经济系统的计算机化模拟得到了广泛应用，同时，开发高保真系统预测模型的能力在众多可靠性和系统安全应用中变得日益重要。传统上，预测建模的方法通常分为两大类，即基于物理的建模方法和基于机器学习的建模方法。如今，人们越来越一致地认为，复杂工程系统的建模需要将物理建模与机器学习方法有效结合的创新混合方法，这类方法被称为物理启发的机器学习（PIML）。开发先进的PIML技术被认为是一个重要的新兴研究领域，特别是在解决可靠性和系统安全挑战方面具有潜在的重大意义。基于此动机，本文综述了物理启发机器学习方法在可靠性和系统安全应用中的最新进展。文章按相似性和应用领域分类，突出介绍了将物理信息与数据驱动模型相结合的不同研究工作。本文的目标是提供一系列介绍该新兴主题最新进展的研究文章，并阐明我们作为研究社区应集中关注的挑战和未来研究方向，以充分发挥先进PIML技术在可靠性和安全应用中的潜力。
1 引言
在开发复杂工程系统时，确保可靠性和系统安全至关重要。此外，开发能够在不同设计和操作条件下准确预测系统性能的模型对于有效的可靠性和安全性分析至关重要。由于成本效益的原因，预测模型在各种工程应用中越来越频繁地被采用，例如可靠性建模[1-6]、退化分析[7,8]、故障诊断[9,10]、故障预测[11-14]、操作与维护决策[15-17]、设计与不确定性量化[18-20]以及系统风险评估等。传统上，预测建模的方法通常分为两类，即基于物理的建模方法[21]和基于机器学习（ML）的建模方法[22]。
基于物理的建模方法，也称为正向建模方法（例如[23,24]），使用自然界的物理定律来确定复杂系统的输入参数与输出性能之间的基本关系。基于物理的方法非常适合使用已知的科学原理来表示概念上理解较为透彻的过程。通过为目标系统内的物理关系提供基准模型，基于物理的方法已经广泛应用于众多可靠性和系统安全的应用中。例如，在结构健康监测（SHM）[25,26]中，基于物理的方法提供了一个经过校准的物理数值模型，可用于损伤预测。然而，限制基于物理的模型更新在实际应用中的一个关键障碍是由于模型简化和遗漏所带来的建模误差[24]。此外，许多系统建模任务，例如最优控制和实时损伤诊断，要求准确且及时的预测。在这种情况下，采用基于物理的方法可能会面临挑战，因为求解基于物理的控制方程和预测系统性能所需的计算时间较长。此外，由于过程的复杂性，一些过程可能无法完全理解，从而限制了基于物理的方法的应用。例如，复杂系统的故障时间预测通常通过捕捉故障的物理原理来解决。尽管针对基于物理的模型已经进行了大量研究（例如[27,28]），但开发用于可靠性和系统安全应用的基于物理的模型可能具有挑战性，因为工程系统可能很复杂，物理退化过程可能尚未完全理解，或者系统之间可能存在较大的差异性。
基于机器学习的方法[22,29,30]可以通过依赖于从目标系统收集的数据来弥补基于物理的方法在系统先验知识要求方面的挑战。对于那些无法完全理解的过程或在特定精度或效率水平上实施基于物理的方法在计算上不可行的问题，机器学习方法可能特别有前景。因此，机器学习方法已被应用于缓解基于物理方法的这些缺点。尽管这些先进的机器学习模型在建模复杂系统方面可能非常强大，但也可能面临一些挑战。首先，机器学习方法通常是数据驱动的，通常需要大量数据，而在工程实践中这些数据往往是不可靠或无法获得的。例如，在故障诊断应用中，机器学习方法通常需要来自未损坏和损坏条件的数据集。然而，此类数据可能有限，尤其是损坏条件下的数据。此外，在外推机器学习模型或预测未见数据时也可能面临挑战。特别是，“黑箱”模型高度依赖于其输入的标签数据的代表性质量，这导致在现有数据之外的预测中准确性和泛化能力较低。关于机器学习在预测与健康管理（PHM）中的应用，研究表明需要一组代表性的全寿命退化轨迹数据集才能获得准确的预测模型[31,32]。对于那些受定期维护干预影响的系统，收集代表性数据集可能需要很长时间，因为故障可能很少发生，并且系统可能在不同的环境中运行并遵循不同的任务模式，导致可能出现的大范围退化轨迹。
总体而言，基于物理和机器学习的方法各有其特点，但在可靠性和系统安全应用中应用于复杂工程问题时，可能各自存在某些缺陷。越来越多的共识认为，解决复杂科学和工程问题需要能够将现有科学知识（例如基于物理的建模方法）与最先进的机器学习技术相结合的新方法。物理启发的机器学习（PIML）是一种新兴的范式，旨在利用丰富的物理知识来提高机器学习模型的有效性[33]。通过PIML方法，物理原理通常作为“先验”知识来增强机器学习模型的能力。根据处理的信息类型以及如何组合这些信息，已经开发了多种将基于物理与机器学习方法结合的方法。Karpatne[34]首次正式提出了理论引导的数据科学范式，系统地将科学理论与数据科学模型相结合，以实现知识发现。Karniadakis[35]回顾了将物理嵌入机器学习的若干趋势，介绍了当前的能力和局限性，并讨论了物理启发学习的多种应用。Rueden[36]提供了一个定义，并提出了一个知情机器学习的概念，展示了其构建模块，并将其与传统机器学习区分开来。该分类法是一个知情机器学习方法的分类框架，考虑了知识的来源、其表示方式以及它如何整合到机器学习流程中。此外，在物理启发的机器学习方法中，物理启发的神经网络因其在降低计算成本和建模灵活性方面的潜力而备受关注。Viana[37]调查了关于计算机模型的贝叶斯校准和物理启发神经网络的进展。除此之外，物理启发的机器学习策略近年来已广泛应用于许多研究领域。Willard[33]对将传统基于物理的建模方法与机器学习模型相结合的技术进行了综述。该综述主要关注于提高传统上使用基于物理的建模解决的工程和环境系统的建模。Markidis[38]则专注于评估PIML作为线性求解器的潜力，并根据不同网络配置（深度、激活函数、输入数据集分布）评估其准确性和性能。Rai[39]对将机器学习模型与基于物理的模型相结合的方法在网络物理系统领域进行了细致的标准化尝试。此外，物理启发的机器学习方法也被应用于一些先进技术中，如数字孪生[40]和增材制造[41-44]。大数据和工业4.0为新的混合建模解决方案带来了机遇。Sansana[45]对混合建模技术、相关的系统识别方法和模型评估标准进行了综述。
虽然PIML方法已经迅速应用于求解微分方程和物理计算等领域，但其方法开发和在增强复杂技术系统的可靠性和安全性方面的应用仍然关注较少。开发先进的PIML方法已被认为是一个重要的新兴研究领域，特别是在应对与可靠性和系统安全相关的挑战方面具有潜在的重大意义。基于这一动机，本文从技术和应用角度综述了物理启发的机器学习方法在增强复杂系统可靠性和安全性方面的最新进展。该综述从方法和应用两个方面进行。作者探索了2016年至2022年间在可靠性和系统安全相关期刊（如《可靠性工程与系统安全期刊》、《机械系统与信号处理》、《机械设计》和《结构与多学科优化》等）上发表的PIML技术。该综述主要关注于将物理知识和机器学习模型相结合并用于实际工程应用的PIML方法。此外，作者还从谷歌学术和Web of Science中搜索了2016年至2022年间PIML方法的相关关键词，如“物理启发”、“物理引导”、“物理约束”、“物理感知”或“理论引导”等。本文提供了一系列展示该新兴主题最新进展的研究文章，并对构建PIML模型进行了全面的分析，重点关注与可靠性和系统安全相关的方法和应用。本文还阐明了作为研究社区，我们应集中关注的挑战和未来方向，以充分发挥先进PIML技术在可靠性和系统安全相关技术和应用中的潜力。本文的其余部分组织如下：第2节讨论了PIML现有的最新方法。第3节分析了多种可靠性和系统安全应用，如可靠性建模、退化分析、故障诊断、故障预测、操作与维护决策以及系统风险评估。第4节探讨了PIML建模的局限性和挑战，第5节给出了简短的结论。
PIML 方法论概述
近年来，物理模型与机器学习技术相结合以创建 PIML 模型在工程应用中已非常普遍。本节概述了 PIML 方法论的发展。第 2.1 节简要总结了过去 PIML 方法论的发展工作，尤其是在早期阶段 PIML 的应用情况。第 2.2 节介绍了一些最近开发的 PIML 框架，并总结了最新的 PIML 方法论。
2.1. PIML 模型的发展
虽然物理模型最初可以用于建立系统输入参数与输出性能之间的基本关系以进行工程分析，但该领域已经演变为结合更先进的数据驱动方法开发 PIML 模型，以提高模型预测性能。例如，Zhu 等人[46] 使用物理模型确定了飞机涡轮盘的低循环疲劳，并进一步将其与统计学习模型结合进行不确定性分析。一般来说，PIML 模型的训练和验证需要样本数据，物理模拟模型可用于生成这些所需的样本数据。例如，三环蒙特卡洛模拟[47] 被用于多状态物理建模，应用于核电站反应堆保护系统的可靠性评估。这是早期的“物理启发”模型的例子之一，它增强了数据驱动模型。Shi 等人[48] 利用高斯过程模型进行基于可靠性的设计优化，并将该技术应用于优化车辆的碰撞冲击设计。这些研究的主要重点是通过使用基于机器学习的代理来降低物理模拟的计算成本。特别是，Perrin 等人[49] 利用高斯过程代理模型，旨在确定失效域的边界，同时最大限度地减少计算成本。然而，这些研究并没有利用数据驱动模型来增强或改进物理模型，而是通过在线数据测量进一步更新数据驱动模型替代了物理模型。
仅仅在几年前，混合机器学习物理模型还很少见，但数据驱动模型已经被用作复杂故障物理模型的代理。例如，Bourinet[50] 利用支持向量机代理定义给定系统失效的真实极限状态函数。在这项研究中，由于数据不足，训练点是使用基于少量已知数据点的 Metropolis-Hasting 算法生成的。此外，机器学习还被用于直接估计失效概率。Gomez 等人[51] 实现了带有径向基函数的人工神经网络，用于检测旋转轴中的裂纹，实验数据用于训练模型。
近年来，物理模型与机器学习技术的结合取得了进展。特别是将 AI 结构映射到实验数据，并将现有物理模型与数据驱动方法相结合。例如，Yigit 等人[52] 实现了一种神经网络，用于调整用于扭转减震器的频率响应函数的输出。在这项研究中，深度神经网络的节点被实现为模型元素，包括存储损失、刚度和阻尼系数。这种特定的混合模型是物理增强架构的一个例子，其中网络的节点是由物理振动模型具体定义的。此外，这使得可以使用可观察的实验数据对物理模型进行修正。在大多数应用中，可用的实验数据和模拟数据在算法的性能中起着重要作用。
2.2. 最新的 PIML 方法论
为不同的应用创建了不同类型的混合结构，例如可以在模型设计中使用物理知识来限制模型空间，以获得物理一致的解决方案，如在响应和损失函数的选择或模型架构的设计中。另一种整合物理原理和数据的方法是构建混合模型，其中问题的某些方面使用基于物理的组件建模，而其他方面则使用数据驱动的组件建模。根据物理知识的性质和数据驱动方法的类型，这些方法中的许多可以结合在一起应用于特定问题。
通常有两种物理启发的机器学习方法，取决于物理先验知识在混合模型中的作用。第一种方法是在机器学习模型中强制已知的物理约束，这可以被认为是物理启发的损失函数。第二种方法，称为物理启发的架构，将物理知识整合到模型架构中。
2.2.1. 物理启发的损失函数
本节讨论了将先验物理知识整合到机器学习模型损失函数中的物理启发损失函数策略。工程问题通常具有高度复杂性，标准的机器学习模型可能无法直接从数据中捕捉这些关系，尤其是在用于模型训练的数据有限的情况下。最常见的使机器学习模型与物理定律保持一致的技术之一是将物理约束整合到机器学习模型的损失函数中，如下所示：
第一个项 是机器学习模型中的损失函数，通常在训练过程中定义为均方误差（MSE）或均方根误差（RMSE）损失。增加的基于物理的损失 旨在确保与物理定律的一致性。增加的物理约束可以作为损失函数中的正则化项写出。
基于物理原理的各种类型的知识，如由偏微分方程、边界条件、故障物理模型和统计性质表示的知识都可以被整合。这些方程通常可以表示为如下的形式：描述连续值 演变的偏微分方程的通用形式：
边界条件：
保持系统在某些变换下不变的统计（不变性）性质：
物理定律：
近年来，许多研究采用了基于物理的损失函数的 PIML 模型。物理启发的神经网络[53] 被引入并经过训练来解决监督学习任务，同时考虑到由一般非线性偏微分方程描述的物理定律。Li[54] 建立了一个基于神经网络的计算框架，用于表征弹性板的有限变形，其中物理信息（PDE、BC 和势能）被整合到损失函数中。John[55] 提出了一个生物启发的神经网络框架，使模型开发者能够利用领域专业知识通过选择合适的激活函数和损失项，将定性约束整合到参数网络中进行优化。
总的来说，将物理知识整合到损失函数中通常具有以下显著特征：（1）处理数据稀疏性问题的出色能力；（2）与物理原理一致；（3）具有稳健推理的优越泛化能力。物理约束损失函数适用于多种不同类型的机器学习框架和目标。
下一节将介绍如何将先验知识整合到机器学习模型架构中的详细信息。
2.2.2. 物理启发的架构
本节讨论了四种物理启发的架构，这些架构结合了先验物理知识和机器学习（ML）技术。首先，新的机器学习架构可以根据物理知识的特定特性进行构建。这种物理启发的机器学习架构将物理属性整合到机器学习模型的节点和/或层中，使得黑箱算法更加可解释。其次，物理模型和机器学习模型也可以同时运行，以增强模型的能力，这通常称为混合物理启发的机器学习模型。第三，多保真框架可以进一步提高 PIML 策略的效率。第四，贝叶斯框架使 PIML 策略（尤其是物理启发的神经网络）能够量化不确定性并将各种类型的先验知识整合到不同的应用中。
• 物理启发的机器学习架构
物理启发的架构是一种增强机器学习结构的强大方法，可以利用已知的物理方程。架构的设计通常取决于模型结构。例如，神经网络提供了在新颖的神经元或层中编码物理先验知识的机会（如图 1 所示），其中结构的节点由已知的物理现象定义。与物理嵌入的损失函数不同的是，物理启发的架构在系统内的节点中包含物理方程。例如，Yucesan[76] 嵌入了一个包含物理启发层的神经网络，该网络用于估计风力涡轮机的轴承和润滑脂损伤。在这项研究中，确定了两种主要的失效模式，分别是润滑脂损伤和轴承损伤；其中后者可以通过物理方程确定，而前者则需要依赖数据驱动模型。尽管如此，这两种失效模式之间有一些联系，这在物理启发的架构中通过“物理启发”的层和数据驱动层展示出来。该研究的主要启示是，可以通过结合已知的一个失效的物理方程来增强另一个失效模式的数据驱动预测，反之亦然。
与大多数混合方法类似，主要的挑战是如何针对特定应用实现该架构。针对不同的应用，物理启发的架构会采用不同的结构。此外，物理原理的融合可以采取不同的形式。例如，Cho[77] 提出了信息指数和链接函数，它们在将物理原理融入机器学习中表现出成功。信息指数集成了相邻信息，并量化了实验室与现实之间的物理相似性，使机器学习能够以科学家的视角洞察复杂的目标系统，而链接函数揭示了信息指数与物理规律之间的隐藏关系。Zhang[78] 介绍了一种基于机器学习的融合模型 MIDPhyNet，该模型将基于第一原理的物理信息与数据驱动模型进行分解、记忆和整合。该架构在数据稀疏的数据集上训练时表现出显著的优势。Pawar[79] 提出了一种架构，旨在通过基础学习过程增强简化理论的知识。该架构在中间层添加某些特征，而不是在输入层。这种框架灵活，可以应用于许多物理系统。Zamzam[80] 提出了一种利用电网结构的学习模型，该神经网络架构通过利用估计问题的可分离性，减少了将测量值参数化到网络状态所需的系数数量，从而避免了过拟合，并降低了训练阶段的复杂性。Lei[81] 提出了一种基于堆叠极限学习机（SELM）框架的物理启发数据驱动最优潮流（OPF）方法。与深度学习算法相比，该方法仅需要对参数进行非常少的调整，因此可以轻松扩展到其他系统。
物理知识还可以作为先验信息增强机器学习模型的能力。Chen[82] 提出了一种物理约束的长短期记忆（LSTM），其中地质力学参数背后的物理机制被用作先验信息。该最先进的模型能够基于易获得的数据直接估计地质力学日志，并且由于考虑了问题的领域知识，因此具有更高的预测精度。Raissi[83] 提出了一种 PIML 方法，其中根据与控制方程相关的参数化线性算子的特定形式修改高斯过程先验，并用于从稀少且可能存在噪声的观测中推断线性方程的参数。此外，还在将物理知识整合到核中取得了进展，方法是通过将系统状态变量的高斯过程回归近似代入控制方程，进而获得核超参数的方程组。
• 混合物理启发的机器学习模型
前面几节讨论了构建 PIML 模型的嵌入结构，其中物理被整合到机器学习模型的损失函数和/或架构中。本节介绍了一种物理模型和机器学习模型同时运行的独立结构。机器学习模型和物理模型分别应用于近似物理系统的不同方面，并通过一致连接执行数值模拟或元建模。我们将其称为混合物理启发的机器学习模型。图 2 给出了这种方法的示意图。
通常，构建混合物理启发机器学习模型有三种主要的集成策略，包括但不限于：（1）物理模型和机器学习模型同时运行；（2）将物理模型的输出作为机器学习模型的输入。这些技术涵盖了许多目标，如特征提取、降噪、数据转换等；（3）使用机器学习模型替换物理模型的一个或多个组件，或预测通过物理模型难以建模的中间量。混合模型的结构有许多变化，并且广泛应用于许多工程领域，例如故障诊断和性能退化评估。
• 多保真 PIML 框架
尽管 PIML 方法增强了机器学习模型的能力，但在高维问题中训练效率仍然有限。多保真概念已经在代理建模中得到了广泛的探索。通过集成来自高保真（HF）和低保真（LF）模拟的数据，可以在效率和精度之间进行权衡，并且可以在有限的模拟数据下构建具有良好预测精度的模型。
Yan[90] 首次将多保真概念引入到神经网络中。提出了多保真物理约束神经网络，旨在减少所需的训练数据量，其中物理知识被应用于约束神经网络，并构建了多保真网络以提高训练效率。除了将多保真框架与物理启发的神经网络结合外，还可以将其用于物理启发的克里金模型（PhIK）。
• 贝叶斯 PIML 框架
传统神经网络和物理启发的神经网络（PINN）在本质上不是概率模型，导致需要贝叶斯扩展这些模型以量化黑箱算法中的不确定性。数据驱动偏微分方程求解器中的不确定性包括与噪声数据相关的随机性不确定性、与未知参数相关的认知不确定性，以及与建模目标现象的偏微分方程类型相关的模型不确定性。
3. PIML 在可靠性和系统安全应用中的作用
在当今工业环境中，随着复杂技术系统的广泛应用，提高可靠性和系统安全性至关重要。建模、表征和预测产品、组件或系统行为和性能的能力为企业提供了显著的竞争优势，尤其是在估算系统固有的可靠性、安全性和风险时。物理启发的机器学习（PIML）策略提升了这些能力，并在各种工程应用中更为频繁地使用，例如不确定性量化、可靠性分析与风险评估、预测与健康管理（包括退化分析、故障诊断、故障预测、运维决策），以充分代表并理解现实系统的复杂行为。本节回顾了近期文献中 PIML 方法在可靠性和系统安全应用中的使用情况。各小节根据应用领域进行组织，最后一小节总结了前面的小节并讨论了先验知识属性对 PIML 模型构建的影响。
3.1. PIML 在不确定性量化中的应用
不确定性量化（Uncertainty Quantification, UQ）是指量化、表征、追踪和管理计算和现实世界系统中的不确定性（如 [99]）。UQ 旨在解决将现实世界的变异性和概率行为纳入工程和系统分析中所面临的问题。在工程建模、设计、优化和决策过程中，不确定性量化方法在减少不确定性的影响方面起着关键作用，已被应用于解决各种现实世界问题。贝叶斯近似和集成学习技术是两种广泛使用的不确定性量化方法。Abdar[100] 提供了一份关于深度学习中不确定性量化方法的详尽综述。
在 UQ 应用中，包括物理方程、理论和仿真数据在内的多种知识通常提供了表征系统的有用信息。为了将这些类型的知识整合进模型以增强其能力，常用三种整合方法：物理启发的损失函数、混合物理启发机器学习模型和贝叶斯框架。
通过将先验物理知识整合进机器学习，UQ 的目标是提供更好的不确定性表征。Yang[69,101] 研究了深度生成模型在传播复杂物理系统中的不确定性（如输入的随机性或观测中的噪声）方面的应用，物理启发的约束为有效训练深度概率模型提供了一种正则化机制。Xie[102] 提出了基于证据理论和克里金模型的自适应采样框架，用于边界和混合不确定性的量化。证据理论分析被集成进代理模型中，以评估边界和不确定性量化的置信因子。
尽管物理启发机器学习方法在解决各种现实问题上取得了成功，但它们无法提供关于其预测不确定性的信息。在确定性的物理启发机器学习中，损失函数由数据不匹配和物理模型控制方程的残差共同定义。然而，由于模型不充分导致的测量噪声和模型形式不确定性无法被考虑。为了解决这些问题，提出了概率性物理启发贝叶斯学习方法，其中物理约束训练以贝叶斯方式进行。Sun[64] 提出了以贝叶斯方式表述的方程约束训练，其中物理约束的置信度以概率方式建模，并与数据不确定性结合形成似然函数。提出的 PC-BNN 模型可以准确预测平均流场，同时合理估计不同数据噪声水平对应的预测不确定性。
在不确定性量化领域，敏感性分析（SA）[108–114] 是一个重要分支，旨在定量评估每个不确定性源对模型响应的相对贡献。纯粹的数据驱动机器学习模型不考虑物理定律，可能会产生物理上不一致的结果。因此，整合物理知识以提高 SA 计算的精度和效率是必要的。Kapusuzoglu[115] 研究了在物理模型和实验观测均可用的情况下进行全局敏感性分析（GSA），并探讨了物理启发的机器学习策略如何有效地将两种信息源结合，以最大化敏感性估计的精度。
3.2. PIML 在预测与健康管理中的应用
本节讨论了物理启发机器学习策略及其在预测与健康管理（PHM）领域的应用，包括预测、诊断、退化建模、剩余寿命（RUL）预测、健康管理和维护。PHM 领域旨在预测和预见给定系统的故障。通过结合 PHM 方法，可以潜在地降低发生灾难性事件的可能性，还能减少维护成本。
在 PHM 应用中，不同分支包含不同类型的信息。例如，在诊断分支中，物理模型或数值仿真模型通过物理启发的损失函数方法或混合物理启发机器学习方法与机器学习模型结合；在结构健康监测（SHM）分支中，反映系统特性的物理定律通常被添加到机器学习架构中以增强物理一致性；在预测与决策分支中，专家知识发挥了重要作用，并可通过混合物理启发机器学习策略整合。一般来说，PHM 应用中常用的四种先验知识包括物理模型、数据、理论和规则以及专家知识，常用的整合方法有物理启发的损失函数方法、物理启发的架构方法和混合物理启发机器学习方法。
• 故障诊断
物理启发的损失函数和物理启发的架构方法常用于诊断应用。Zhang[117] 设计了一个物理损失函数，通过有限元模型更新指导神经网络模型，从而提高损伤检测结果的普适性和科学一致性。Shen[119] 提出了一个物理启发的深度学习方法，使用物理知识选择性地放大特定的物理特性对 CNN 模型的影响。此外，混合物理启发机器学习模型广泛应用于 PHM 中的预测、退化建模、RUL 预测、维护以及监测和决策中。
• 退化建模和 RUL 预测
在 RUL 预测中，混合物理启发机器学习策略提供了与物理一致且可解释的退化模型。Jiang[9] 提出了一个动态模型修正框架，通过结合数据驱动模型和物理退化模型，改进了基于模型的故障预测精度。Arias Chao[123] 提出了一个结合深度学习和物理模型的混合框架，用于复杂安全关键系统的故障预测。提出的框架比纯数据驱动方法表现更好。
• 状态监测、运维决策
在工程问题中，优化的检查和维护计划至关重要。Chahrour[136] 集成了物理模型和可靠性模型，用于监测保护结构的状态演变并改善维护决策流程。
3.3. 系统失效模式及效应分析和可靠性分析中的 PIML 应用
在可靠性分析（RA）应用中，不同类型的知识为系统的理解提供了支持。整合这些先验知识需要不同的机器学习结构和策略。通常，可靠性评估中常用四种知识来源：物理模型、实验数据和仿真数据、理论与规则以及专家知识。三种常用的整合方法为物理启发的损失函数、物理启发的架构和混合物理启发的机器学习方法。根据应用的不同目标和可用知识的类型，采用不同的整合方法。
通过将物理启发的机器学习与传统可靠性评估方法相结合，可以显著提高评估的准确性。例如，Tan[144] 提出了结合数据驱动与领域知识的算法，用于从传感器读取和经验规则中提取信息以进行建模。
3.4. PIML 在可靠性和系统安全中的代理建模
本节讨论了物理启发机器学习策略在复杂系统可靠性和安全代理建模中的应用。代理建模是替代计算密集型物理模型以加速评估过程的重要策略。因此，构建符合预期物理行为/约束的元模型是非常理想的。Veiga[160] 引入了一个框架，用于将任意类型的线性约束（包括常见的边界和单调性约束）整合到高斯过程建模中。Ray[161] 提出了一个通用框架，用于系统执行高效的建模和仿真研究。经验模型并不能真正描述基于物理机制的变量之间的因果关系。通过综合来自计算机模型和实验的输出和数据，可以克服许多挑战和局限。Wang[162] 引入了一种基于贝叶斯熵（BE）原理的新框架。BEGP 使用贝叶斯熵方法将约束编码到高斯过程回归中，以增强其预测和外推能力。
4. PIML 在可靠性和系统安全应用中的讨论
本节通过图 5 和表 1，从两个角度总结了近期关于 PIML 在可靠性和系统安全应用中的相关研究：(1) 知识类型；(2) 整合方法。根据知识类型，现有研究分为科学方程、实验数据、理论/规则和专家知识。科学方程包括 PDE、故障物理方程、控制方程和统计约束。实验数据指物理实验数据、传感器数据和模拟数据。理论和规则包括科学理论和/或定律、经验规则、预定义规则等。整合方法则分为物理启发的损失函数、物理启发的架构和混合物理启发的机器学习模型。物理启发的损失函数方法将先验知识作为损失函数的惩罚项或额外约束整合进模型。物理启发的架构方法包括：(1) 在神经网络节点中整合先验知识；(2) 添加/构建与先验知识相对应的层；(3) 根据先验知识选择合适的激活函数。混合物理启发的机器学习模型则包括与物理模型的整合、添加物理预处理以及贝叶斯框架。此外，图 6 总结了 PIML 在可靠性和系统安全应用领域中的应用区域、知识类型和整合方法之间的关系（参见表 1）。
物理启发机器学习模型的构建方式受到可用知识的属性（如知识类型、数量和质量）的显著影响。本节基于前面讨论的文献，分析了不同知识属性下 PIML 模型的构建方式，并在图 7 中进行了总结。
• 知识类型
与主要由 PDE 和控制方程捕捉的科学问题不同，可靠性和安全应用中可用的知识类型更加多样，包括物理方程、实验数据、理论和定律、预定义规则和专家知识等。然而，某些类型的知识不能像 PDE 和控制方程那样直接整合进机器学习模型。因此，为了利用不同类型的知识，研究了具有不同结构的多种混合模型。
• 知识数量
知识数量的不同（如数据量和方程数量）会引导我们在 PIML 模型构建中的选择和决策。数据量是影响模型类型和整合方法选择的一个主要因素。当实验数据有限或只有未标记数据时，通常使用物理启发的损失函数方法来整合物理知识，从而提高物理一致性和训练收敛性。对于具有多个失效模式的问题，通常需要使用一定数量的物理方程来反映系统的不同方面。在这种情况下，通常优先考虑将多个方程整合到神经网络的节点和/或层等架构中。
• 知识质量
知识质量是指知识/信息的复杂性和完整性，这将影响我们对模型构建的不同选择。方程的复杂性决定了模型选择和构建的决策。在工程应用中，各种先验知识（如科学方程和定律）可能具有不同的复杂性，从统计属性到复杂的 PDE 不等。一般来说，复杂方程包含丰富的物理信息，但也为模型构建带来了限制。相比之下，具有较低复杂性的知识（如统计约束）在模型构建上具有更多选择和灵活性。知识的完整性决定了模型的使用方式和整合方法的选择。如果物理方程/模型具有高度完整性，它们可以独立操作以捕捉系统的物理机制，并可以构建混合/预处理模型以将物理整合进机器学习模型。相反，如果模型只能反映系统的部分特性，则需要其他知识（如实验数据、物理规则和专家知识）来捕捉系统的特征。在这种情况下，通常使用混合/融合模型来获得对系统的全面理解，并构建完整的模型。
• 可靠性和系统安全应用中的 PIML 通用框架需求
物理启发机器学习的挑战通常是特定于其应用的。特别是在可靠性应用中，如果需要确定多个失效模式，则模型的结构可能会采用不同的形式。例如，Yucesan[52] 的研究中，通过物理方程清晰定义了轴承疲劳的失效模式；而对于润滑脂损伤的确定，则采用了纯数据驱动模型。对于变量较少已知的过程，使用数据驱动模型和随机变量建模。数据驱动模型可以用来增强现有的物理模型，反之亦然。现有文献中的 PIML 架构设计通常是由用户通过经验完成的，这可能非常耗时。因此，可靠性和系统安全应用中需要一个能够灵活整合先验知识和机器学习模型的通用 PIML 框架。
5. 挑战与未来方向
尽管 PIML 在之前章节中展现了众多优势，但将其引入可靠性和安全性应用仍然面临诸多限制和挑战。本节首先识别了 PIML 实施中关于信息特征和模型属性的一些常见限制和挑战，然后讨论了为可靠性和系统安全应用开发先进 PIML 技术的关键未来研究方向。
5.1. PIML 的限制和挑战
5.1.1. 信息特征的限制和挑战
数据可用性是基于机器学习模型的基本假设。然而，许多可靠性和系统安全应用中存在稀疏、不可用或有偏的数据。高质量数据的缺乏往往迫使研究人员和从业者依赖过度简化的模型，这可能导致结果不准确【163】。此外，PIML 模型通常参数化程度很高，可能导致过拟合和泛化能力的不足。
尽管大数据时代带来了更多可用数据，这些数据可能质量不高，且形式各异或全新。这些新数据可能在现有形式下无法使用，或生成难以用于训练应用的噪声数据集。此外，必须验证这些新的数据源，其中很大一部分验证依赖于人工分析和专业知识，而这些成本可能过高或不可行【164】。最后，数据的增加也可能带来高度复杂或多样的数据源，导致难以格式化和处理，从而在速度和可用性方面带来限制。大量数据可能迅速导致存储和处理速度上的瓶颈。因此，研究人员和决策者可能更倾向于使用简化模型，即便 PIML 模型可能在整体精度上有所提升。
5.1.2. 模型属性的限制和挑战
PIML 模型在属性方面的挑战主要归结为五种类型：模型选择、模型结构、模型参数、模型优化器和模型预测。
模型选择：可靠性和系统安全问题通常复杂且多维，这些维度之间（或层级）可能在空间和/或时间上具有不同的属性，且可能相互关联【165】。构建嵌套模型以准确考虑不确定性、材料属性和相关性是非常具有挑战性的。此外，这些特征也使得诸如特征选择或模型选择等任务变得困难，而这些任务可能是可靠性和系统安全应用中必要的环节。PIML 的模型选择过程涉及在多种候选模型和预测建模问题策略中选择一个最终模型，这可能适用于不同类型的模型（例如神经网络、高斯过程模型、支持向量机等）和具有不同结构的模型。PIML 模型构建的挑战在于如何在多种模型和集成策略中做出选择，以解决特定问题。在模型选择中，除了模型性能之外，还需要考虑复杂性、模型效率以及可用资源的属性。尽管物理建模和机器学习领域【29】的模型选择已经得到了广泛研究和发展，但目前在 PIML 模型选择方面仍缺乏明确的指南，并且需要一定的经验才能正确构建 PIML 模型。例如，当前有效 PIML 架构的设计主要依赖用户的经验，这通常为 PIML 方法的应用带来了限制。因此，迫切需要一套完善的 PIML 模型选择和构建指南，以提高混合模型的性能并拓宽其应用范围。
模型构建：模型构建过程中仍存在许多限制。不同类型的先验知识和机器学习模型通常在知识整合和模型构建方面存在挑战。例如，逻辑规则被编码在现有 PIML 研究中的浅层神经网络架构中，但对深度机器学习模型的可行性和功能性研究较少。另一个例子是，高斯过程（GP）模型可以整合等式和不等式约束，但对物理启发 GP 模型与其他类型知识（如知识融合框架）的整合关注较少。
权重分配问题：在近期的 PIML 研究中，选择合适的先验知识权重成为一个潜在的挑战。当多个方程或约束被整合到机器学习模型的损失函数中时，用户通常预先定义每个物理惩罚项的权重，这直接影响 PIML 模型的学习过程。此外，在混合/预处理模型结构中，物理模型与机器学习模型的权重决定了物理含义在机器学习模型中的比例。没有一种通用方法可以确定合适的权重，其值取决于具体问题。
模型优化器：将先验知识和/或约束添加到机器学习模型中会为优化和模型训练过程增加额外的复杂性。结果是，这种高度复杂的问题可能给传统优化器带来挑战。然而，PIML 方法尚未引起足够对高级优化器的关注。因此，迫切需要设计高级优化器，以提高物理启发模型的性能并跟上 PIML 技术的快速发展。
模型预测：使用 PIML 进行在线预测的主要挑战是收敛性和计算效率。为了使算法能够实时运行并进行准确预测，算法必须具有较低的计算复杂度以提供快速的估计。此外，如果现有模型中存在显著不确定性（这在 PHM 和可靠性应用中很常见），模型的初始参数可能无法准确反映系统。这意味着参数需要在算法内进行更新，并且必须迅速收敛，以便框架能够提供准确的预测。目前尚无大量文献讨论将 PIML 模型与更新操作结合用于在线应用。将 PIML 用于在线预测是一个有潜力的研究领域，因为研究表明，PIML 结构可以显著减少收敛时间，尤其是在物理启发的损失函数中。
5.2. 未来方向
关于 PIML 方法的几个有前途的研究方向可以从两个方面总结：信息特征和模型属性。
5.2.1. 基于不同信息特征的模型构建方向
数据收集通常是工程应用中代价高昂的过程。从我们感兴趣的区域收集数据是发现复杂系统潜在行为的重要步骤。正如第 2 和第 3 节所讨论的，偏微分方程（PDE）被广泛用于解释各种现象，因为它们能够建模和捕捉复杂系统的行为。从适当位置收集数据样本对建模训练的收敛性和结果有着重大影响。传统上，数据收集过程高度依赖于专家知识和对系统的理解。最近，Zheng[166] 提出了一种基于自适应采样策略的框架，用于迭代估计未来动态行为并基于 PDE 形式选择采样点。
对于可靠性和安全应用，新的数据应从系统空间中远离训练集的区域收集，这些区域可能是模型失败的地方。此类数据的获取对于那些故障后果可能是灾难性的系统至关重要。模型应在此类数据上进行训练，以减少其偏差，直至其精度达到饱和。与机器学习领域开发的自适应采样策略【167–175】不同，PIML 方法的数据收集过程更为复杂，不仅需要考虑模型学习目标和性能，还需要考虑多种先验知识的数据收集过程。因此，未来研究有机会开发新的自适应采样策略，以加速 PIML 的发展。此外，在许多可靠性和安全应用中，标签标注是一个昂贵的过程，可能需要领域特定的专业知识。因此，开发能够在较少标签下学习的混合模型为未来研究和实际应用开辟了一条新途径。
除了数据收集外，由于获得足够样本以达到合理精度的成本较高，PIML 模型的训练效率在复杂系统中仍然有限。因此，多保真 PIML 框架已经被开发出来，用廉价的低保真样本补偿昂贵的高保真样本。在可靠性和系统安全应用中，现有知识通常来自多个不同的来源，具有不同的保真度，多保真建模是一种常见的解决资源昂贵、计算要求高的问题的方式。如何综合利用这些多保真数据成为一个需要研究的关键问题。如今，双保真【176】和多保真【177,178】框架已在机器学习模型中得到了充分发展，而针对 PIML 方法的多保真框架研究仍处于发展初期。到目前为止，仅提出了有限的双保真【94,95,179】和多保真【90–92】结构的 PIML 方法，进一步的研究将增强 PIML 方法的适用性。
5.2.2. 基于不同模型属性的模型构建方向
如在 5.1.2 节所讨论的，PIML 模型中至少有五种重大挑战尚未
解决：模型选择、模型结构、模型参数、模型优化器和模型预测。
模型选择：需要一套明确的 PIML 模型选择指南，以帮助在不同模型和集成策略之间做出选择，从而提高混合模型的性能并拓宽其应用范围。此外，近年来与 PIML 相关的研究发展迅速，如何衡量和评估新兴 PIML 方法的性能成为 PIML 方法开发中的一个关键挑战。基准问题可以简化不同算法的评估和比较，对于物理启发模型结构和算法的成长至关重要。因此，需要引入新的衡量标准，以揭示测试准确性和学习能力，并评估物理启发结构的合理性。
模型构建：整合某些类型的先验知识到机器学习模型中的方法尚未被充分探索。未探索空间的新方法将拓宽 PIML 的应用范围。此外，仿真结果可能会带来实际数据和模拟数据之间的匹配问题。需要更加复杂的机器学习与仿真结合的混合模型，以实现校准能力。
模型参数估计：没有普遍的方法来确定合适的权重，其值取决于具体问题。模型参数调整和优化策略需要进一步关注。
模型优化：高度复杂的模型结构对传统优化器提出了挑战，迫切需要为 PIML 设计高级优化器，以提高模型性能并跟上 PIML 技术的快速发展。
模型预测：将 PIML 应用于在线预测是一个有潜力的研究领域，未来可以进一步探索如何将 PIML 与更新操作结合以进行实时预测。
6. 结论
本文综述了物理启发机器学习在可靠性和系统安全应用中的最新进展。通过根据相似性和应用领域的划分，总结了物理信息和数据驱动模型的不同整合方式。此外，本文还讨论了物理启发机器学习方法在解决实际可靠性和系统安全问题中的应用挑战和未来研究需求。希望本文能够为读者提供一个该领域近期研究成果的合集，揭示当前面临的挑战，并为我们作为研究社区在未来如何充分发挥先进物理启发机器学习技术在可靠性和安全性应用中的潜力指明方向。
