3.1特征空间中的物理嵌入

将物理原理与机器学习方法相结合的最直接方法可能是使用物理建模开发机器学习模型的特征空间。对特征空间的增强或更改不会直接影响模型架构，并且生成的模型仍被视为黑盒模型，即能够产生相关结果但不透露有关结果得出机制的信息的模型（Karniadakis 等人，2021 年）。然而，通过利用对基础物理学的基本理解，这些方法以符合物理定律的方式塑造机器学习算法的特征空间。与传统的机器学习方法相比，这种集成具有多种优势，并可实现更稳健、更高效的数据框架。通过这种集成，机器学习算法可以设计为利用物理关系的先验知识，从而更准确、更有效地应用于各种工程应用。正如Karniadakis 等人 (2021)所述，这种集成形式主要涉及引入观察偏差以提高机器学习模型的性能。在这里，观察偏差是指体现所考虑系统的基础物理或先验知识的特定测量或特征。通过结合先验知识，通过各种输入增强程序引入观察偏差可以作为约束算法预测在物理上合理的指导。各种研究表明，与纯数据驱动的方法相比，算法更能够识别相关特征，从而提高建模能力并减少数据限制（Deng 等人，2022 年，Gitzel 等人，2021 年，Leturiondo 等人，2017 年）。在 CM 中的应用背景下，在 ML 模型中设计对资产状况变化敏感且能够正确区分正常运行条件和故障条件的特征通常至关重要。在文献中可以看到几种这种结合的方法。例如，物理生成的参数和变量可以用作特征空间中的附加输入。物理信息特征的添加可以直接以通过 ML 管道解析的附加增强数据集的形式完成，也可以通过迁移学习等方法间接完成，其中通过 ML 算法捕获物理信息源域的特征并重新利用。后续小节将通过示例讨论这些特征操作方法。

3.1.1 .物理引导的输入特征增强

近年来，机器学习领域经历了巨大的发展，这种发展在一定程度上得益于大量数据集的出现，这些数据集可用于对机器学习模型进行富有表现力和代表性的训练（L'heureux 等人，2017 年）。然而，在复杂的工程任务中，收集和标记大量数据可能成本高昂、耗时长，在某些情况下甚至不切实际或不可能。此外，由于机器学习模型的黑箱性质，即使事先知道有关系统的信息，也很难仅通过调整数据集来调整机器学习模型的行为。

文献中一种流行的解决方案是使用系统模型中合成生成的特征来补充或替换现实世界的数据，其主要优点是它允许创建具有高度可变性的大型数据集，同时遵循支配物理原理。这一特性在许多此类工程应用中受到重视，因为少量的可用观测数据可能无法准确反映系统或设备的全部运行条件（Gardner 等人，2021 年，Hopwood 等人，2022 年）。例如，在许多此类应用中，有关特定故障条件的观测数据很少见且不切实际。此外，由于诱发特定系统故障的罕见性和不切实际性，可用的数据集通常不平衡且严重偏差（Hopwood 等人，2022 年）。这对可用的 ML 算法及其性能构成了重大问题，因为标准分类器往往过于关注较大的类别。因此，物理相关的特征或数据的合成代表了在这些场景中获取干净、平衡的数据集的有效方法。

这种方法所遇到的局限性通常在于无法准确复制现实世界操作条件的复杂性，以及由于先前物理知识不完整或错误，生成的数据无法准确反映相关设备或系统的行为的风险（Serre，2019）。尽管如此，许多作者仍然选择通过已知的系统物理原理生成物理上一致的合成特征或数据来解决此问题。通过这种方式，生成模型通过定制的观察偏差形成或补充现有的特征空间。这种整合的总体目标是以更高的准确度检测潜在问题，对现实世界数据收集的要求更低，并提高系统在物理原理方面对预期行为的整体遵循率。表 1总结了近期实施该框架的研究成果。

基于物理的模型可用于模拟各种物理系统。通过增强上述模型的特征空间，可以训练 ML 算法，使其基于扎实的（尽管可能不完整）物理原理准确预测这些系统的行为。这种方法之所以受到青睐，是因为它易于生成大量通常可靠的数据，并且能够规避许多实际和道德问题（de Melo 等人，2021 年）。例如，可以通过对系统本身的了解提取或生成附加特征，形成增强特征空间1 (A)。或者，可以通过物理或数值模拟模型解析未标记的输入来获得大量标记数据，以获得物理生成的输出。此后，可以在训练过程中使用标签和生成的输出，如图1 (B)所示。

使用

文章标题	引用	描述	应用
使用基于谱峰度的特征提取结合 k-最近邻距离分析进行电机轴承故障检测	Tian 等人（2015 年）	利用谱峰度进行特征工程，并使用 k-最近邻算法进行分类	轴承机械故障诊断
基于混合模型和数据驱动的商业建筑故障检测和诊断	Frank 等人（2016 年）	使用第一性原理和经验分析进行特征工程，使用多种经典机器学习算法进行分类	建筑能耗异常行为检测
物理引导的逻辑分类用于加工中的刀具寿命建模和工艺参数优化	Karandikar 等人（2021 年）	将刀具寿命与切削速度的泰勒关系应用于通过对数变换形成输入特征空间，并与线性逻辑分类器结合	机床剩余使用寿命估算及健康状态监测
一种基于物理的机器学习方法，用于航空航天合金缺口疲劳评估	Hao 等人（2023 年）	用于增强输入特征空间的物理驱动参数，使用支持向量回归、随机森林和 XGBoost 进行回归	多晶合金的疲劳寿命估算
使用深度学习和最佳有限元模型生成数据进行结构健康监测	Seventekidis 等人（2020 年）	有限元模拟生成结构数据，使用卷积神经网络进行分类	结构健康监测
使用兰姆波进行混合物理辅助机器学习的损伤检测	拉伊与米特拉 (2021)	有限元模型形成由损伤特定特征组成的输入特征空间，用于训练神经网络	结构健康监测
使用数值模拟和极限学习机检测齿轮故障的个性化诊断方法	刘等人（2020 年）	有限元模拟生成故障数据，供极限学习机分类使用	变速箱的机器状态监测
利用高斯过程求解和学习非线性偏微分方程	Chen 等人（2021 年）	利用高斯过程解决非线性偏微分方程和逆问题的统一框架，提供保证的收敛性和计算效率	偏微分方程中涉及参数识别的逆问题的求解
物理信息协同克里金法：基于高斯过程回归的数据模型收敛多保真度方法	Yang 等人（2019 年）	多保真度方法 CoPhIK 将物理信息克里金法与高斯过程回归相结合，以降低估计超参数的优化成本	重建部分观察到的函数，如修改后的 Branin 函数，从稀疏观测中估计稳态热传输的状态，并从稀疏浓度测量中学习示踪剂分布。
使用部分充电段预测电池健康状况的物理信息机器学习模型	Kohtz 等人（2022 年）	主要降解模式的有限元模拟，高斯过程回归用于学习电压曲线与固体电解质积累之间的关系	锂离子电池健康状态监测及剩余使用寿命估算
基于物理的机器学习辅助异种材料接头腐蚀不确定性量化	Bansal 等人（2022 年）	有限元腐蚀模型模拟腐蚀过程，生成数据用于训练高斯过程模型	结构健康监测以评估腐蚀损伤
混合深层故障检测与隔离：结合深度神经网络和系统性能模型	Chao 等人（2019 年）	基于校准的系统性能模型、变分自动编码器和人工神经网络分类的明智特征选择	涡轮发动机机械故障诊断
融合基于物理和深度学习的模型进行预测	Chao 等人（2022 年）	使用基于物理的模型进行参数估计，使用人工神经网络进行分类	涡轮发动机机械故障诊断与剩余使用寿命估计
用于锂离子电池电极级状态估计的物理信息神经网络	Li 等人（2021 年）	用于生成合成数据的电化学热模型，用于与人工神经网络一起使用以估计不同空间位置的电化学状态	锂离子电池剩余使用寿命估算及健康状态监测
用于激光粉末床熔合增材制造中孔隙率分析的物理信息机器学习模型	刘等人（2021 年）	使用机器操作参数推导物理效应的特征工程，用作支持向量回归器中的特征空间	在增材制造过程中监测部件中的孔隙率累积
风电场中的物理信息网络攻击检测	阿洛蒂比和蒂珀 (2022)	基于物理的功率不等式作为偏离标称操作的指标，使用隔离森林算法进行分类	网络物理资产的异常行为检测和监控
基于物理的方法生成完全合成的 IV 曲线训练数据集，用于 PV 故障的机器学习分类	Hopwood 等人 (2022)	雪崩击穿模型模拟串级电流-电压曲线，用一维卷积神经网络检测	光伏电池故障检测与诊断
基于物理的模型与机器学习的混合模型，用于实时估计不可测量部分：从可测量变量到不可测量变量的映射	Kaneko 等人（2022 年）	多质量-弹簧-阻尼器模型用于生成标记时间序列数据，门控循环单元循环神经网络用于预测参数	海上钻井系统参数估计及异常行为检测
基于物理的深度学习用于光伏电站跟踪器故障检测	Zgraggen 等人 (2022)	通过物理信息损坏操作数据生成故障数据，并使用一维卷积神经网络进行分类	光伏电站故障检测与诊断
机器学习与物理相结合的推进系统异常识别工具	Darr 等人（2023 年）	使用长短期记忆循环神经网络自动模拟流体网络异常并进行实时故障检测和分类	推进系统中的异常行为检测，异常模拟的自动化
基于物理的长短期记忆网络用于预测风激柔性结构的响应	Tsai 和 Alipour (2023)	通过数学模型优化结构响应的气动和气动弹性参数生成数据，并采用长期短期记忆预测框架	结构健康监测
一种利用深度卷积神经网络进行机器退化评估的新型可扩展方法	Li 等人（2020 年）	通过高保真物理方法建立健康指标。使用卷积神经网络将监测到的低保真数据映射到已建立的健康指标	机械退化建模和剩余使用寿命估计
通过卷积神经网络实现电力系统中的实时故障线路定位和 PMU 放置	Li 等人（2019a）	基于替代理论的特征工程、基于卷积神经网络的故障定位分类器	电网故障诊断与定位
物理信息化 CNN 与 PCA 在感应电机断条 MCSA 检测中的比较研究	Boushaba 等人（2022 年）	通过傅里叶变换提取频域中的故障相关特征，并在频域中处理物理相关特征，通过卷积神经网络进行检测	感应电机的异常行为检测
利用飞行测试数据进行传感器故障检测的物理机器学习	Silva 等人（2020 年）	控制动态模式分解以提取主要特征，使用决策树进行分类	商业飞行测试数据中传感器故障的异常行为检测
基于物理的机器学习，用于电静液执行器系统退化建模	Ma 等人（2023 年）	通过系统故障机制选择特征和模型超参数，用长短期记忆网络进行分类	电动静液执行器系统的健康状态监测
利用物理信息自动编码器和反事实解释预测冷轧带钢轧辊磨损	Jakubowski 等人（2022 年）	生成与资产物理磨损相关的新物理驱动特征，用于训练磨损预测自动编码器	机械健康监测以预测退化
用于诊断功率监测的物理信息特征空间评估	Green 等人（2022 年）	通过评估时间相关性进行特征选择，使用超椭圆区域的几何重叠检查特征可分离性，并通过 SVM 和神经网络进行评估。	机电系统状态监测和功率监测

减法特征工程主要涉及特征选择：一种常用于 ML 算法的技术，用于选择与问题相关且有意义的特征。利用基于物理的约束，基于物理的特征选择策略可能旨在识别和保留最关键的特征，以实现准确且可解释的预测。除了上面提到的大量实现之外，生成合成数据的操作也已通过称为生成对抗网络的深度学习结构半自动化。在这些结构中，通过基于物理的正则化同时训练生成器和鉴别器NN，以生成物理上一致的合成数据。有关网络的更多信息以及文献中的几个实现示例，可在第3.4.5节：生成深度学习网络中找到。

在 PIML 范式普及之前，早期研究已经利用了物理引导的合成数据生成的各种上述优势和特性，大规模生成物理一致的结果，以用于数据驱动模型的训练过程。他们不是从头定义数据驱动模型，而是充分利用基于物理的模型中定义的先验参数或变量。例如， Tian 等人 (2015)和Frank 等人 (2016)的早期研究利用明智的数据预处理技术和物理模型来生成或补充各自 ML 模型的输入特征空间。在Tian 等人 (2015)的工作中，作者探索了一种明智的特征提取策略，并将其应用于电动机轴承故障的监测和诊断。通过谱峰度提取已知的频域故障特征，随后将其用于训练半监督 K 最近邻 (kNN) 算法。Frank等人(2016)提出了一种用于建筑能源使用故障诊断和异常检测的混合模型。作者采用了高保真系统模型来补充可用于数据驱动模型的数据。生成的数据包括系统处于健康和故障状态，用于补充统计模型中可用的历史数据和观察到的数据。提出了各种分类算法，例如支持向量机(SVM) 和随机森林 (RF)，以对数据中的异常行为进行分类。最近，Karandikar 等人 (2021)提出了一种逻辑分类方案，利用已知的物理定律作为模型的约束来模拟机床的退化。在他们的研究中，通过对输入参数进行对数操作，嵌入了切削速度和刀具寿命之间的非线性物理关系。切削速度和时间等输入变量的变换被用作逻辑分类器模型的输入特征空间，以确保与泰勒刀具寿命模型的物理一致性，从而在对数空间中强制线性。随后，逻辑分类器输出刀具退化状态的概率。同样，Li 等人 (2020)提出了一种基于深度 CNN 的刀具磨损监测替代模型。该模型采用来自传感器的高保真信息，通过基于物理的方法（例如振动模态分析或有限元）提供信息分析。基于物理的方法不仅用于通过确定传感器位置来优化数据收集程序，而且还可作为构建健康指标的特征工程机制。随后训练 ML 模型以学习低保真信号与已建立的健康指标之间的关系。郝等人 (2023)通过在输入特征空间中嵌入各种物理参数，引入了一个用于估计多晶合金缺口疲劳退化的框架。采用敏感性分析，确定了控制行为的关键参数：引入的物理驱动参数包括无缺口试件参考寿命（源自 Basquin 模型）、缺口根部的应力状态和应力比（源自Neuber 规则）以及能量型损伤参数（源自 Smith-Watson-Topper 模型）。总之，引入的基于拉丁超立方采样的 PIML 模型被证明具有出色的通用性和预测能力。

图 1.通过基于物理的方法生成合成数据的过程的总体概述。

现有文献中，对于涉及固体结构的应用（例如结构健康或机械健康监测），一个共同的主题是采用有限元模型来生成物理数据。有限元模型具有在模拟复杂的现实世界系统方面固有的多功能性和鲁棒性，通过将复杂的几何图形离散化为较小的元素，提供了一种预测和分析各种物理行为的系统方法。更具体地说，每个元素都使用描述控制特定元素行为的物理的数学方程来建模。在这种格式中，表示系统物理的控制或本构方程可以嵌入 ML 模型本身的特征空间中；可以表示和松散地执行控制物理现象（例如质量守恒定律、动量和能量守恒定律）以及材料特性和边界条件的方程。各种研究通过有限元模拟建立了物理模型，其中系统的物理通过数学公式纳入其中。例如， Seventekidis 等人。(2020)利用有限元模型作为模拟数据源，训练用于结构健康监测应用的损伤识别问题的 ML 模型，所采用的程序遵循图 1（B）所示的一般方案.

健康状态分类模型仅基于通过有限元模型在各种载荷条件下生成的标记结构响应振动数据进行训练。将得到的基于 CNN 的分类器应用于基准线性梁结构，在确定损伤状态方面具有良好的准确度。Rai和 Mitra (2021)使用ANN在铝样品的兰姆波响应下定位和检测损伤。在他们的工作中，作者在一个系统中采用了各种有限元模拟来构建特定于损伤的特征，他们将其称为损伤参数数据库。随后，该数据库用作 ANN 训练过程中的输入层，其中使用稳健的 Levenberg-Marquardt 算法更新参数。刘等人 (2020)类似地采用有限元方法来模拟故障数据。在他们的工作中，作者介绍了一种变速箱故障诊断流程，其中采用有限元方法来数值模拟变速箱运行过程中的故障样本。将获得的信号分离到时域和时频域，用于生成故障样本，以训练极限学习机模型。Bansal等人 (2022)研究了电化学腐蚀对由不同材料制成的接头的影响。作者提出了一个框架，根据物理模拟的结果进行特征选择。更具体地说，采用有限元模型来模拟电化学腐蚀引起的材料损失，同时考虑环境因素。随后，根据敏感性分析的结果，选择与材料损失最相关的参数作为特征，用于基于 PIML 的接头替代模型。

在复杂系统建模领域，广义过程 (GP) 是一种脱颖而出的贝叶斯非参数模型。GP 具有固有的不确定性量化(UQ) 能力，适用于需要预测信心的复杂系统建模。GP 在 PIML 中的可行性在最近的文献中得到了很好的证明。陈等人 (2021)展示了 GP 在他们的工作中解决和学习非线性 PDE的应用。这项研究强调了 GP 如何有效地利用PDE的结构来指导学习过程，提高准确性和可解释性。作者介绍了一个使用 GP 解决非线性PDE和涉及 PDE 参数识别的逆问题的框架。所提出的方法为非线性 PDE 和逆问题提供了配位核方法的自然扩展，确保了广泛类别的 PDE 的收敛性，并能够计算特定 PDE 近似的误差界限。它通过引入表示解在配点处的导数的附加变量，将无限维优化问题简化为有限维优化问题来实现这一点。使用高斯-牛顿法的变体可以有效地解决所得到的优化问题，该方法解释了求解非线性 PDE 的连续线性化。此外，该方法的计算复杂度与最先进的密集核矩阵求解器一致，使其具有实际应用价值。与传统方法不同，该算法可以同时求解参数和 PDE 解，从而提高了效率。对各种非线性问题（包括非线性椭圆 PDE、Burgers 方程、正则化Eikonal 方程和达西流中的渗透率识别）的实验验证证明了所提出框架的有效性和多功能性。此外，本文为理论分析奠定了基础，为将分析技术从线性回归推广到用于求解非线性 PDE 的配点设置提出了新的研究方向。未来的方向包括解决诸如解决方案的唯一性和收敛速度等问题、获得严格的误差估计、学习分层内核参数以及将框架连接到具有非高斯先验的贝叶斯 IP。这项工作的主要贡献包括捕捉复杂动态系统的底层物理并通过强大的 UQ 实现准确预测。此功能对于模拟和建模尤其有价值，因为传统方法可能由于计算限制或缺乏分析解决方案而无法达到要求。Yang等人 (2019)高斯过程的高级形式 CoKriging 将高保真度和低保真度数据与物理定律相结合。该研究强调了 PIML 中多保真度建模的重要性，其中可以以原则性方式融合不同的信息源（例如实验数据和不同分辨率的模拟），以改进预测和 UQ。Yang 等人展示了物理信息 CoKriging 如何有效地吸收不同的数据源，同时保持符合物理定律，从而实现数据和模型之间的有效融合。本文提出了一种称为物理信息 CoKriging (CoPhIK) 的多保真高斯过程回归的新方法。CoPhIK 将高保真数据（例如观测值）与低保真数据（例如随机物理模型的输出）相结合，以提高准确性。它使用物理信息克里金法 (PhIK) 构建低保真 GP，并使用另一个参数化 GP 模拟低保真数据和高保真数据之间的差异。这种方法通过结合部分物理知识，降低了推断超参数的优化成本。本文证明该方法满足物理约束，直至误差界限。此外，CoPhIK 与贪婪主动学习算法相结合，以指导选择额外的观察位置。CoPhIK 的效率和准确性在重建函数、重建热传输问题的状态以及从稀疏测量中学习示踪剂分布方面得到了证明。这种多保真方法允许将详细的高精度数据与更容易获得的低精度数据相结合，从而全面了解正在建模的系统。通过这样做，它可以增强模型的预测能力，同时保持计算效率。Kohtz等人 (2022)采用高斯过程回归进行预测并估计锂离子电池的剩余使用寿命。通过物理有限元模拟，模拟了主要降解过程固体电解质的积聚测量电压与电池寿命之间的经验关系曲线和锂离子电池的健康状态。总之，GP 的概率性质提供了明显的优势量化预测中的不确定性的能力不仅可以提高模型的可靠性，还可以为预测的置信度提供有价值的见解。这在 CM 应用中尤为重要，因为基于模型预测的决策可能会产生重大影响。评估和传达与预测相关的不确定性的能力可确保用户能够做出明智的决策，同时考虑到潜在风险和结果的可变性。

在数据收集仍然是限制因素的系统中，加入合成生成的数据或特征可能会非常有价值。PIML 模型通常用于估计各种应用中难以观察的变量。利用物理约束，模型能够洞察复杂系统的行为，即使在直接测量有限或不可用的情况下也是如此。例如，在Chao 等人 (2019)的工作中，作者探索了一种用于发动机故障检测和隔离的混合方法。在他们的研究中，构建了发动机的物理模型，并使用无迹卡尔曼滤波器推断出不可观察的过程变量。通过这一过程，作者有效地增强了所探索的两个数据驱动诊断模型的特征空间，这两个模型分别基于 ANN 和变分自编码器 (VAE)。以这项研究为基础，作者进一步扩展了该模型，提出了用于发动机系统群预测和剩余使用寿命 (RUL) 估计的混合框架。在同一作者的另一项研究中，采用了系统的物理模型来估计与组件健康有关的难以测量的系统参数。结合观察到的数据，估计的参数作为数据输入到 NN，形成物理增强特征空间（Chao 等人，2022 年）。其他例子包括Darr 等人 (2023 年)的工作，他们试图检测和缓解发射期间推进系统异常相关的问题。 Darr 等人 (2023 年)提出了一种新颖的数据生成方案，该方案可自动化物理模拟过程以创建异常数据。该小组利用LSTM网络来检测异常行为和事件。Alotibi 和 Tipper (2022)创建了一个框架，用于检测针对风力涡轮机运行的虚假数据注入攻击。通过基于物理的模型解析物理资产的功率输出等受监控参数，从而基于动能定律增强 ML 的可用特征空间。采用基于物理的隔离森林来执行异常检测。该算法将测量的历史时间数据与基于物理的模型的特征增强相结合，以创建一组用于异常检测的随机森林。作者通过将框架应用于现实世界的数据集，证明了将物理学融入其提出的框架可以提高异常检测的准确性。

关于监测电化学应用中的健康状态，Li 等人 (2021)采用高保真电化学-热物理模型来生成有关电池电化学状态的不可观测数据。生成的变量（例如锂离子浓度和电势）用于 NN 的训练过程，该 NN 学习可观测数据与无法物理测量的数据之间的非线性关系。在Hopwood 等人 (2022)的另一项研究中，作者主要采用物理建模来克服与光伏阵列高保真 CM 相关的成本问题。Hopwood等人 (2022)提出了一个完全合成的训练数据集，该数据集基于对健康状态、部分污染故障状态和电池裂纹故障状态下的光伏阵列的物理模拟，其框架如图 2所示。生成的数据用于训练一维CNN以对故障状态进行分类，并通过观测数据验证了该方法的有效性。从实验来看，在合成数据集上训练的 ML 模型的准确性与观察到的数据相同。Zgraggen等人 (2022)采用了类似的策略，利用合成生成的数据来补充可用的标记故障数据。由于故障场景的标记数据稀缺，作者提出了一种故障生成策略，该策略基于跟踪传感器倾斜角产生的相关辐照度和功率模型，通过物理信息破坏可用的正常运行数据。通过物理模型，该小组增强了 CNN 模型的训练数据，以诊断光伏电站太阳能电池板群中跟踪传感器的异常情况。

图2.采用数据增强技术，将模拟故障和运行数据纳入ML故障分类算法的训练过程。改编自Hopwood 等人（2022 年）。

关于结构部件健康监测应用，Tsai 和 Alipour (2023)通过他们提出的LSTM进一步自动化了数据生成过程，用于监测和预测受风激励的结构响应。作者采用了基于优化的气动和气动弹性参数的数学模型来生成结构响应的合成数据。为了进一步促进数据生成并避免与数学模型相关的计算成本，数学模型被用于训练中间 LSTM 网络，以自动生成大量数据，同时保持相对遵守结构响应的物理原理。从模拟响应生成的数据进一步用于训练 LSTM 分类器，结合监测数据来预测结构响应。同样，Kaneko 等人 (2022)采用了物理信息数据生成方案来估计海上钻井系统中的不可观测参数。模型的输入数据是通过系统的物理模型生成的，由此将各种输入参数输入到系统中以获得可测量数据并识别不可测量数据。其总体流程如图3所示。

随后，训练门控循环单元(GRU) 型循环神经网络(RNN)，以推导出物理模型中各种输入、输出、参数和可测量数据与不可测量数据之间的关系。刘等人 (2021)提出了一种新颖的可推广的物理信息模型，用于监测和预测增材制造过程中的孔隙率。作者没有将机器操作参数与零件内孔隙率的积累直接关联，而是推导出机器操作参数（例如能量密度和压力分布）的直接物理效应。使用物理解释而不是机器参数作为输入特征，可以建立一个可推广的、独立于机器的诊断框架，从而产生卓越的预测能力。

图3.混合模型以基于物理的建模为基础，将可观测参数映射到不可观测参数，作为ML算法的输入。

除了扩充输入特征空间外，物理引导方法也已用于特征选择和特征工程。通过将物理约束、方程或关系集成到特征选择算法中，从业者能够更好地识别与底层物理机制相符的基本特征，从而为数据分析、预测和决策提供更稳健、更可解释的模型。在Li 等人 (2019a)的著作中，作者基于替代定理的原理提出了一种具有物理解释的特征向量，用于电网系统中的故障定位。通过 CNN 解析特征向量，大大降低了有效故障定位所需的网络复杂度。另一个例子是Boushaba 等人 (2022)的著作，作者比较了基于物理信息的 CNN 方法在感应电机内故障检测中的有效性。值得注意的是，在他们的研究中，在使用设计的网络进行分类之前，通过傅里叶变换在频域中对电机电流特征分析的测量结果进行预处理，以形成网络的输入，如图4所示。

在这里，预处理步骤主要用作特征选择的方法，从与故障组件相关的信号频谱中提取某些子带。Silva等人 (2020)自动化了具有多个故障类别的系统中传感器故障检测的过程。由于系统的复杂性和高维性，采用由Proctor 等人 (2016)定义的动态模式分解控制 (DMDc)来识别传感器读数随时间变化的线性时不变模型。尽管 DMDc 是数据驱动的，但该方法本身允许从业者从复杂数据中识别和提取底层相干结构或模式。由此，DMDc 可以揭示系统中的主要行为模式并提供对其底层物理的洞察。该模型与卡尔曼观测器一起应用，可实时提供健康状态的传感器测量变量估计。对于异常的分类，部分特征来自 DMDc 程序。在验证过程中，可以使用线性时间不变系统计算决策树所期望的特征，并对测量异常进行分类。Ma等（2023）利用物理信息的长短期记忆（LSTM）网络研究了电动静水执行器系统的退化机制。由于退化机制的复杂性，作者进行了物理信息特征选择，并根据系统的故障机制执行模型超参数。在他们的研究中，系统的物理状态用物理参数指标表示：上升时间。根据系统的物理状态，选择监测数据集并将其分成训练和测试数据集，用于训练和评估LSTM网络。通过选定的数据集对具有不同超参数的网络性能进行评估，并选择与最准确的预测相对应的参数。最后，在Jakubowski等人的工作中（2022），作者提出了一种基于物理的自动编码器模型，用于估计冷轧过程中设备中的辊磨损。与上述情况类似，采用基于物理的仿真模型进行输入空间增强。在这种情况下，与冷轧磨损相关的参数信息，例如摩擦系数和前滑，都是利用现有的先验知识生成的。辊磨损预测是用自动编码器进行的，其中从退化早期阶段提取的数据与物理衍生的特征相结合，用于训练自动编码器。辊磨损的预测是基于与既定标称状态的偏差进行的。此外，通过反事实解释方法，作者试图提高网络预测的可解释性。

图4.基于物理的输入数据预处理。

改编自Boushaba 等人（2022 年）。

作者还提出了选择随时间演变的特征空间的方法。Green等人 (2022)提出了一种基于物理的信息特征空间评估策略，用于监测机电负载。特征是根据负载可分离性验证来策划的，其中评估了过去训练数据对未来分类的可靠性。随时间变化的偏差的底层物理通过主成分分析生成的超椭圆区域的几何形状来表示。通过这种方式，作者解决了在多负载场景下受操作或退化漂移影响的系统中可分离性问题。作者通过线性和非线性分类器（即 SVM 和 NN）证明了其方法的有效性。总体而言，通过先前已知的物理原理进行特征增强是一种易于实施的方法，可以对 ML 算法实施软约束。通过定制算法与物理特别一致的特征空间，算法的预测能力更有可能落入物理可行性的范围内。相反，虽然模型可能建立在物理上一致的训练数据之上，但它们得出预测的方法对从业者来说仍然是个谜。此外，对模型特征空间（而不是模型本身）的宽松约束使得这些类型的算法特别容易偶尔出现与物理定律不一致的预测。

典型 TL 框架中的操作的一般方案可以在图 5中看到。

使用

在文献中，有两种主要方法可以将迁移学习纳入 PIML 框架：利用源域，可以将训练好的模型迁移到各种工程应用中的目标域。源域可以基于物理模型进行建模，也可以定义为模型在物理上合理且符合物理原理。在传统的 ML 方法中，模型是在大型数据集上从头开始训练的，这可能是一个资源密集型且耗时的过程。基于物理的模型可以比纯数据驱动的模型更准确地表示底层系统动力学，而纯数据驱动的模型可能受到可用训练数据的质量和数量的限制。通过以基于物理的模型的形式结合有关底层系统动力学的先验知识，迁移学习可以降低模型的计算复杂度，并实现更高效的训练和推理（Torrey 和 Shavlik，2010 年；Zhuang 等人，2020 年）。或者，可以将基于物理或物理信息的数据解析为目标域训练数据。该模型使用针对目标问题的较小数据集进行微调，其中包含与物理领域中的目标问题相关的特征。通过使用预训练参数初始化模型，该模型已经对要学习的特征具有一定程度的知识，从而可以在微调期间实现更快的收敛。微调允许模型根据目标问题的特定特征调整其表示，从而为新任务定制预训练模型。在这种方法中，源域更多地充当学习特征的支持库，允许 TL 框架利用这些特征来显着放宽目标域数据要求并加快训练过程。

图 5.图示描述了迁移学习的原理和功能，迁移学习是机器学习中的一种技术，它利用从一项任务中获得的知识来提高另一项相关任务的性能。

TL 方法的例子可以在Guc 和 Chen (2021)的著作中看到，他们提出了一种通过物理信息 CNN 识别复杂动态系统故障源的方法。通过动态模式分解，可以以线性降阶时空模式的形式构建系统的物理表示。然后通过连续小波变换将动态模式分解模式转化为时频域图像。通过 CNN 图像分类器对故障情况进行分类，利用预训练的网络结构 GoogLeNet（Szegedy 等人，2015 年）来利用从其他领域学习到的特征。Googlenet 架构由 22 个主要层组成，采用带有加权Gabor 滤波器的 Inception 架构。作者后来扩展了这个提出的框架，以对传感器中普遍存在的各种故障进行诊断。通过目标系统的实时速度控制实验证明了他们提出的框架的有效性（Guc & Chen，2022）。

通过已经学习过相关特征的预训练模型，迁移学习可以减少训练所需的标记数据量。预训练模型无需在新的数据集上从头开始训练模型，而是可以通过更新网络中的选定层来适应新任务。具体到 CM 和异常检测领域，基于物理的模型已被用于缓解标记数据有限的问题。在许多情况下，特定机器或故障模式的标记数据可能很少，这使得训练准确的模型具有挑战性。通过使用基于物理的模型生成合成数据，从业者可以扩充训练数据集并提高模型推广到新数据的能力。例如，Gong 等人 (2021)通过基于物理的迁移学习 NN 促进了航空航天控制力矩陀螺仪的异常检测过程。通过这个框架，他们能够克服与监测的遥测信号相关的数据限制。使用近似功耗行为的ANN捕获遥测信号之间的非线性关系。随后，通过迁移学习方法捕捉系统的退化，从而对健康状态的 NN 模型的最后一层进行微调以表示新的退化状态。基于马哈拉诺比斯距离构建了性能指标，并使用核密度估计方法执行异常检测。同样，Ye 等人（2022 年）采用了多保真度框架，使用基于物理的低保真数据对 NN 进行预训练，这样当与有限数量的可用高保真度实验数据一起使用时，网络可以对颗粒材料填充的粒子阻尼器进行稳健表征。Schröder等人（2022 年）通过物理约束的 ANN 应用迁移学习范式进行基于风力涡轮机运行行为的异常检测。该网络在基于物理的蒙特卡罗模拟生成的数据上进行了预训练，并通过监测数据在涡轮叶片角度异常检测中验证了物理模拟数据的迁移学习。在数据有限的情况下，由于结合了预训练网络的物理约束，该模型在预测准确性和稳健性方面表现出色。最近，Miele 等人 (2023)提出了一种受迁移学习启发的 NN 框架，用于结构健康监测应用。由于高保真模型的计算限制，作者选择首先在从二维有限元模拟得出的低保真物理模型上训练网络。模型权重保持不变，并在 NN 结构中添加一个附加层，以使用高保真三维有限元模拟重新校准模型。在样本混凝土试件中生成概率分类时验证了所得模型。

源域物理约束数据的一种常见形式是数字孪生 (DT)。DT 是物理系统或流程的虚拟副本，可在数字环境中模拟其真实世界行为。它们是通过结合使用传感器数据、基于物理的模型和 ML 算法来创建的，以创建系统或资产的数字表示。DT 已广泛应用于预测性维护和 CM 等应用，近年来因其能够提高各种工程任务的效率和有效性而备受关注 ( Liu 等人，2022 年)。图 6中可以看到结合 ML 使用 DT 框架的通用公式。

DT 的主要优势之一是它们可以实时监控、分析和优化物理系统，使用户能够识别潜在问题并做出明智的决策以提高性能和效率。在文献中，人们对将 DT 与 ML 算法结合使用以创建 PIML 框架的兴趣日益浓厚。这种方法背后的想法是使用来自 DT 的数据来训练 ML 模型，然后将其应用于现实世界系统以预测其行为并优化其性能。TL 提出了一种有价值的策略，用于优化为 CM 部署 DT 所需的计算资源。虽然它通过利用来自预先存在的模型或领域的知识来促进领域适应，从而提高效率和准确性，但它并不能完全减轻开发和部署数字孪生所固有的计算负担。相反，TL 通过加速收敛和减少训练 ML 模型的数据要求来简化流程，从而更有效地利用可用资源。在 CM 的 DT 背景下，迁移学习可用于构建一个框架，利用预先存在的 DT 模型来加速 PIML 模型的开发。一般来说，与 TL 一起部署 DT 的框架如下：

图 6.数字孪生背景下迁移学习应用的表示，数字孪生是物理实体或系统的虚拟表示，展示了从预先存在的数字孪生进行知识转移。

• 1.

  开发了感兴趣的物理系统或过程的高保真数字孪生模型，能够模拟系统在各种条件下的行为。

• 2.

  通过 DT 模型，可以通过改变系统的输入参数和监控系统的输出变量来生成大量模拟数据。

• 3.

  然后，该数据集用于训练 ML 模型，以预测系统的行为。通过迁移学习，知识从源域（DT 模型）转移到特定 CM 任务的目标域。

• 4.

  随后，根据少量的真实数据对模型进行微调，以提高其在目标系统上的性能。

真实世界数据用于调整模型的参数，以更好地适应特定系统的行为。经过训练后，可以部署经过调整的 ML 模型来预测系统的行为和/或检测异常或偏离正常运行的情况。上述框架的几个示例已用于各种工程任务，例如：Xia 等人 (2021)提出了一种用于诊断三缸泵系统故障的迁移学习框架。构建了物理资产的数字孪生，以生成与系统底层物理约束一致的数据。除此之外，作者还提出了一种新颖的深度去噪自动编码器。结合数字孪生生成的健康状态数据，对自动编码器进行预训练。随后，该架构可用于物理机器中的异常检测。关于同一主题，Deebak 和 Al-Turjman (2022)提出了一个类似的迁移学习框架，以 DT 辅助故障诊断为特色，主要关注机床和设备的 CM。作者通过提出的堆叠稀疏自动编码器结构解决了缺乏真实世界数据的问题，减少了网络准确预测所需的物理数据量，并提高了模型的整体鲁棒性。滕等人（2023）将数字孪生应用于桥梁结构故障的诊断，其中生成的数据用于 CNN 的训练过程。模拟结果的知识转移被证明是有效的，因为与物理上简单的迁移学习分类技术相比，该模型表现出更高的收敛速度和准确性。冯等人（2023）将该框架应用于齿轮表面退化监测，以实现预测性维护。根据其直齿轮箱系统的动态和退化行为的控制方程，开发并微调了数字孪生模型。建立 CNN 并根据 DT 模型的数据进行训练，以评估表面点蚀和齿廓变化。

通过有效地传递领域知识，上面讨论的 TL 算法能够有效地利用物理相关知识来辅助自动学习的预测能力。通过这个过程，可以呈现出几个优点。除了上面讨论的减少训练时间和数据要求之外，TL 算法还能够根据所使用的训练数据集提高对数据的泛化能力。此外，通过深入了解学习到的表示和影响模型决策的特征，预训练模型可以提高模型整体预测过程的可解释性。从本质上讲，TL 算法的设计目的也是为了进行微调以适应特定任务。这一特性为从业者在设计最终的学习流程及其组成部分时提供了额外的灵活性，无论这些组成部分是物理衍生的还是数据驱动的。

3.3.1 .物理信息神经网络

PINN 是一个快速发展的领域，它利用神经网络的力量从数据中学习复杂的模式和关系，同时还结合了控制系统的底层物理原理，如偏微分方程(PDE) 或常微分方程 (ODE)。这种物理信息正则化的具体实现使得预测模型的开发成为可能，这些模型不仅可以做出准确的预测，还可以提供对系统行为的物理洞察。PINN 被称为物理信息，因为它们将基于物理的知识或约束纳入模型训练过程，从而使用 NN 对控制 PDE 的解空间进行预测。通过引入学习偏差，PINN 大大放宽了正确训练深度学习算法所需数据量的限制（Xu et al., 2023）。PINN 以能够使用少量数据生成准确预测而闻名，这在数据获取成本高昂或具有挑战性的情况下尤为重要。此外，PINN 是根据系统的物理定律和约束设计的，其预测结果具有极高的准确性和物理意义。这些因素使得 PINN 特别适合于系统底层物理特性得到充分理解的应用。

利用 NN 的计算能力求解微分方程的概念最初由Lagaris 等人 (1998)提出。最近，Raissi 等人 (2019)通过他们的研究推广了这一概念，他们在研究中证明了 PINN 在解决物理系统控制微分方程的正向和逆问题方面的有效性。正如Raissi 等人 (2019)的著作中所定义的，PINN 的有效性部分源于他们对 NN 的通用近似能力的利用（Hornik 等人，1989 ），该能力指出，具有激活函数的单层前馈网络的 NN可以近似任何函数，只要它由足够数量的神经元组成。自然而然地，研究人员将这一特性扩展到复杂非线性微分方程的解，在这些方程中，数值解或经验解是困难或不可能的。在这些场景中，PINN 被用来学习输入数据和输出变量之间的映射，同时强制系统的物理约束。除了能够整合先验知识之外，PINN 还能够从不完整数据或含有噪声的数据中学习 ODES 或 PDE 的解，同时满足系统的控制方程，这使得它们特别适用于数据稀缺或数据收集成本高昂的应用（Raissi et al., 2019）。通过这个框架，研究人员可以建立精确的模型，洞悉底层的物理过程，使其成为许多科学和工程应用中的有价值工具（Raymond & Camarillo, 2021）。

Raissi 等人 (2019)提出的原始 PINN 架构基于前馈结构，用于求解一阶非线性 PDE。文献中对这种结构有各种名称，例如前馈 NN、ANN、多层感知器神经网络和深度神经网络。前馈神经网络由多层互连节点或神经元组成，这些节点或神经元通过加权连接传输信息。在 PINN 的上下文中，网络的输入层对应于物理域，而输出层表示感兴趣问题的解。中间层（也称为隐藏层）提供将输入映射到输出所需的计算能力。

在 CM 的背景下，PINN 通过结合数据驱动和基于物理的方法实现准确的预测。PINN 可以处理稀疏和噪声数据，推断训练数据之外的数据（Kim et al., 2022a），并提供可解释的结果。它们还能实现早期故障检测、减少误报，并可用于在线监控。自从Raissi 等人 (2019)首次推广以来，在其发表之后，大量后续实现都采用了相同的前馈架构。然而，文献中已经部署了对其他流行的深度学习架构的实验，如 CNN、RNN 及其变体、编码器和解码器网络以及图 NN。以下各节将详细介绍基于物理的正则化与各种 NN 架构的集成。

图8.物理信息神经网络结构。

3.3.2数据驱动的微分方程解

PINN 框架的各种当前应用都忠实于初始 PINN 架构，即通过解决物理系统的控制微分方程。此类方法的应用在各个行业中差异很大，并且已应用于许多事先知道控制微分方程的领域。例如，在固体力学领域，确定弹性、变形和结构响应等物理参数的 PDE，目的是持续监测结构健康。Haghighat等人 (2021)的工作就是一个这样的例子，他们开发了一种针对由线性弹性原理定义的结构行为的替代建模和模型反演方法。这是通过将控制 PDE 和各种本构方程合并到 PINN 中进行参数估计来实现的。通过实验，作者通过弹性平面应变条件下的位移场模型证明了概念的有效性。对于他们的用例，作者比较了具有共享隐藏层的集体网络9 (A)的效果，而不是利用 PINN 框架来解决各个输出而不考虑其他输出9 (B)，每个输出都由从集体输入空间中提取数据的 PINN 来解决。作者得出的结论是，虽然原则上，更宽的网络将允许在网络部分和输出之间建立单独的关联，但单独计算解决方案的每个变量更有效。作者将此归因于所使用的双曲正切激活函数，无法以忠实于运动关系的方式准确表示网络输出的交叉依赖性。

Anton 和 Wessels (2021)运用 PINN 框架进行材料参数估计，输入为全场位移数据。对于现有基础设施的结构健康监测，结构部件的材料参数估计可以作为评估退化的一种方法。为此，作者推导出动量平衡方程的解，以及具有经典 PINN 架构的线弹性材料的本构方程。针对建立的 PDE 以及可用于边界条件和观察到的变形的标记数据实施了物理正则化。同样， Kharazmi 等人 (2021)估计了受到流体动力引起的涡流振动的柔性圆柱结构的结构参数，目的是评估因疲劳造成的结构损伤。利用 PINN 框架，作者求解了线性梁弦方程，该方程控制所讨论的圆柱结构的运动。Bharadwaja等人(2022)利用 PINN 来建模和量化非均质固体弹性变形的不确定性。更具体地说，假设各向同性线性弹性行为来求解控制微分方程，以近似动量平衡和控制弹性的本构方程。所提出的 PINN 通过基于物理的损失函数进行优化，表示控制微分方程的模型误差，以及狄利克雷、诺伊曼边界条件、与纤维和空隙相关的边界条件以及初始条件。从他们的分析来看，所提出的基于物理的方法返回的结果与蒙特卡洛有限元模拟模型相似，该模型在这种情况下被指定为基准模型。再举一个例子：Rautela 等人 (2021)模拟了导波以监测结构健康，并将其应用于航空航天应用。该框架围绕使用 PINN 来解决与波传播相关的控制 PDE 。在他们的研究中，将具有狄利克雷边界条件的一维波动方程作为损失函数的目标，并通过损失函数不断优化 PINN 的预测，以更准确地反映物理控制 PDE。周等人 (2023b)提出了一种疲劳寿命估计方法，在概率 PINN 框架内受混合损失函数的物理约束。通过前馈模型，可以近似计算应力-寿命关系。通过评估选定的搭配点来确定物理违规，其中基本事实由前馈模型输出的概率分布近似。最后，Mai 等人 (2023)采用 PINN 架构预测桁架结构中的结构不稳定性。所概述的网络表示结构的位移场，通过参数分析可以确定在给定输入载荷系数的情况下易受影响的临界点。优化是通过最小化物理信息损失函数来执行的，该函数在物理上表示结构的残余载荷和刚度特性。总之，通过对几个桁架结构的各种示例验证，该方法获得了卓越的精度。

图 9 用于解决未知变量的神经网络架构（A）为统一神经网络，（B）为独立神经网络。

在机械故障检测和分类方面，Shen 等人 (2023)提出了一种新颖的机械故障分类框架，该框架采用基于汉密尔顿力学的独特 PINN 框架，通过训练模型来表示系统在健康和异常状态下的能量守恒。汉密尔顿系统遵循汉密尔顿运动方程，该方程以能量的形式描述系统状态变量随时间的变化。根据汉密尔顿力学原理，物理系统的演化通过系统能量作为其位置和动量的函数来描述。该网络称为汉密尔顿神经网络(HNN)，可被视为一类专门针对由汉密尔顿方程控制的动力学系统建模而定制的 PINN 。这种结合使网络能够预测系统随时间的演变（Greydanus 等人，2019 年）。在他们的工作中，Shen 等人 (2023)将这一概念应用于旋转机械故障的分类。通过 HNN，从观察到的传感器测量值中得出系统能量特征的估计值。随后，提取 HNN 的参数以形成总能量函数，将其用作基于传统 RF 算法的分类算法的输入特征。

3.4 .物理引导的架构设计

除了损失函数之外，ML 算法本身的架构也可以设计为包含基于物理的约束。从文献来看，这一发展领域主要侧重于设计适当的 NN 架构，以有效地编码偏差并学习系统的底层物理。已经提出了许多专门的 NN 架构来应对工程应用中的独特挑战。

3.4.1 .前馈神经网络

文献中存在对架构进行这种调整的各种示例。由于前馈结构已在第3.3.1节：物理信息神经网络中讨论过，因此本节将不介绍网络本身。尽管最近在架构方面有所创新，但前馈 NN 仍然因其简单性、相对高效的计算以及对连续函数进行通用近似的能力而得到广泛使用。它们的结构本身使前馈网络相对更容易分析，随后将物理相关性编码到网络的各个部分。因此，许多作者已经开始基于前馈结构开发可解释且物理信息化的架构。表 5简要总结了为将物理学嵌入前馈架构而编写的文献作品：

本节中开发的大部分文献都试图通过对 NN 本身的前馈和反向传播过程施加物理约束来为 NN 模型提供可解释性和可说明性。将物理参数分配为节点以强制信息流与底层物理一致的一个示例可以在Chen 和 Liu (2021)的工作中找到，他们提出了一种概率方法，其中采用前馈模型来学习应力与疲劳寿命分布关系的平均值和标准差。通过约束优化过程强加先验知识，其中将物理参数（例如施加的疲劳应力、疲劳寿命以及指示样品在试验中是否失败或持续的指数）分配为输入节点。输出节点涉及定义疲劳寿命概率分布的参数，具有平均值和标准差。根据参数之间已知的物理关系，通过其权重和/或偏差限制来约束网络，强制中间值在符号方面保持一致。另一个例子是Yan 等人。(2022)采用基于物理的信号处理技术与基于物理的正则化相结合，构建了完全架构可解释的 NN。由此开发的前馈 NN 设计有三个隐藏层，分别代表希尔伯特变换、平方包络和傅里叶变换等信号处理技术的数据驱动公式。该网络通过混合损失函数进行正则化，从而优化了构建的健康指标的期望特性，例如早期故障检测的灵敏度。作者应用该框架直接从振动信号构建健康指标，用于机器退化建模。

物理

与上述工作类似，Wang 等人 (2022)通过为网络内的各层分配适当的物理含义，开发了一个可解释的框架。作者将他们提出的极限学习机框架应用于机器健康监测。极限学习机可以定义为传统 NN 的一个子集，它强调使用简单模型来实现高效和可扩展的学习。极限学习机框架最初由Huang 等人 (2006)提出，与传统 NN 的多个隐藏层不同，它通常由一个隐藏层组成，该隐藏层基于一组固定权重将输入映射到输出。与标准神经网络相比，这些模型更容易训练，所需的数据和计算资源也少得多。为了弥补模型的简单性，极限学习机强调使用先进的技术进行特征提取、数据预处理和数据融合，以使模型能够学习数据中的复杂模式。本研究就是这种情况，作者采用了额外的前馈层，以便将小波变换、方形包络和傅里叶变换应用于采样的输入特征，如图12所示，类似于Yan 等人 (2022) 的工作。传统上，极限学习机中的隐藏节点是随机初始化的，具有随机输入权重和随机偏差。由于这种结构，极限学习机模型只需要精确学习输出层，从而与传统的反向传播优化方法相比直接绕过了大量所需的时间和计算。Wang等人 (2022)通过引入特定的稀疏性度量来替代随机初始化的隐藏层，进一步创新了这种结构，大大提高了网络的可解释性。作者采用的新型变换和评估指标包括基尼指数、峰度、平滑度指数和负熵。

图 12。结合物理可解释的特征提取，与极限学习机一起使用。

改编自Wang 等人（2022 年）。

与上述研究相反，Chen 等人 (2023)提出了一种通过架构集成物理学的替代方法，并将其应用于疲劳寿命估算。作者采用了多保真度模型，通过数据驱动和新型物理信息神经元的组合将控制疲劳寿命的物理学嵌入到系统中。有趣的是，作者选择将基于物理的激活函数应用于模型中的某些节点，这些节点基于纯物理模型，例如 Walker 平均应力模型和 Basquin 关系模型。生成的模型结构具有某些物理神经元与数据驱动的神经元协同运行，如图13所示。实际上，这通过节点与网络中其他节点的关系来强化节点本身的物理相关性。

图 13. NN中基于物理和传统的 S 型激活函数的集成。

改编自Chen 等人（2023）。

由于其简单性，存在各种各样的研究可用于应用这种特定的架构。前馈神经网络已在各种新颖的改造中发挥了巨大作用，如上文讨论的作品所示。然而，在过去的几年中，该领域的大量研究已经改进了基础神经网络结构，使其更适合和专门用于特定的数据类型和结构，这将在以下章节中详细介绍。

3.4.2卷积神经网络

除了直接前馈模型外，CNN 在研究界也广受欢迎。通过其固有架构，CNN 能够对训练数据中固有的某些不变性或对称性进行编码，使其能够根据先验知识对某些偏差进行编码。根据设计，CNN 通过使用卷积层和池化层天生就考虑到了空间不变性。CNN 独特的卷积层提供了一种有效且自动的方法，可以从数据中提取物理意义。这些层用于从输入数据中提取空间特征，并与物理信息层协同使用，后者对预测施加物理约束。

更具体地说，关于卷积层的工作原理：在卷积层中，网络将一组过滤器应用于输入数据，每个过滤器检测输入中的特定特征或模式，从而允许网络检测输入不同区域中的局部模式，而不管它们在数据中的位置如何。在每个卷积层中，过滤器根据步幅大小在整个输入数据范围内进行卷积。此操作的输出称为特征图，即局部加权和的张量。

使用专门设计的层或架构使网络能够捕捉底层物理，同时仍利用深度学习的力量做出准确的预测。当前文献中采用的一种常见方法是将针对要解决的物理问题量身定制的物理启发层（如傅里叶特征）与 CNN 本身的整体架构结合起来（Jing 等人，2017 年）。网络设计背后的基本概念是将基于物理的技术（如网络层中的信号处理）集成在一起，从而实现与物理相关的故障特征的可视化，并从物理的角度展示基于物理的可解释特征对决策过程的影响。在许多这样的研究中，Kim 等人，2022b，Li 等人，2021，Lu 等人，2023，Lu 等人，2019，物理信息 CNN 中的层可以经过专门设计，以促使网络提取与感兴趣的特定故障类型相关的特征。这些层产生物理相关的特征图，然后可以通过 CNN 架构内的各种抽象进行传播。通过这种约束，后续层更有能力专注于更复杂的特征提取和分类，从而提高监测系统的准确性和鲁棒性，正如Wang 等人 (2022b)和Li 等人 (2019b)的著作所证明的那样。

物理

基于物理的 CNN 架构由于其固有结构以及编码的对称性和不变性，在分析时频类数据方面得到了广泛应用。在许多此类应用中，评估系统状态的指标通常是运行中资产的振动。可以通过对处理后的运行振动信号的评估来确定与标准操作的偏差，评估可通过一维 CNN（用于振动信号）或二维 CNN（用于时频域中映射的图像）进行。Sadoughi和 Hu (2019)等作者还通过修改卷积滤波器或内核来表示 CNN 中的物理过程。在他们的工作中，建立了一个基于物理的 CNN 框架来诊断滚动轴承的故障。为了处理来自频域的信号，作者修改了传统的 CNN 分类方案，其中包括额外的过程来增强故障特征。附加层包括谱峰度层、用于预处理信息的包络分析层以及用于将预测特征图后处理转换为频域的快速傅里叶变换层。对于网络本身，卷积核是根据轴转速和轴承的特征频率生成的。该架构如图 14 (A) 所示。作者指出了这种方法的有效性，这可能归因于它不依赖于超参数，因为内核具有基于物理的特性。通过这种方法，作者表明该框架能够以比传统深度学习方法更高的精度持续约束故障。在Li 等人 (2021)的研究中，他们引入了一种新颖的物理信息 CNN 架构，他们将其称为 WaveletKernelNet，如图 14 (B)所示。作者通过一种新型连续小波卷积层对传统 CNN 架构进行了修改，使网络能够更有效地提取代表轴承故障的振动信号中嵌入的脉冲。同样， Kim 等人也采取了类似的方法。（2022b），他开发了一种健康自适应时间尺度表示模型，该模型由特征时间和频域故障特征物理地提供信息，并嵌入 CNN 中以分析时频图像。作者采用了物理信息 CNN 框架，该框架用于从振动信号中监测变速箱故障，其结构与上述工作中指定的结构类似，采用健康自适应时间尺度表示模块来生成指标。

图 14.CNN网络的物理信息层设计，包括改编自以下示例架构：(A) Sadoughi 和 Hu (2019)采用基于物理的内核生成方案来生成物理信息卷积的卷积滤波器，(B) Li 等人 (2021)利用卷积层来处理连续小波变换。(C) Lu 等人 (2023)采用物理信息特征选择层。

作为Sadoughi 和 Hu (2019)工作的扩展， Lu 等 (2019)在他们提出的基于物理的特征加权机制的基础上构建了一个物理信息 CNN，其中关于特征故障频率的先验知识被用于加权滚动轴承的振动特征，如图14 (C) 所示。受上述工作的启发，在Lu 等 (2023) 中，作者在他们最初的模型基础上进一步引入了一个物理信息 CNN 框架，其中在使用 CNN 进行分类之前，根据初始特征加权层和信号处理层对特征进行预处理。所提出的层的作用是为与轴承故障特征频率差异最小的特征分配更大的重要性。与 Sadoughi 和 Hu (2019) 的工作相比， Lu 等 (2023)提出了一个基于物理信息的 CNN 框架，该框架允许在初始模型上运行 CNN 分类之前根据初始特征加权层和信号处理层对特征进行预处理。所提出的层的作用是为与轴承故障特征频率差异最小的特征分配更大的重要性。与Sadoughi 和 Hu (2019)的工作相比，(2023)在构建 CNN 分类器的输入空间时选择直接在频域中操作，在计算复杂度和相似精度方面要求明显较低。Perez -Sanjines 等人 (2023)提出了一种基于循环平稳分析的振动信号处理替代方法。通过二维循环谱相干图获得的振动信号物理信息与 ML 结合用于异常检测。通过循环谱相干图，通过振动模型的假设间接整合物理见解。卷积自动编码器利用其处理空间数据的能力，并用于根据在健康状态下收集的机器数据重建循环谱相干图。对受旋转运动影响的物理部件进行异常评估，评估创建是产生或加剧循环平稳信号的运动（如果偏离正常操作行为）。Deng 等人的工作展示了物理相关层的另一种实现。（2022 年），提出了一系列基于物理的时间 CNN，用于估计轴承刚度退化。作者提出了几种使用物理信息集成实现 CNN 的框架，如前面章节所述。这些策略涉及物理增强输入特征空间、物理信息损失函数和基于物理原理的网络架构设计。值得注意的是，作者试图通过网络中的自定义物理信息层模拟轴承剩余使用寿命与从振动信号中提取的特征之间的映射。该层旨在确保 NN 计算过程遵循先前物理知识所规定的过程。

Ni 等人 (2022)的工作展示了物理启发式架构设计的另一种实现方式，他们实现了 CNN 的多分支结构，用于监测桥梁结构的偏转。通过图15所示的架构，作者融合了基于应变和基于加速度的位移重建分析方法。由于每种方法都存在缺点：基于加速度的方法重建准静态位移的能力较差，而纯基于应变的方法在重建位移的动态分量方面不准确，因此作者提出了一种双分支 CNN 来构建预期位移的各个分量。通过这种方式，可以独立于其他分量学习每个分量与位移的关系。与Haghighat 等人 (2021)提出的前馈网络类似，网络内物理参数的个体建模在优化方面更有效率。在这种情况下，特征图也彼此独立，允许网络的每个分支专注于定义准静态或动态响应的特征，同时将描述另一种行为的特征图的“错误”或杂散干扰降至最低。在卷积层之后使用了另一个残差编码器-解码器块来增强信息传输。组件被聚合，并通过卷积层和残差编码器-解码器层进一步处理，以提高准确性和抗噪性。该过程还由物理信息损失函数监督，该函数基于最小化随时间状态变化的预测位移之间的残差（由微积分中的加速度项表示）和观察到的加速度。Rahimi等人（2021 年）阐述了类似的想法，他们介绍了一种决策算法，能够提醒操作员注意异常情况，例如铣削过程中的颤动。该框架结合了基于物理的振动分析的结果以及来自 CNN 的频谱特征，以概率方式确定操作过程中颤动的存在。通过这种设计，作者规避了现有基于物理的监测方法中由于瞬态振动而经常产生误报的问题在动态操作条件下，机器受到激励时，抖动概率会发生变化。基于基于能量的抖动检测模型，混合框架在加工过程中并行训练 CNN，以确定具体的操作状态，并借助基于物理的模型。结合基于物理的模型，抖动概率会根据操作状态进行更新，从而实现准确而稳健的预测。

图 15.多分支 CNN 的设计，分别用于对应变和加速度测量的位移进行单独建模。

改编自Ni 等人（2022 年）。

3.4.3 .循环神经网络

社区中流行的另一种深度学习架构是 RNN。RNN 自诞生以来就很流行，因为它们能够处理顺序数据：考虑序列中先前输入的上下文。来自先前时间状态的信息与常规输入数据一起被解析为新时间状态的输入，从而使网络能够将先前输入的信息纳入其当前处理中。直接的结果是，RNN 本质上被设计为编码时间不变性，并且已被证明在涉及理解时间动态和关系的任务中具有无价的价值。

上述计算过程在图 16 (B) 中以图形方式表示。通过反馈连接，RNN 能够维持隐藏单元状态，从而捕获来自先前时间状态的信息，从而能够处理顺序数据并捕获时间依赖性。此外，与 CNN 等其他结构不同，RNN 及其变体在处理和输出不同长度的序列方面具有灵活性，从而使它们能够应用于涉及具有动态长度的数据的过程，这是现实世界监控应用中的常见属性。

图 16.( A) 一般循环神经网络架构和 (B) 每个 RNN 单元内的内部计算过程的图示。

长短期记忆 (LSTM) 和门控循环单元 (GRU) 是两种流行的 RNN 变体，旨在解决梯度消失问题，这是传统 RNN 训练过程中普遍存在的问题。LSTM 和 GRU 都使用门控机制来选择性地存储或丢弃内部存储器中的信息。这些机制使 LSTM 和 GRU 能够捕获数据中的长期依赖关系，同时缓解梯度消失问题。LSTM 由Hochreiter 和 Schmidhuber (1997)的作品引入，现已成为最广泛使用的 RNN 变体之一。LSTM 维护一个代表长期记忆的额外内部细胞状态，并采用三种门控机制来调节信息流。输入门选择性地用来自细胞网络输入的新信息更新记忆细胞，同时防止不相关信息添加到现有记忆状态中。遗忘门允许选择性地从记忆细胞中删除不相关的信息。最后，输出门选择性地将相关信息从记忆传递到下一个隐藏状态并输出，从而有效地控制信息在网络中的流动。RNN 的一个较新的变体 GRU 是由Chung 等人 (2014)的著作引入的，它是 LSTM 的一个更简单的变体，它使用两种门控机制：更新门和重置门。更新门决定应将多少新输入存储在记忆单元中，而重置门决定应丢弃多少以前的记忆。除了这些变体之外，在 RNN 架构中引入双向性也得到了很好的研究，即以增加计算资源为代价，将两个在前向和后向时间步骤中处理信息的 RNN 的隐藏状态相结合，从而使网络能够捕获来自过去和未来环境的信息。

尽管 RNN 和 RNN 模型的变体非常流行，但它们在计算效率方面有很大局限性。这一限制源于 RNN 计算的顺序性（Kolen & Kremer，2001）。对于顺序数据处理任务，RNN 的并行计算效率低下可能是一个主要限制，尤其是在处理大规模数据集时。由于 RNN 的计算性质涉及顺序依赖关系和隐藏状态，因此 RNN 需要大量时间和计算资源来处理每个数据点，尤其是对于长序列或深度架构。这种顺序依赖性还使得跨时间步骤并行化计算变得具有挑战性，因为隐藏状态需要以顺序方式计算，这严重限制了 RNN 利用并行处理架构（如GPU或 TPU）的能力，并导致监控过程进一步延迟和效率低下。表 7概述了所审查的文献。

图 17.通过基于物理的深度残差循环神经网络，将物理学融入 RNN 单元中。

改编自Yu 等人（2020b）。

文献中流行的一种方法是将基于物理的约束直接纳入 RNN 架构，从而将 NN 架构设计为将物理模型作为模型架构的一个组成部分。这可以通过将物理方程或约束作为 NN 中的附加层来实现，这些层与传统的 NN 层一起训练。例如，Yu 等人 (2020b)通过在某些 RNN 单元中嵌入基于物理的残差块来增强 RNN 的结构，以进行结构动态模拟。残差值表示预测与已知物理的偏差。在他们的工作背景下，残差块试图精确模拟动态系统中每个时间状态之间的不一致性，并通过所提出的 RNN 迭代最小化，如图17所示。陈等人 (2022a)提出了一种涉及 LSTM 的架构，用于检测轴承故障和预测。所提出的方法被称为退化一致性 RNN。该网络通过整合机械部件的单调退化行为来获得物理信息。作者通过在网络中引入中间变量来强化轴承退化行为的不可逆性。该变量表示随时间退化，嵌入在 LSTM 网络的单元中。作者还实现了物理信息损失函数，通过该函数可以根据标记数据评估训练阶段的性能。物理信息术语评估在任何状态下观察到的退化，中间变量表示退化，进一步强化了 LSTM 所代表的底层物理。

物理

最近，文献中出现了一种流行的方法，即基于 RNN 的累积损伤建模。RNN 模型最初由Nascimento 和 Viana (2019)采用，用于捕捉机器群的时间动态。作者将基于物理的模型元素直接纳入 RNN 架构中，将有关所讨论机器物理的领域知识融入模型中，他们称之为欧拉积分单元，如图 18所示。采用欧拉前向方法，作者将离散系统状态制定为先前系统状态和输入向量的函数。在这个特定的例子中，基于控制裂纹扩展的巴黎定律，开发了一种新颖的 RNN 架构，其中在传统 RNN 架构的单元内合并了一个物理信息层，以模拟影响裂纹扩展的机械因素。与基于物理的模型协同工作，传统的数据驱动模型可以估算应力强度因子范围。这两个模型与 RNN 单元的结合可以准确估计样本的时间动态和累积损伤。

在该论文发表之后，作者还采用了同一模型，通过有限的观测估算了飞机疲劳裂纹长度增长（Nascimento & Viana，2020）。其他作者的后续研究均基于对该框架在其他应用中的修改和定制。例如，Yucesan 和 Viana（2019）、Yucesan 和 Viana（2021a）、Yucesan 和 Viana（2022）的研究应用了该框架的修改版本来模拟风力涡轮机中的轴承疲劳，其中数据驱动模型与已知物理学结合使用来估算润滑对故障的未知影响。通过结合单元内的数据驱动元素以及基于物理的层（例如 Palmgren-Miner 规则），作者试图通过组合网络来表征轴承疲劳和润滑脂退化之间的关系。为此，网络结构的设计考虑了两种退化行为的参数，并准确表征每种退化形式相对于另一种退化形式。作者进一步创新了该模型，将其应用扩展到在油脂降解过程中引入不确定因素的案例（Yucesan and Viana，2020a、Yucesan and Viana，2020b、Yucesan and Viana，2021b）。

图 18.通过欧拉积分将物理学纳入 RNN 单元。

改编自Viana 等人（2021 年）。

Viana 等人 (2021)提出了一种利用该模型估计缺失物理的方法，其中使用数据驱动层来近似物理模型的不确定行为。有趣的是， Viana 等人 (2021)选择使用 RNN 架构作为纯物理的常微分方程解，并添加数据驱动节点来量化已知物理与观察结果之间的差异。作者通过各种案例研究验证了该方法，例如由成熟的基于物理的模型（如疲劳裂纹扩展的巴黎定律、疲劳裂纹扩展的沃克方程和疲劳寿命估计的 Palmgern-Miner 规则）控制的疲劳建模。

Dourado 和 Viana (2019)探索了这种混合 RNN 架构的另一种应用途径，他们采用了类似的框架来估计腐蚀效应系统的累积损伤。在他们的工作中，RNN 的结构被设计为表示 Paris 方程，应力强度因子由物理方式确定，其余参数由单元内的数据驱动前馈模块确定。作者后来扩展了他们的工作，引入了数据驱动的补偿器来校正 Walker 的裂纹扩展模型，其中使用数据驱动层来模拟腐蚀导致的损伤累积偏差（Dourado & Viana，2020）。累积损伤模型在锂离子电池退化行为建模中也得到了广泛应用：例如，基于他们之前的工作，Nascimento 等人 (2021a)修改了现有框架，使其与 Nernst 和 Butler-Volmer 方程一致，并在单元内使用多层感知器模块来表征模型形式的不确定性。该方法侧重于基于 Nernst 和 Butler-Volmer 方程构建降阶模型。遵循与Viana 等人 (2021) 类似的想法，作者在其修改后的 RNN 单元结构中使用了多个数据驱动模块，以补偿已知物理与观察到的资产退化之间的偏差。作者进一步扩展了他们的工作以扩大应用范围。在Nascimento 等人 (2021b)的著作中，将其应用于全船队数据集，从而可以识别偏离既定船队规范的资产。而在Giorgiani do Nascimento 等人 (2023) 的著作中，作者通过贝叶斯更新策略进一步扩展了该模型以用于资产的不完整历史使用情况，该策略根据新证据或信息修改假设或信念的概率。Kim等人 (2022c)将累积损伤框架应用于锂离子电池状态的估计，他们将该模型称为知识注入的 RNN。在他们的模型中，通过添加基于电池容量双指数模型的物理信息模块，进一步修改了循环单元。此外，作者还在嵌入 RNN 单元的数据驱动前馈网络中引入了 Monte-Carlo dropout，以确保对性能进行稳健可靠的概率估计。

3.4.4 .图神经网络

另一个基于物理的架构示例来自图神经网络 (GNN) 的结构组成。GNN 是一类能够处理图结构数据的深度学习模型，最初由Scarselli 等人 (2008)概念化。GNN 由节点和边组成，如Scarselli 等人 (2008)的著作中所定义。在此表示中，网络中的节点表示实体，边表示实体之间的连接或关系。图 19显示了此架构的说明。

END