Li Y F, Wang H, Sun M. ChatGPT-like large-scale foundation models for prognostics and health management: a survey and roadmaps[J]. Reliability Engineering & System Safety, 2023: 109850.

预测性维护和健康管理（PHM）技术在工业生产和维护中至关重要，能够识别和预测潜在的设备故障和损坏。这有助于实施主动维护措施，提高设备可靠性，降低生产成本。最近，基于人工智能（AI）的PHM 方法取得了显著成就，并在铁路、能源和航空等各个行业中得到广泛应用，用于状态监测、故障预测和健康管理。ChatGPT 和 DALLE-E 等大规模基础模型（LSF-Models）的出现标志着 AI 从 AI-1.0 进入 AI-2.0 的新时代，深度模型从单一模态、单一任务和有限数据的研究范式迅速演变为多模态、多任务、海量数据和超大型模型范式。ChatGPT 代表了这一研究范式的里程碑成就，由于其出色的自然语言理解能力，为通用 AI 带来了希望。然而，PHM 领域在应对这一重大变化方面缺乏共识，需要系统的综述和路线图来阐明未来的发展方向。因此，本文阐述了 LSF-Models 的关键组成部分和最新发展。然后，本文系统地回答了如何构建适用于 PHM 任务的 LSF-Models，并概述了这一研究范式所面临的挑战和未来的发展路线图。

引言

预测性维护和健康管理（PHM）技术对确保工业设备的安全性和可靠性至关重要。它通过综合监控和管理设备，降低故障概率，减少生产停机时间，提升设备可靠性与生产效率，为企业带来显著经济效益。随着工业设备复杂性增加和监控数据量的增长，工业数据分析、状态监测和健康管理的自动化变得尤为重要。自动化显著降低了维护成本，提高了设备状态识别和故障预测的效率及准确性，增强了设备运行的可靠性和安全性。近年来，机器学习（ML）和深度学习（DL）技术的发展推动了PHM的自动化和智能化。

自20世纪初，ML技术在PHM中扮演了重要角色，基于ML的PHM模型主要包括特征工程和ML模型两个核心组件。特征工程使用统计和信号分析技术提取健康相关特征；ML模型则利用SVM、KNN等进行智能决策。然而，手动特征工程限制了PHM处理大规模数据的能力，且ML模型的学习能力受限，难以适应大数据时代的挑战。

自2012年以来，DL技术以其强大的数据分析和智能决策能力，改变了研究领域的范式。DL通过多级神经网络结构自动提取特征和识别模式，处理高维、非线性和大量数据，具有适应性和泛化能力。DL已成为PHM的主流工具，不断提升工业资产维护的自动化和智能化水平。提出的深度网络模型如自编码器、CNN、RNN等，适用于不同的PHM应用和任务。DL技术减少了工业PHM应用中的人工劳动需求，但现有模型在多任务、泛化和认知能力方面仍有局限。

近两年，大规模基础模型（LSF-Models）展示了高度智能的自然语言理解能力，流畅的文本对话。多模态文本和图像理解模型，如GPT-4、DALL-E-2、SAM，进一步证明了在多模态对话、图像生成和分割方面的成就。AI深度模型从AI-1.0的单一模态、单一任务、有限数据的研究范式迅速发展到AI-2.0的多模态、多任务、海量数据和超大型模型的研究范式。图1展示了这两种研究范式之间的区别。AI-2.0的核心是具有跨领域知识的LSF-Model，它能够理解数据的一般概念，并在无需额外训练的情况下实现零样本泛化。

图1 从AI-1.0到AI-2.0，DL的研究范式发生了巨大的变化。

本文提供了LSF-Models三个关键组成部分及其各自研究进展的全面回顾。从PHM的实际情况出发，本文系统地分析并回答了如何构建适用于工业PHM应用的有效LSF-Models。本文讨论了PHM中LSF-Model研究的发展路线图，并详细分析了这一研究范式所面临的挑战和解决方案。

关键组成部分

大规模基础模型（LSF-Models）是拥有数十亿参数的大型深度学习模型，它们通过在海量数据上的训练来捕捉数据间的复杂关系和一般概念，拥有跨任务和跨领域的零样本泛化能力。LSF-Models的发展得益于计算硬件的进步、大数据的可用性、表示学习的发展、模型架构的改进，以及多模态融合（MMF）算法。

基于Transformer的特征提取

Transformer是基于自注意力机制的网络模型，最初用于序列建模和自然语言处理（NLP）。图2展示了Transformer的基本架构，采用编码器-解码器架构，由多个Transformer块组成，每个块包括多头注意力（MHA）、前馈神经网络（FFNN）、残差连接和层归一化。Transformer的注意力机制是核心，研究方向包括稀疏注意力、线性化注意力、优化MHA机制和探索替代注意力机制。此外，Transformer架构的优化，如视觉Transformer（ViT），也在图像处理、视频分析等领域取得显著进展。

图2 Transformer模型、自关注模型和MHA的架构细节

自监督学习（SSL）

SSL是一种无监督学习范式，它通过从未标记数据生成监督信号来发现有效特征表示。SSL在NLP和计算机视觉中应用广泛，包括掩蔽语言建模（MLM）、自回归模型、自动编码器和对比学习等方法。图3展示了SSL的流程图，其中MLM通过随机掩蔽输入序列中的单词并预测这些掩蔽的标记来训练模型。自回归模型如GPT基于给定上下文预测下一个单词，而XLNet引入了一种改进的自回归预训练技术。自动编码器通过最小化重构误差来学习图像的特征表示，对比学习则通过构建相似和不相似的样本对来训练模型。

图3 SSL算法的流程图，以PHM应用程序为例。

SSL的优势在于利用数据的固有特性，使模型能够从大量未标记数据中学习一般和高质量的数据特征和潜在关系。这有助于模型更好地理解数据的性质和规律，显著降低了手动注释数据的成本。这一特性也使SSL非常适合大规模数据集，在LSF-Models研究中发挥着至关重要的作用。

多模态融合（MMF）

MMF技术整合不同模态的信息，如文本、图像、音频和视频，以增强模型性能和泛化能力。MMF方法包括早期融合、晚期融合、注意力融合和异构融合，旨在通过多源数据的互补信息提取更全面的特征表示。此外，基于提示的方法通过引入自然语言提示来增强模型性能。MMF算法需要具备多源、多级和多样性等特性，以适应不同模态数据的融合需求。

MMF研究使模型能够从多个角度理解真实世界的各种通用概念。正如人类拥有视觉、听觉、触觉等感觉器官一样，通用AI模型无疑也将具备强大的多模态信息感知能力。

大规模基础模型的进展

在前一节中讨论了构建LSF-Models的关键组成部分。本节将概述LSF-Models在自然语言处理（NLP）和计算机视觉（CV）领域的进展，并展示这些领域的最新发展趋势。

自然语言处理中的大规模基础模型

互联网技术的发展使得获取大规模文本数据变得更加容易，推动了LSF-Models在NLP领域的显著进展。目前，NLP领域出现了许多LSF-Models，主要模型如下：

• BERT系列模型：BERT（Bidirectional Encoder Representations from Transformers）是基于预训练双向Transformer架构的语言模型。BERT使用预训练来从大量未标记文本中获取通用语言表示。BERT的预训练任务包括MLM和下一句预测。此外，研究人员对BERT进行了广泛研究，并引入了许多改进的变体，包括RoBERTa和ALBERT。
• GPT系列模型：GPT系列是由OpenAI开发的基于Transformer的预训练语言模型，主要包括GPT 3.0、GPT 3.5（ChatGPT）和最新模型GPT-4。图4展示了GPT 3.5的三个训练步骤及其细节。GPT 3.5展示了强大的自然语言理解能力，而最新模型GPT-4集成了图像理解能力，实现了高度智能的多模态信息处理能力。
• ERNIE系列模型：ERNIE系列是由百度开发的基于Transformer架构的预训练语言模型。该系列包括ERNIE 1.0、ERNIE 2.0和ERNIE 3.0。这些模型遵循大规模预训练语言模型的一般步骤，并引入了新的预训练方法、知识图谱和知识蒸馏来提高模型性能。此外，Meta的LLaMA模型和华为的万亿参数语言模型在NLP任务上也展现了出色的性能。

图4：GPT 3.5的训练算法流程图，核心是基于人类反馈的强化学习

计算机视觉中的大规模基础模型

LSF-Models在CV领域的应用受到NLP成功的启发。视觉基础模型通过大规模图像数据集上的表示学习实现跨领域理解。主要模型包括：

• Segment Anything Model (SAM)：Meta AI发布的模型，能进行交互式和自动分割，具备零样本泛化能力。图5展示了SAM的算法流程图。SAM以其卓越的能力而著称，能够作为单一模型执行交互式和自动分割。
• CLIP：OpenAI开发的多模态预训练模型，通过对比学习实现视觉和语言的联合表示。
• DALL⋅E：基于Transformer和GAN的图像生成模型，能理解自然语言描述并生成图像。

这些模型在视觉和语言的多种应用中表现良好，为适当的视觉和语言理解奠定了坚实的基础。

图5：SAM的算法流程图，可以根据输入提示输出分割结果

研究趋势和未来方向

当前大规模模型的研究趋势主要朝着多模态、超大型模型和领域特定应用方向发展。多模态模型旨在将不同类型的数据（如文本、图像、音频等）整合到一个统一模型中，实现跨模态理解、生成和处理。例如，类似于CLIP模型的视觉-语言表示学习模型正在快速发展，旨在实现图像和自然语言之间的跨模态理解和交互。这些模型极大地扩展了大规模模型的应用范围和潜力。此外，研究人员继续推动模型规模的界限，包括更大的神经网络和更多的参数，以提高性能。为了应对超大型模型的计算和存储需求，研究人员还在致力于开发模型压缩和加速技术，以便在资源受限的环境中运行大规模模型。最后，大规模模型在领域特定应用中具有巨大潜力，已成为大型模型研究的新热点。目前，大规模模型已在医疗保健、自动驾驶和智能交通等领域取得了成功的应用，并预计将在各个行业中发挥出色的应用潜力。

大规模基础模型在PHM中的应用

尽管深度学习模型（DL-Models）在PHM中取得了显著的性能，它们通常针对特定领域和任务进行训练和优化，因此在复杂和开放的工业场景中的有效性受限。例如，DL-Models可能在已知场景中表现良好，但难以有效泛化到未知场景。缺乏零样本泛化能力使得它们难以应对实际工业场景的复杂性。此外，现有的深度模型通常专注于单一任务。然而，工业设备有数百个核心组件，每个组件都需要健康监测和故障预测。为每个核心组件开发相应的深度模型是不现实的。最后，现有的深度模型在认知能力上有限，难以理解工业数据的性质和一般概念，因此它们经常输出难以理解且错误的结果。

LSF-Models的研究提供了一个有效的解决方案，可以成功解决上述问题。如第3节所述，现有的LSF-Models，如ChatGPT和SAM，已经展示了出色的数据理解能力、零样本泛化和强大的多任务能力。此外，它们还具有先进的认知能力，能够解决一些推理任务。因此，LSF-Models的成功标志着AI领域研究范式的转变，从单一模态、单一任务和有限数据的研究范式（AI 1.0）转变为多模态、多任务、海量数据和超大型模型的研究范式（AI 2.0）。然而，如何在PHM中开发LSF-Models仍然没有定论。为了推动LSF-Model在PHM中的研究和应用，本节将从四个方面解释和分析如何为PHM应用构建LSF-Models。

PHM的大规模数据集

与NLP和CV领域不同，PHM中的数据通常是通过各种传感器收集的高频或低频时间序列数据，例如振动信号、声音信号、电流和电压、温度、压力等。此外，一些应用尝试使用视频和图像数据实现设备健康监测。目前，PHM社区已经开源了不同规模和领域的数十个数据集。然而，这些数据集的规模非常小，难以满足LSF-Models训练和优化的需求。因此，构建PHM大规模数据集是实现LSF-Models的第一步。物联网技术的出现导致现代工业生产设备和各种复杂机械设备上安装了大量传感器，以实时监测系统的各个物理量，及时检测异常。因此，大多数大型企业收集了大量工业数据并建立了相应的数据中心。例如，中国的城市轨道交通列车，凭借数十年的运营经验和累积的实际运行数据，生成了庞大而全面的数据集。这些庞大的数据集为构建LSF-Model提供了有价值的信息，包括实时状态、退化过程和列车子系统和组件之间的相互依赖性。

尽管LSF-Models在NLP和CV中显示出了有希望的结果，但PHM数据与前两者有显著不同。因此，有必要根据PHM领域独特的数据特性优化和改进LSF-Models的关键组成部分，以在该领域实现显著的性能。这需要探索针对PHM的特征提取模型、自监督学习（SSL）算法和多模态融合（MMF）算法。此外，在工业领域，学术界已经建立了尖端的算法设计和数据分析能力，而工业界已经积累了大规模的工业监控数据。因此，建立校企联合研究中心，充分利用各自的优势，将有效解决现有挑战，并显著推动PHM中LSF-Model的研究。此外，实施LSF-Models需要访问大规模数据。确保在使用此类数据时保护数据隐私是另一个需要关注的重要问题。与NLP和CV领域不同，相关数据可以从互联网上大规模获取，PHM数据掌握在设备运营商手中，它们通常是宝贵的，并且可能包含商业秘密。此外，随着对数据隐私和安全的关注日益增加，监管机构引入了新的法律来规范数据的管理和使用。因此，开发符合严格的隐私保护法规并解决数据碎片化和隔离挑战的解决方案是必要的。联邦学习是一种具有隐私保护和安全加密的分布式机器学习框架，它允许分散的参与者在不向其他参与者公开私有数据的情况下协作进行机器学习模型训练。目前，已经提出了基于联邦学习的数据隐私保护解决方案。图6显示了基于联邦学习的多车和多中心数据隐私安全保护架构。然而，大多数现有的联邦学习算法尚未在实际的工业大规模数据分析中部署。因此，促进大规模工业数据分析和建立LSF-Models需要学术界和工业界的共同努力。

图6 基于联邦学习的多车和多中心数据隐私安全保护架构

PHM的Transformer

Transformer是一种深度学习模型，专门用于捕捉信号中任意两点之间的长期依赖关系，不论它们在物理上的距离如何。这种模型因其出色的长期依赖性建模能力，在分析和处理PHM领域的传感器数据方面表现出色。Transformer已被广泛应用于PHM，并取得了显著的性能成果。然而，Transformer在处理工业时间序列数据时仍面临挑战。它主要设计用于处理静态数据如文本，并且虽然可以通过位置编码来包含时间信息，但并不直接处理时间信息本身。这导致Transformer难以充分学习时间序列数据的连续时间关系。此外，工业数据常常带有噪声，而Transformer可能不够稳健以应对这类噪声数据。同时，工业数据的多样性，包括多种传感器数据和文本信息，也对Transformer架构的设计提出了新的要求。

由于自注意力机制仅限于考虑序列中位置之间的关系，因此锁定了在时间轴上捕获相关时间关系的能力。为了解决这个问题，可以采用几种方法：集成时间编码机制以直接学习时间关系；探索有效的时间里注意力机制来捕捉时间依赖性；以及开发针对传感器数据特点的基于Transformer的时间序列模型。在工业领域，数据通常包含复杂的噪声，这与NLP和CV领域通常处理的干净数据不同。因此，需要深度整合Transformer和传统的信号分析技术，如频域滤波、FFT和小波变换，以去除噪声并提取有用信息。Wang等人通过融合小波变换与深度学习模型，在嘈杂环境中取得了良好的性能，所提出的多层小波模型如图7所示。为了同时处理多传感器和工业文本数据，需要重新设计Transformer架构，创建能够编码和融合多传感器数据的多模态Transformer。这可以通过基于Transformer的多模态嵌入、跨模态预训练和多模态注意力等方法实现，以自适应地融合多传感器信息。

图7 多层小波模型的结构融合了小波和CNN的优点，使其具有坚实的抗噪能力

PHM的自监督学习

学术界和工业界难以充分利用这些庞大的运行数据来构建PHM模型。主要挑战是缺乏标记数据、存在噪声和数据量庞大。因此，现有的深度模型难以从这些数据中有效提取有用信息。自监督学习（SSL）能够自动从未标记数据中学习有价值的特征表示，已成为构建PHM基础模型的核心算法。然而，它需要设计有效的预文本任务来学习有用的特征表示。当前的预文本任务可能无法充分捕获与故障和健康相关的信息，特别是在复杂的工业系统中。此外，SSL模型可能对噪声敏感，这可能会影响在数据质量差的情况下学习到的特征表示，从而降低故障诊断和健康管理的性能。此外，现有的SSL算法难以处理包含多个传感器模态的实际工业数据。因此，开发能够有效处理此类工业数据的有效SSL算法是一个关键的研究领域。

在构建SSL预文本任务时，必须全面考虑信号的频域信息。有几种潜在的解决方案。开发深度频域学习模型，例如基于小波的CNN，可以直接学习频率特征并捕获数据中的频率信息。构建依赖于信号频域数据的预文本任务，例如重建频域信息。创建基于信号时频一致性的对比学习算法，以有效地在时间序列数据上进行自监督训练。此外，对于多传感器信号，可以使用多传感器数据的相关性来构建预文本任务。不同的SSL算法可以表示数据的不同特征信息。结合多种SSL算法可以帮助模型学习更多样化的特征表示，提高下游任务的性能。因此，使用各种算法全面预训练模型是一个很好的解决方案。

PHM的多模态融合

工业领域内的数据可能包括多种传感器数据类型（例如信号、图像、视频等）和大量的文本信息（例如维护工作订单、维护报告等）。因此，与NLP和CV相比，PHM领域强调多传感器数据的信息融合，以全面了解设备健康状况。大多数现有的数据集只包含一到三个传感器的数据，这远远不能满足实际工业应用的需求。此外，随着传感器数量的增加，不同传感器生成的数据可能具有不同的分布、尺度和信噪比。适当的预处理方法和融合策略对PHM模型的性能至关重要。此外，在工业领域，MMF算法必须考虑各种工业传感器信息（如信号、图像、文本等）的融合。然而，现有的研究缺乏足够的解决方案和优化策略来应对这一挑战。有效的多传感器数据融合在PHM中需要在数据融合、特征融合和模型融合方面进行全面努力。以下解决方案可以增强模型的多传感器融合能力：(1) 对于数据级融合，可以使用标准化、对齐、转换和降维等方法来整合不同模态的数据。对齐方法试图将不同模态的数据对齐到一个共同的坐标系统中。转换和降维尝试去除冗余信息并将其映射到共享的特征空间中。(2) 为特定任务和数据特性构建适当的注意力机制，以实现有效的多传感器相关性建模，并从传感器中融合有价值的特征。这种机制使模型能够捕获传感器之间的相关性并突出相关特征。(3) 优化模型的结构和参数，以更好地适应不同传感器数据的特性。此外，对于不同的传感器数据，构建不同的模型，然后使用MMF算法在这些模型之间建立联系，实现多传感器信息融合。(4) 探索基于知识图谱和图注意力模型的算法。知识图谱使用图结构编码实体之间的关系和属性，以结合不同级别的信息。图注意力模型进一步编码图结构以提取高级融合特征。上述解决方案都是一般性的解决方案，需要充分结合Transformer模型和SSL，针对特定数据和应用实现MMF的最佳性能。

挑战和未来路线图

在上一节中，讨论了构建适用于PHM任务的LSF-Models的技术细节和可行解决方案。本节将从更广泛、更全局的视角讨论LSF-Models在PHM中所面临的挑战、未来的发展路线图和前景，以便能更好地理解大局，识别PHM中的改进领域和未来研究方向。

LSF-Models在PHM中的挑战

图8展示了LSF-Models在PHM中所面临的挑战，主要包括数据集、安全性、可信度、迁移性、高级认知、可解释性和边缘设备部署等七个方面。

图8 LSF模型在PHM中面临的挑战

• 数据集：企业通常不愿意公开可能泄露给竞争对手的商业敏感信息，如关键设备的运行数据，导致大规模公开数据集的缺乏。此外，收集的数据常常包含噪声、缺失值、失真和异常干扰，且需要处理多种模态的数据。
• 安全性：LSF-Models可能遭受对抗性攻击，这些攻击通过精心设计的噪声干扰模型输出，引发安全风险。此外，模型训练过程中可能引入的无意偏差或错误也可能导致安全隐患。
• 可信度：提高LSF-Models的可信度是一个挑战，模型需要在各种干扰下保持预测的准确性和稳定性，尤其是在PHM领域中，复杂的工作环境和多样的背景噪声使得数据分布差异显著。
• 迁移性：LSF-Models需要具备良好的迁移性，能够适应不同的任务和数据集。然而，PHM中不同任务的性质和实施方式的差异，以及机械设备的不同特性，使得实现这一目标具有挑战性。
• 高级认知：尽管LSF-Models已展示出一定的高级认知能力，但这些模型如何获得这些能力，以及如何提升这些能力以处理PHM数据的显著随机性，仍是一个未解决的问题。
• 可解释性：随着模型复杂性的增加，LSF-Models的决策过程和内部机制变得越来越难以解释和理解，这降低了透明度，对于需要高度信任的PHM应用领域构成了挑战。
• 边缘设备部署：由于LSF-Models需要大量的计算资源，这限制了它们在边缘设备上的部署，而这些设备通常用于需要实时处理和高安全要求的PHM应用。

LSF-Models在PHM中的未来路线图

图9展示了LSF-Models在PHM中的未来路线图。根据LSF-Models面临的挑战，本节探讨了如何解决这些挑战，并详细阐述了未来的路线图。

图9 PHM中LSF模型的路线图

• 大规模数据集的路线图：为构建PHM领域的大规模数据集，需要通过建立国际和国内标准、创建工业数据联盟、促进校企联合研究中心的建设，以及探索具有数据隐私保护的算法等措施，来解决企业对数据隐私和安全的担忧。
• 安全性的路线图：提高LSF-Models的安全性涉及确保数据安全、模型安全和系统安全。这包括建立可靠的数据源、采用对抗性训练和正则化方法、实施模型加密，以及建立监测系统来检测和记录异常操作。
• 可信度的路线图：提升LSF-Models的可信度需从提高数据质量、增强模型鲁棒性、建立适当的评估框架，以及保证模型可追溯性等方面进行。
• 迁移性的路线图：增强LSF-Models的迁移性和适应性，需要探索灵活的模型架构设计、通用的特征表示方法，以及适合PHM应用的训练算法。
• 高级认知的路线图：为实现高级认知能力，需要探索数据需求、模型要求，以及理论要求，以便LSF-Models能够更好地理解和适应不同的工业场景和任务。
• 可解释性的路线图：提高LSF-Models的可解释性和透明度，可以通过探索深度可解释模型、分析模型可解释性的方法，以及促进深度模型的理论研究来实现。
• 边缘设备部署的路线图：为在边缘设备上部署LSF-Models，需要探索轻量级深度模型、模型压缩和剪枝技术，以及优化网络拓扑，以降低模型的计算需求并适应资源受限的环境。

LSF-Models与深度学习范式

LSF-Models在深度学习领域引起了重大变革，并对迁移学习、少样本学习、强化学习以及噪声标签学习等DL范式产生了深远的影响。这些模型由于其出色的泛化和少样本学习能力，为上述研究领域提供了强大的基础表示模型，显著提升了这些方法的性能。此外，为不同DL范式开发的优化和训练算法也可以应用于LSF-Models，以增强它们在特定应用场景下的表现。LSF-Models为这些范式提供了坚实的基础和工具，使得任务执行更加有效和实用，同时也从这些范式和算法中获得启发，以实现更好的性能。

PHM领域与NLP/CV领域的LSF-Models的差异和相似性

PHM、NLP和CV领域的差异引入了一些值得学者关注的新挑战。图10展示了它们的差异和相似性。

图10 LSF模型在PHM和NLP/CV领域的异同。

在NLP领域，各种任务和问题共享共同的逻辑，使得训练有素的模型可以应用于不同但相似的任务。NLP中的数据获取相对容易；数据量庞大，数据结构规则，使得构建大规模数据集相对简单。大多数NLP应用涉及生成任务，如基于文本的对话和文本翻译，简化了模型架构设计，无需考虑额外的要求。PHM是一个相对个性化的问题。PHM领域的数据通常来自工业设备传感器、日志文件、历史维护记录等，具有时间序列数据的特点和工程背景。这些数据相对混乱，难以获取，需要广泛的数据清洗。此外，PHM任务有多样化的需求，如故障诊断、健康预测、异常检测、维护规划等，涉及分类任务、回归预测任务和运营优化任务。在PHM领域，有各种工业应用场景和研究对象，如高速列车、风力涡轮和飞机，每个都有不同的属性和不同的健康退化模式，这对泛化大规模模型提出了重大挑战。此外，PHM应用在工业场景中需要处理大量的时间序列数据，但为大规模模型建模长距离依赖性仍然是一个主要挑战。这主要是因为大规模模型的主干网络Transformer是针对文本分析开发的，并且对长期相关性特征编码能力不足。

CV领域与NLP和PHM领域有一些相似之处，如简单的数据获取但复杂的任务场景，需要执行分类、分割和目标检测等任务。从大规模模型的研究和开发的角度来看，PHM、NLP和CV领域表现出相似性。大规模模型是一种以数据为中心的研究方法，当暴露于足够的数据和信息时，它们会发生质的变化，实现出色的性能。因此，在模型和算法设计以及优化方面，跨领域的启发和知识转移是可能的。此外，在PHM领域，核心挑战是使模型真正理解工业数据并学习其背后的模式。在这方面，NLP和CV领域的经验和成功无疑为PHM领域提供了宝贵的见解。

主要挑战来自于PHM领域任务需求的多样性和应用对象的多样性。关于任务需求的多样性，目标是建立基础模型，并使用下游任务特定的信息对它们进行微调。模型部署后，领域特定知识和需求的频繁变化为模型更新和维护带来了新的挑战。为解决这个问题，可以将知识图谱与大规模模型结合起来，知识图谱可以动态更新，为模型提供最新信息。此外，探索可行的持续学习或在线学习算法可以动态更新模型的知识。关于应用对象的多样性，最佳解决方案是为不同的对象构建不同的大规模模型。

展望：通用PHM平台

多任务场景中的出色表现，并在一定程度上实现了一个模型适用于所有任务的理念。因此，受到这些成果的启发，实现通用PHM平台以实现一个模型适用于所有PHM任务成为可能。这一研究理念将彻底改变PHM的研究范式，而通用PHM平台的实现将显著推进PHM的全面智能化。

图11展示了以高速列车PHM应用为例的通用PHM平台示意图。通用PHM平台的核心是大规模跨模态基础模型。该模型接收来自高速列车的各种数据，如传感器数据（包括信号、图像和视频）、维护工作订单和记录，以及专家经验和知识，作为输入。然后，它对高速列车的各个子系统和核心组件的健康状况进行全面评估和监测。具体来说，跨模态基础模型通过使用多模态融合（MMF）算法和自监督特征表示算法构建，使其能够理解并学习多模态列车数据的通用和高质量数据特征。随后，零样本/少样本学习范式被用来将跨模态基础模型扩展到各种列车PHM子任务，从而实现平台效应。跨模态基础模型的最终目标是为PHM任务提供强大且可泛化的数据挖掘和理解工具，如健康监测、故障预测、异常检测、RUL估计、维护规划以及健康管理，通过学习大量的列车运行数据。即使对于训练期间未出现的新对象和数据，跨模态基础模型仍然可以提供相当的特征挖掘能力。此外，这个PHM平台旨在为维护工程师提供智能决策建议，使他们能够合理和可靠地操作和管理设备。为此，将大型语言模型进一步引入PHM平台。基础模型获得的健康状态信息被输入到语言模型中，然后生成最终的决策建议。此外，语言模型还作为PHM平台和维护工程师之间的交互介质，促进了方便高效的信息交流。因此，所提出的通用PHM平台预计将成为PHM领域的核心技术工具，在提高工业设备健康管理效率和降低维护成本方面发挥关键作用。

图11 通用PHM平台示意图，以高速列车PHM应用为例。

结论

目前，深度学习研究正在经历一场新的革命；即从单一模态、单一任务和有限数据的研究范式（AI-1.0）迅速发展到多模态、多任务、海量数据和超大型模型的研究范式（AI-2.0）。AI-2.0专注于开发具有跨领域知识的LSF-Models，这些模型在海量数据集上训练后可以展现出强大的泛化和多任务能力。为此，本文全面概述了LSF-Models的三大技术要点，并分析了LSF-Models在NLP和CV领域的研究现状。文献综述显示，PHM领域对LSF-Models的研究严重不足，并且没有可行的解决方案来构建适用于PHM应用的LSF-Models。因此，本文从数据集、深度模型、学习算法和数据融合等四个方面全面回答了如何构建适用于PHM领域的LSF-Models。最后，本文试图从更广泛、更全局的视角讨论LSF-Models的挑战和未来路线图。LSF-Models的发展涉及许多技术，并且由于篇幅限制，一些技术未被包括在内。例如，本文没有涵盖LSF-Models的训练方法、大型模型的微调方法、提示学习技术、强化学习等。本文致力于从多任务和多模态的角度概述PHM中的LSF-Models。然而，这些技术偏向于模型的训练优化方面，因此本文没有涵盖它们。另一方面，这些技术对于构建LSF-Models也至关重要。未来将进一步分析和探索LSF-Models的训练和优化技术。