Multi-output multi-physics-informed neural network for learning dimension-reduced probability density evolution equation with unknown spatio-temporal-dependent coefficients
基于多输出多物理信息神经网络求解具有未知时空相关函数的降维概率密度演化方程![]()
降维概率密度演化方程 (DR-PDEE) 是分析高维非线性随机系统动力响应的有效工具，其求解策略的创新对于实际应用至关重要。随着物理信息神经网络 (PINN) 在偏微分方程求解领域的不断进步，为 DR-PDEE 的求解开辟了新途径。然而，PINN 在应用于 DR-PDEE 时，面临着如何有效处理未知本征函数及其时空导数依赖性的关键难题。鉴于此，本研究提出了一种多输出多物理信息神经网络 (MO-MPINN) 框架。该网络通过设计多个输出变量，分别对应 DR-PDEE 的特定变量，有效地解决了本征函数的识别及空间导数计算问题。同时，MO-MPINN 采用了并行子网络架构，既简化了模型复杂性，又实现了对多个未知变量的灵活处理。通过融合多种物理规律信息，MO-MPINN 成功求解了高维非线性随机系统中的 DR-PDEE，并同步预测了本征函数与响应概率密度函数的动态演化历程。数值算例结果验证了所提方法的可行性和有效性。
研究背景
降维概率密度演化方程 (Dimension-Reduced Probability Density Evolution Equation, 简称 DR-PDEE) 是高维非线性随机动力系统响应分析的一种高效且有力的工具 (Lyu & Chen 2022, Chen & Lyu 2022)。然而，DR-PDEE 中包含待确定的时空相关本征函数，这些函数的精确评估对于方程的求解及其结果的准确性至关重要。传统方法通常依赖于代表性动力分析数据，并借助数值方法来估计这些本征函数 (Lyu & Chen 2021, Chen & Lyu 2024)。然而，既往研究表明，单纯依赖数据驱动的方法在识别这些本征函数时存在准确性方面的局限 (Sun & Chen 2022)。近年来，物理信息的神经网络 (Physics-Informed Neural Network, 简称 PINN) 的兴起为 DR-PDEE 的求解提供了新的思路和方法 (Raissi et al. 2019, Karniadakis et al. 2021)。针对 DR-PDEE 中具有未知时空相关本征函数及其导数的独特性质，本研究提出了一种创新性的多输出多物理信息神经网络 (Multi-Output Multi-Physics-Informed Neural Network, 简称 MO-MPINN) 。MO-MPINN 能够灵活应对多个未知变量的情况，并有效求解高维非线性随机系统的 DR-PDEE，实现了本征函数和响应概率密度函数演化过程的同步预测。与现有的数值方法相比，MO-MPINN 采用数据-物理融合驱动的方法，提供了更为平滑的本征函数估计。
在随机动力系统中，针对某个关注的响应过程，其瞬时概率密度函数满足降维概率密度演化方程 (Lyu & Chen 2022):
其中，未知的时空相关本征漂移函数和扩散函数满足如下物理规律：![]()
针对一般系统，本征函数的获取往往无法直接通过解析方法实现，而需借助特定的数值方法来构造。因此，DR-PDEE 可以视作是一个包含未知时空相关本征函数及其导数的偏微分方程。针对这一独特性质，本研究提出了一种多输出多物理信息神经网络 (MO-MPINN)。该网络充分考虑到不同物理量在特征和尺度上存在的显著差异，采用了并行子网络的架构设计，每个子网络分别专注于 DR-PDEE 中的特定变量，包括未知的时空相关本征函数和响应概率密度函数。这种并行处理的设计使得网络能够更为灵活地处理复杂的多变量问题。同时，MO-MPINN 借助神经网络的自动微分技术，能够精确、高效地计算出与本征函数相关的导数。更为重要的是，MO-MPINN 的损失函数融合了多个物理规律，不仅包括了本征函数所应满足的条件期望物理规律，还涵盖了 DR-PDEE 本身。这一设计使得 MO-MPINN 能够在数据驱动的基础上，能够进一步结合物理规律，从而实现对本征函数和响应概率密度函数的同步预测。![]()
算例 1: 高斯白噪声下的八维 Ornstein-Uhlenbeck 过程
![]()
MO-MPINN 响应概率密度函数演化过程预测与 1e6 蒙特卡洛模拟的对比
![]()
本征漂移函数预测
算例 2: 十层线性剪切结构
典型时刻结构顶层位移瞬时概率密度函数（MO-MPINN-2D：无本征扩散函数的 DR-PDEE 求解）
算例 3: 十层非线性剪切结构（含两个未知的时空相关本征漂移函数）
本征漂移函数演化预测
![]()
MO-MPINN 与 1e6 次蒙特卡洛模拟及路径积分法的对比
本研究提出了一种多输出多物理信息神经网络 (MO-MPINN) ，该网络借助多个并行子网络结构，分别输出 DR-PDEE 中的特定变量，从而确保模型能够表征潜在的物理机制，实现时空相关本征函数与响应概率密度函数演化过程的同步预测，尤其适用于高维非线性随机系统。通过算例分析，可以得出以下结论：（1）MO-MPINN 能够有效求解二维和三维的 DR-PDEE，为方程的求解提供了一种全新的求解策略。此外，在处理无本征扩散函数的 DR-PDEE 时，MO-MPINN 同样展现了一定潜力，进一步拓宽了其应用范围。（2）与现有的数值方法相比，MO-MPINN 无需单独识别本征函数，简化了求解流程。同时，作为一种融合数据与物理信息的方法，MO-MPINN 能够提供更为平滑的本征漂移函数估计。（3）作为一种无网格方法，MO-MPINN 能够快速预测计算域内任意点的本征函数和概率密度函数。其并行的子网络架构能够灵活处理多个未知时空相关的本征函数，进一步提升了模型的适应性和鲁棒性。尽管 MO-MPINN 在 DR-PDEE 求解中展现了一定优势，但其网络结构和参数优化仍有提升空间。因此，未来的研究将致力于探索更为先进的神经网络架构、采用更加高效的优化算法，并引入更多的物理约束条件等，以期进一步提高模型的预测精度和计算效率。 由于作者水平有限，本文难免存在不足之处，恳请各位专家、学者批评指正。在此，我们特别感谢诸位审稿人的辛勤付出与细致审阅，您们的宝贵意见为论文的进一步完善提供了不可或缺的指导。同时，衷心感谢同济大学律梦泽博士在 DR-PDEE 理论学习方面给予的悉心指导与无私帮助。
澳门科学技术发展基金 (101/2021/A2, 0010/2021/AGJ, 001/2024/SKL); 澳门大学研究基金 (MYRG2020-00073-IOTSC; MYRG2022-00096-IOTSC); 粤港澳联合实验室项目 (2020B1212030009)
Hao T T, Yan W J, Chen J B, et al. Multi-output multi-physics-informed neural network for learning dimension-reduced probability density evolution equation with unknown spatio-temporal-dependent coefficients [J]. Mechanical Systems & Signal Processing, 2024, 220: 111683.DOI:
10.1016/j.ymssp.2024.111683
![]()
郝腾腾 Teng-Teng Hao
澳门大学智慧城市物联网国家重点实验室和科技学院土木及环境工程系颜王吉 Wang-Ji Yan, 通讯作者
澳门大学智慧城市物联网国家重点实验室和科技学院土木及环境工程系
陈建兵 Jian-Bing Chen
同济大学土木工程学院孙婷婷 Ting-Ting Sun
同济大学土木工程学院阮家荣 Ka-Veng Yuen
澳门大学智慧城市物联网国家重点实验室和科技学院土木及环境工程系![]()
部分参考文献：
[1] Lyu M Z, Chen J B. A unified formalism of the GE-GDEE for generic continuous responses and first-passage reliability analysis of multi-dimensional nonlinear systems subjected to non-white-noise excitations [J]. Structural Safety, 2022, 98: 102233.
[2] Chen J B, Lyu M Z. Globally-evolving-based generalized density evolution equation for nonlinear systems involving randomness from both system parameters and excitations [J]. Proceedings of the Royal Society A, 2022, 478 (2264): 20220356.[3] Lyu M Z, Chen J B. First-passage reliability of high-dimensional nonlinear systems under additive excitation by the ensemble-evolving-based generalized density evolution equation [J]. Probabilistic Engineering Mechanics, 2021, 63: 103119.[4] Lyu M Z, Chen J B, Shen J X. Refined probabilistic response and seismic reliability evaluation of high-rise reinforced concrete structures via physically driven dimension-reduced probability density evolution equation [J]. Acta Mechanica, 2023: 1-27.[5] Sun T, Chen J. Physically driven exact dimension reduction of a class of nonlinear multidimensional systems subjected to additive white noise [J]. ASCE-ASME Journal of Risk & Uncertainty in Engineering Systems, Part A: Civil Engineering, 2022, 8 (2): 04022012.[6] Raissi M, Perdikaris P, Karniadakis G E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations [J]. Journal of Computational physics, 2019, 378: 686-707.[7] Karniadakis G E, Kevrekidis I G, Lu L, et al. Physics-informed machine learning [J]. Nature Reviews Physics, 2021, 3 (6): 422-440.
