论文解读｜【Nature Communications】复杂网络韧性的深度学习预测方法

真实世界中各类领域的复杂系统，如生态系统、基因调控系统和神经网络，通常被描述为由相互连接的节点及其加权连接组成的复杂网络。这些系统的一个基本特征是其韧性，即在面对干扰时维持功能的能力。从动力学系统的角度来看，复杂网络的节点状态演化由其底层的非线性动力学机制驱动。当每个节点的功能特性由其状态值表示时，一个韧性的复杂网络能够从对其节点状态的干扰之后恢复，并自发演化到所有节点都以高活动水平运行的稳定阶段，而非韧性的复杂网络在其节点状态受到较大强度打击之后无法恢复其原有的节点状态活动水平，从而导致系统崩溃。

复杂网络系统节点状态的动态演化过程可以利用非线性的耦合常微分方程组来描述，其形式为：

其中，

，表示降维后的系统状态，表示系统的韧性参数，表示各节点的入度。GBB框架同时给出了基于系统动力学的韧性临界点，通过比较和的相对大小关系，可以预测系统韧性。然而， GBB 框架对高维复杂系统的简化过程假设系统拓扑具有低度相关性，即相连接的节点的度是独立的。同时，其使用平均场近似节点状态复杂的动态演化过程，而忽略了节点状态之间的多维、非线性和高度耦合的关系。现实中的复杂网络，其相连节点度之间往往存在显著的相关性（例如社交网络、引文网络）和复杂、非线性的系统动力学，这超出了 GBB 框架的能力范围。

如图1所示，GBB框架在节点度低相关性的条件下表现良好，对系统韧性的预测结果和通过对系统进行多次扰动仿真得到的真实韧性标签一致。然而，当系统拓扑结构呈现显著的度相关性时，GBB框架对韧性预测的准确性无法保证。

图1：GBB 框架在预测复杂网络系统韧性时的局限性。（a-c）描述了共生动力学（mutualistic dynamics）、基因调控动力学（gene regulatory dynamics）、神经元动力学（neuronal dynamics）网络，其中表示度相关系数（assortativity）。中性（neutral）度相关表示相连节点的度无显著相关性，负度相关性（Negative）表示高度连接的节点倾向于与低度连接的节点相连，正度相关性（Positive）表示高度节点更倾向于与其他高度节点连接。（d-f）展示示了 GBB 框架的韧性预测结果。（g-i）核密度估计图展示了系统稳定状态的分布，实际模拟表明，有些网络系统的韧性结果与 GBB 框架的预测想法。例如，图 (g) 中的 Network (II) 尽管被 GBB 框架认为非韧性，但该系统实际上有且只有一个正常功能的稳态，实际是韧性的。

本文创新性地提出了数据驱动的复杂网络系统韧性预测方法ResInf，以解决以GBB框架为代表的理论分析方法在面对动力学方程难以准确测量及拓扑结构复杂多样的真实世界网络系统时难以适用的挑战。ResInf提出了复杂系统动力学的深度学习基础模型，以系统邻接矩阵形式的拓扑结构和初始若干步节点状态演化轨迹作为输入，使用Transformer编码器从观测到的节点演化轨迹中捕捉节点状态的相关性，挖掘复杂网络系统隐含的动力学机制，进而使用图神经网络模型建模复杂网络系统的拓扑结构，递归聚合各节点的邻接信息，生成节点级表征；进一步地，各节点表征通过注意力池化操作整合为系统表征，从而预测该系统的韧性，如图2所示。

图2：数据驱动的复杂网络系统韧性预测模型ResInf

模型具体设计如下：

（1）动力学编码器：其首先利用多层全连接层将输入的节点状态演化轨迹映射至其隐空间表征，在隐空间中利用多层Transformer编码器对各节点状态的演化过程进行时序建模，提取所建模的各节点最终时刻隐向量作为它们的系统动力学表征。

图3：动力学编码器

（2）拓扑结构编码器：其将（1）中输出的各节点动力学表征作为节点的初始特征，并基于图神经网络（Graph Neural Network，GNN）递归聚合各节点的邻接信息，建模复杂网络系统的拓扑结构。由于韧性为系统级属性，在进行消息传播之后，通过全局池化，将所有节点表征聚合至一个代表整个系统的虚拟节点，以该虚拟节点的表征作为系统级表征。

图4：拓扑结构编码器

值得注意的是，通常情况下，节点状态的演化包含来自不同初始条件的条轨迹，在上述两个模块中，不同轨迹被并行化编码，因此每个系统均得到个对应不同演化初值的系统级表征。

（3）k-空间投影器：其首先通过基于注意力机制的轨迹聚合模块，将个系统表征进行加权聚合，得到该系统的最终表征。进而利用多层全连接层将系统表征映射到一维空间，通过与全连接层的决策平面进行对比，实现对系统韧性的预测。

图5：k空间投影器

本文首先探究ResInf在具有互利共生动力学、基因调控动力学、神经元动力学的合成复杂网络上的韧性预测性能，如图6所示。结果表明，所提出方法在在上述复杂网络的韧性预测任务中表现出色，显著优于理论分析方法和其他基线方法。例如，ResInf在互利共生动力学的合成系统上的平均预测F1-score可达0.977，相对GBB框架和谱降维（SDR）框架[2]的F1-score提升分别为41.59%和14.32%。

图6：合成复杂网络系统上的韧性推断性能. (a) 互利共生系统. (b) 基因调控系统. (c) 神经元系统.

本文进一步探究了所提出模型ResInf的在不同系统动力学参数以及不同系统动力学形式下的泛化能力，如图7所示。由于现有的理论分析方法通常针对特定参数和动力学形式进行研究，因此难以实现这种泛化能力。

在真实世界中，具有相似功能的网络系统通常具有相同形式的系统动力学机制，而它们的动力学参数通常不同。例如，物种的自我繁衍和不同物种之间的互利共生效应对物种丰度的影响机制在大多数生态系统中可以使用相同的共生动力学形式描述。然而，共生动力学中的参数，例如物种的最大环境容纳量在不同的生态系统之间差异很大。本文设计了一系列实验，验证 ResInf 在不同参数的动力学方程之间的泛化表现。结果表明，ResInf 能有效捕捉系统动力学机制的核心特征，在含有训练集中未出现动力学参数的测试系统中表现优异。例如，使用共生动力学、基因调控动力学和神经元动力学进行测试时，ResInf 分别取得了 0.921、0.892 和 0.924的F1分数，显示出其较强的学习与泛化能力。

研究进一步发现，ResInf 能在覆盖多种韧性丧失模式（相移和多稳态出现）的数据上进行训练，并捕捉这些潜在的共性模式，将这些通用知识应用于以前未见的复杂系统。本文引入了 SIS（易感染-感染-易感染）动力学（SIS dynamics，对应相移的韧性丧失模式）和抑制动力学（inhibitory dynamics，对应多稳态出现的韧性丧失模式）用于生成训练数据进行ResInf模型训练，然后将ResInf应用于训练集中未见过的动力学系统，例如前述的共生动力学网络和神经元动力学网络。结果表明，尽管不同动力学方程的特性差异显著，ResInf 可以捕捉不同动力学系统中韧性丧失的共性模式，并以高精度进行预测。

图7：ResInf在不同动力学参数（a-c）和不同动力学形式（d-f）之间的泛化表现

值得强调的是，ResInf首次在动力学方程未知、理论分析方法不适用的真实生态系统的韧性预测任务中取得了优异性能，这一突破展示了所提出方法的范式创新和重大应用价值，如图8所示。研究团队进一步发现，通过在覆盖多种韧性丧失模式的合成系统数据上预训练模型，也可有效迁移到动力学方程未知的真实复杂系统，取得与在真实数据上训练相当的预测性能。这进一步证明了即使在缺乏精确动力学方程描述的系统中，数据驱动的深度学习模型仍然可以准确建模系统演变的动态规律，实现系统韧性的端到端预测，显著降低了对真实数据采集和标注的依赖，极大拓展了应用场景。

图8：真实微生物系统的韧性预测性能. (a) 韧性/非韧性微生物系统物种相对丰度随时间变化样例. (b) 直接在真实微生物系统数据训练的各模型的韧性推断性能. (c) 在合成系统数据训练的各模型的韧性推断性能.

真实世界网络系统的经验测量结果经常受到噪声的影响。因此，我们评估了模型在存在各种类型的观测噪声（包括带噪的节点状态轨迹、缺失连接和冗余连接）的情况下性能的稳健性，如图9所示。在面对数据中的观测噪声时，ResInf仍能保持稳健的预测性能，例如，在互利共生动力学系统上，当观测节点状态轨迹的信噪比达到1时，其平均预测F1-score仍能达到0.85；当连接的缺失率和冗余率分别为30%时，其平均F1-score分别为0.933和0.945。

图9：韧性预测性能对噪声的鲁棒性

此外，ResInf 提供了一种可视化工具，其将高维复杂系统映射到一维的 k 空间进行表示。在这个空间中，系统与韧性临界点的距离直观地展示了其韧性，为研究人员提供了实用且易于理解的解释方式。与 GBB 和 SDR 相比，k 空间投影在区分韧性和非韧性系统时表现更佳，让科学家更清晰地看到复杂系统行为的全貌，如图10所示。

图10. 在一维决策空间中可视化复杂网络系统

ResInf 作为一种数据驱动的方法，克服了以往前沿分析方法中对网络拓扑和动力学的假设，例如对低度相关性拓扑结构的要求、线性系统动力学的限制，以及对系统动力学显式方程的已知需求。这一设计显著扩展了 ResInf 在更广泛的复杂网络系统中的应用场景，包括社交网络中的复杂传染、电网中的能量传输，以及食物网中的捕食行为，这些系统通常具有难以预见或明确定义的动力学过程。该成果展现了数据驱动的深度学习方法在复杂网络与系统研究方向中的潜力，为以人工智能方法创新该方向的研究提供了一个极具前景的途径，助力提升真实世界复杂网络系统的韧性和应急响应能力。

相关成果以“复杂网络系统韧性的深度学习预测方法”（“Deep Learning Resilience Inference for Complex Networked Systems”）为题在《自然·通讯》（Nature Communications）上发表。该成果展现了数据驱动的深度学习方法在复杂网络与系统研究方向中的潜力，为以人工智能方法创新该方向的研究提供了一个极具前景的途径，助力提升真实世界复杂网络系统的韧性和应急响应能力。

清华大学电子系城市科学与计算研究中心博士生刘畅、助理教授徐丰力为论文共同第一作者，共同作者包括清华大学北京信息科学与技术国家研究中心助理研究员高宸、清华大学电子系教授王昭诚、清华大学电子系教授李勇和美国伦斯勒理工学院教授高建喜。该研究成果得到了国家重点研发计划（2022ZD0116402），国家自然科学基金（23IAA02114, U22B2057），清华大学-丰田研究中心等项目支持。