Information Fusion | 使用信息融合识别人脑的层次情绪区域

以往的研究中对于大脑区域之间的关系采用的方法通常只模拟两个大脑区域之间的成对关系，而忽略了多个大脑区域之间的相互作用和信息融合——这是心理建构主义假说的关键思想之一。为了研究情绪背后的大脑机制（即情绪编码），作者首先测量和收集受试者在经历视听多源情绪刺激时的大脑信号，利用收集到的fMRI信号构建一个大脑网络，并从这个大脑网络中提取一棵大脑树。然后，将整个大脑树分解为不同级别的主干（即分层主干），每个主干促进大脑区域之间的信息融合。在分解之后将脑树中的这些分层主干恢复到人脑中的分层情绪区域，完成给定数据集上分层情绪区域的识别。最后，使用所提出的模型HemoN（建立在前述识别的分层情绪区域上），在其他具有挑战性的数据集上执行跨数据集情绪解码。结果表明，所识别的分层情绪区域，从较低到较高，主要促进情绪感知的基本过程、基本心理操作的构建以及这些操作的协调和整合。总的来说，作者的发现为基于心理建构主义假设的特定情绪背后的大脑机制提供了独特的见解。模型整体实现如下图所示：

图1 识别人脑层次情绪区域的流程图

关于情绪的脑基础和神经表征的研究主要集中在两种假说上：位置主义论和心理建构论。位置主义论表明，离散的情绪类别一致且具体地对应于不同的大脑区域，这意味着大脑区域和情绪类别之间存在一对一的映射。相反，心理建构主义论认为，离散的情绪类别是从更一般的大脑网络中构建的，即不同大脑区域之间的相互作用，而不是特定的大脑区域。虽然这两个假设的时代相同，但支持位置主义假设的证据相对较少。相比之下，大量研究表明情绪的神经表征是分布式的，从而得出结论，心理建构主义假说在揭示情绪的大脑基础方面具有更大的潜力。

（1）     通过使用收集到的fMRI信号构建一个大脑网络。

在这个网络中，节点被定义为感兴趣的大脑区域（regions of interest , ROIs），通常来自现有的大脑分割，如Power Atlas。边被定义为这些ROI之间的功能连接，通常被计算为两个ROI之间的fMRI时间序列的成对相关性。然而，传统的大脑网络可能会受到各种限制，如阈值问题、虚假和噪声连接、缩放效应和方法偏差。而解决这些问题的一个有效的方法就是生成树算法（spanning tree algorithm）。具体来说，对于目标大脑网络，首先根据权重对所有边进行降序排序。从使用权重最高的边开始，从剩余边中选择权重最高的边。如果新选择的边与先前选择的边形成循环，则丢弃；否则，将其添加到大脑树中。迭代上述过程，直到在脑树中存在N_G-1条边。最后，将脑树中的所有边权重设置为值1。这样，作者便将脑网络G=（V，E）转化为脑树T=（V，R），其中，表示T的顶点集，与G的顶点集相同，而R表示T的边集。

（2）     理论分析：脑树中的相互作用和信息融合

心理建构主义假说强调多个大脑区域之间的相互作用和信息融合。由于这些相互作用本质上可以被认为是一个大脑区域（即节点）对另一个大脑区域的信息影响，作者将随机游走（Random Walk）作为脑树中信息传播的一般规则，以此定量描述任意一对节点u和v之间的信息影响。节点影响定义如下。

定义1（节点影响）：在随机游走的k步之后，节点v对节点u的节点影响I（u，v）被定义为雅可比矩阵∂h（k）u/∂h（0）v的范数：

其中范数‖⋅‖是任意诱导范数。

节点影响量化了节点v的信息的变化如何影响节点u的信息，节点影响力越大，表示信息从一个节点传播到另一个节点的效果越显著。

以下定理给出了节点影响的解析表达式。

定理1：给定一棵树T，在随机游走的k=dist(u，v）步之后，节点影响节点v的I_T(u，v）对节点u的影响为：

其中节点u和v之间的唯一路径表示为（u，v₁，v₂，…，v_k-1，v）；avivj是节点v_i和v_j之间的边权重，N（u）是u的1跳邻居的集合。由于脑树中所有边的权重均为1，上述公式可进一步简化为：

式中，d_u为节点u的度数。上式表明节点影响随着节点之间的距离k和节点度数的增加而减小，这一点符合直觉。更准确地说，节点影响I_T（u，v）随着节点u和v之间距离的增加呈指数下降，随着连接u和v的路径上节点度数的增加呈多项式下降。作者的目标是最大化大脑树中的节点影响I_T（u，v），这一点可以通过解决以下优化问题来实现：

显而易见，最优解是^d_u=1，^d_vi=2，其对应于节点u和v之间的路径。由于树中任何一对节点之间都一定存在至少一条路径，此时u和v之间的路径即是最短路径。上述分析表明，信息应该沿着最短路径传播。该如何量化路径携带的信息总量呢？如下定义路径信息。

定义2（路径信息）：设P表示长度为m的路径，其顶点序列为（v₀，v₁，...，v_m）。路径P的路径信息I(P)定义为路径上每对节点之间的节点影响的总和：

路径信息量化了路径P上节点之间的信息融合程度。作者的目标是最大化路径信息，从而尽可能增强大脑区域之间的信息融合。下面的定理给出了具有最大路径信息的路径。

定义3：给定树T，最长最短路径（the longest shortest path）^P具有最大路径信息：

其中𝔡为树T的直径。

定义3表明，在脑树中所有可能的路径中，最长最短路径（在给定的加权图中找到从源点到所有其他顶点的最短路径中最长的一条）具有最大的信息量。因此，沿着大脑树上的最长最短路径传播信息可以最大化大脑区域之间的相互作用和信息融合。

（3）     识别层次情绪区域

作者将整个大脑树分解成分层的主干，并利用它们来识别分层的情绪区域。具体来说，作者将最长的最短路径指定为第1级主干t1。剩下的第𝓁th（l≥2）级的主干t _𝓁被认为是整个脑树的一个分支，在第𝓁th级通常有多个分支。作者将第l级的主干集表示为T _𝓁,与该主干上所有节点相对应的脑区构成了主要情绪区，表示为A₁。将主干移除，剩余的部分便组成了一个森林。这个森林包含至少一个（通常是多个）连接的组件，每个组件都是一棵（子）树。为了识别第𝓁（𝓁≥2）级的树干，作者在移除所有先前（𝓁−1）级的树干后，在森林的每个连接组件中搜索最长的最短路径。类似地，与这些第l级干上的所有节点相对应的大脑区域构成了第𝓁级情绪区域，表示为𝓁。此过程迭代运行，并在删除树中的所有节点后结束。这一过程用伪代码和图例表示如下：

图2 大脑树识别图例

（4）     HemoN的构建

基于上述分析，作者提出了分层情绪网络（Hierarchical Emotion Network，HEmoN），由于最长最短路径（即主干）上的节点形成一个长序列，作者使用长短期记忆（LSTM）来有效地捕捉长期依赖性并识别复杂模式，从而促进情绪解码的表征学习过程。在（3）中获得每个级别的中继之后，通过LSTM来学习沿着其相应中继路径的每个中继的表示，最后组合所有的主干表示来创建脑树的表示，公式为

其中T_𝓁是第𝓁级的主干集，t_𝓁是T_𝓁中的单个主干，x^（t𝓁）_vi表示主干t_𝓁上节点v_i的特征向量，W(^𝓁)表示第𝓁级的可学习加权矩阵，h^（𝓁）_T表示第𝓁级的主干表示。由于T_𝓁中所有主干上的节点构成第𝓁级情绪区域，h^（𝓁）_T也作为第𝓁级情绪区域的表示。

作者在两个大规模数据集上进行实验，这两个数据集都包含视听多源自然主义刺激。整个实验评价包括两个阶段。在第一阶段，根据数据集1中所有情绪的整体体验来识别分层情绪区域。在第二阶段，使用提出的模型HEmoN，该模型建立在已识别的分层情绪区域上，对数据集2执行跨数据集情绪解码。实验代码可以在https://github.com/zhongyu1998/HEmoN上公开获得。

首先初始化等式中的可学习加权矩阵和使用Xavier初始值设定项的所有模型权重，然后用线性变换将情绪刺激预先映射到64个维度，并使用一批32个情绪刺激作为模型输入。作者的HEmoN模型由3个LSTM层和1个最后的全连接层组成。每个LSTM层包含64个隐藏单元，除最后一层之外，每个LSTM层的输出应用0.2的丢弃比。该模型使用Adam优化器进行训练，初始学习率为0.0005。

为了识别分层情绪区域，作者在数据集1上进行实验，并使用Power Atlas来定义ROI。功率图谱包括分布在13个功能系统和一个不确定系统中的264个假定功能区域（即ROI）。随后，构建大脑网络并提取大脑树，识别分层情绪区域。下图展示了所有基本情绪的整体体验的识别结果，以及最具代表性的积极和消极情绪（快乐和悲伤）的单一体验的识别结果, 节点根据图例着色，1级、2级和3级情绪区域内的内部联系分别用绿色、蓝色和红色突出显示:

图3 基本情绪的整体体验的识别结果

通过在数据集1上建立的HemoN，作者在数据集2上进行性能测试和评价，以回归任务中广泛使用的平均绝对误差（MAE）作为评估度量，MAE值越低表示误差越小。MAE值α计算如下：

其中y_i和^y_i分别表示第i个刺激的真实和预测情绪评级向量，N_s表示刺激的数量。

最后，将HEmoN与多个竞争基线进行了比较，包括全连接神经网络（FNN）、图卷积网络（GCN）、图同构网络（GIN）、BrainNetCNN、BrainGNN、脑网络转换器（BrainNetTF）和图增强情绪解码（GED）。比较结果如下图所示。

图4 不同算法的对比结果

其中，后缀“-EA1”和“-DFT”分别表示第一级情绪区域和深度优先遍历，这两次实验的是消融研究, 目的是用于评估模型中各个组成部分的重要性和贡献。可见，HemoN的MAE最低，取得了较好的性能。且HEmoNEA1和HEmoN-DFT的消融研究证明了分层情绪区域和所提出的信息融合规则的有效性。

在本研究中，作者通过多源信息融合和图机器学习方法来调查人脑中的分层情绪区域。此外，作者基于心理建构主义假说，对特定情绪背后的大脑机制提供了初步的见解。所提出的HemoN模型在情绪解码上始终优于BrainNetTF和GED等高级模型，在所有情况下都取得了出色的性能，优越表现凸显了整合来自多个脑区信息的重要性。