IEEE TNNLS | 基于脑电网络认知先验图的高效情绪识别图学习系统

论文概要

情感识别在心理健康监测和脑机接口等领域具有重要应用，EEG信号因其高时间分辨率而广泛用于情感识别。然而，EEG信号中存在噪声，且情感状态具有高度的个体差异和时变性，这给情感识别带来了挑战。为了解决这一问题，本文提出了一种基于图卷积网络的情感识别模型BF-GCN。该模型借鉴大脑的认知机制，通过图学习技术来提取情感EEG信号中的稳定特征。BF-GCN模型包含三个关键分支：认知启发的功能图分支、数据驱动图分支和融合公共图分支。其中，认知启发的功能图分支通过图卷积模拟大脑区域的功能连接，捕捉情感相关的脑区交互；数据驱动图分支利用训练数据自动学习图的邻接矩阵，挖掘潜在图模式；融合公共图分支则结合前两个分支的信息，提取稳定的情感特征。通过谱图滤波和图卷积操作，模型能够有效提取EEG信号的空间特征和动态变化。为提高模型的鲁棒性和准确性，本文引入了注意力机制，通过为不同谱图模式分配不同的注意力权重，聚焦于最相关的情感特征。实验结果表明，BF-GCN在情感EEG数据集上的表现优于传统方法，能够有效减小情感波动对识别结果的影响，提升情感识别的精度和稳定性。本文提出的BF-GCN模型为情感EEG信号的分析提供了一种新的图学习框架，具有广泛的应用潜力，尤其在情感计算、心理健康监测和脑机接口等领域。

研究背景

情感识别是情感计算领域中的一个重要应用，其目的是通过分析生物信号（如EEG、ECG等）来推测一个人的情感状态。EEG信号由于其高时间分辨率，已被广泛应用于情感识别。然而，EEG信号包含噪声，并且情感表达受到多种因素的影响，因此，如何从EEG信号中提取稳定且有效的情感特征是一个重要的研究问题。

本论文提出了一种基于图卷积网络的新型情感识别模型，称为BF-GCN（Brain Network-Inspired Graph Convolutional Network），旨在利用大脑网络的结构特征来提取情感相关信息。该模型结合了图学习、谱图滤波和注意力机制等技术，旨在克服情感变化对传统情感识别模型的影响，并提高情感识别的鲁棒性。

方法

如图1 所示，BF-GCN模型结合了图卷积网络（GCN）、谱图滤波和注意力机制等技术，以从复杂的EEG信号中提取稳定且有效的情感特征。接下来将介绍其各个组件。

图1 BF-GCN模型的框架

一、功能图分支工作原理

 “认知启发”是指利用对大脑认知机制的理解来设计人工智能系统，系统通过模仿大脑不同区域在处理情感信息时的互动方式来学习图结构。论文中的“功能图分支”基于大脑的认知功能，设计了一个图学习系统来分析情感EEG信号。以下内容将阐述其工作原理。

首先使用相位锁定值（Phase-locked value, PLV）算法从EEG信号中估计出脑功能网络。PLV算法用于衡量不同EEG通道之间的相位同步性。对于给定的N通道EEG信号，给定N通道脑电信号X (t)的Xx (t)和Xy(t)是两个不同的脑电信号通道序列，根据Gabor分析和Hilbert变换可以计算出Xx (t)和X y(t)的瞬时相位，通过相位同步可以估计出Xx (t)和X y(t)之间对应的函数连接为：

其中Pxy =[0,1]。对于给定的N通道脑电信号X (t)，相应的加权PLV脑网络矩阵大小为N ×N。PLV脑网络矩阵的每个元素表示不同脑区（不同EEG信号通道）之间的相位同步性。

建立好脑功能网络后，将脑网络矩阵作为认知启发的功能图，应用谱图理论进行图卷积。图卷积网络（Graph Convolution，GCN）用于处理图结构数据，捕捉到节点之间的依赖关系和图的全局结构。对于情感EEG信号分析，图卷积允许我们通过图结构（节点代表脑区，边代表功能连接）来提取大脑区域间的协同信息。大脑的多个区域在情感处理时需要协同工作，模型通过功能图来捕捉这一点，并帮助识别情感状态。以下公式描述了图卷积操作在认知启发的功能图分支中的实现方式：

设Ac为由步骤1构造的PLV脑网络的邻接矩阵，Lc是PLV脑网络的拉普拉斯矩阵（Laplacian Matrix），由邻接矩阵 Ac通过 Lc=Dc−Ac计算得出，其中 Dc是度矩阵，表示每个节点的度数。Uc是拉普拉斯矩阵 Lc的特征向量矩阵。Λc是特征值矩阵，对应于拉普拉斯矩阵的特征值。g(Λc)是图滤波器函数，应用于拉普拉斯矩阵的特征值。图卷积操作通过对拉普拉斯矩阵进行特征分解，计算每个节点（脑区）的加权特征，从而完成情感EEG信号的特征提取。

实际应用中，计算g(Λc)是非常复杂的。为了简化计算，论文中采用了Chebyshev多项式来近似图滤波器。

二、数据驱动图分支工作原理

数据驱动图分支的核心目标是探索从DE特征（Differential Entropy特征）中提取的潜在图模式，并通过优化算法来动态学习和更新图结构。

图邻接矩阵 Ad定义了不同节点（大脑区域）之间的连接关系。该矩阵是数据驱动的，即通过训练数据和损失函数动态学习的。通过反向传播算法，模型根据损失函数的梯度更新邻接矩阵。以下公式描述了图邻接矩阵的更新规则：

其中ρ是学习率，用来控制参数更新的步长。∂Loss/∂Ad损失函数对邻接矩阵 Ad的偏导数，表示损失函数对图结构的敏感度。通过反向传播算法，邻接矩阵 Ad会根据损失函数的梯度进行更新，直到收敛到最优解。

论文的额数据驱动图分支同样通过使用Chebyshev多项式简化图卷积计算，避免计算复杂的特征值。

三、融合公共图分支工作原理

为了进一步降低情绪可变性的影响，提高情绪识别的鲁棒性，论文提出了融合公共图分支。作者设计了一种共享参数的策略，使得两个谱图空间（Lc和 Ld ）中的共享模式能够被捕捉。以下公式表示两个图卷积操作，分别对应于上述两个分支的谱图空间：

Zfc 和 Zfd是两个图卷积的输出，分别对应于两个图结构（Lc和 Ld）的嵌入特征。Tk(Lc)和 Tk(Ld)是Chebyshev多项式，用于近似图滤波器，以高效提取图结构的特征。θk是多项式的系数，表示图滤波器的加权。ReLU是激活函数，增强模型的非线性表达能力。两个谱图空间的特征信息（来自不同图结构的图卷积结果）被提取出来，并在后续的步骤中进行融合。

为了得到最优的公共图空间，最终的输出是将两个图卷积的结果进行融合，得到共享的公共图嵌入。以下公式表示了最终输出：

 Zfc 和 Zfd是通过不同谱图空间得到的嵌入结果。将它们的平均值作为最终输出 Zf，代表了两个图空间共享的公共特征。

为了优化图卷积操作，作者在融合公共图分支中设计了一个损失函数。该损失函数用于衡量两个图空间嵌入的差异，以便找到最优的公共图嵌入空间。损失函数定义如下：

其中Sc和 Sd分别是从 Zfc和 Zfd中通过L2正则化得到的嵌入矩阵。

四、图分支注意力机制

通过前述的三个图学习分支（Zc、Zd和Zf），可以从情感EEG信号中提取三种不同的谱图模式。为了从三个图学习分支（认知启发功能图分支、数据驱动图分支和融合公共图分支）提取的谱图模式中有效地挖掘稳定的情感认知模式，BF-GCN系统应用了注意力机制。这种机制能够识别包含更多有效信息的谱图模式，并将有限的注意力资源高效地分配到这些模式上。注意力值表示如下：

ωc、ωd和ωf分别表示分配给Zc、Zd和Zf中n个节点的注意力值。最终融合三个不同谱图分支的嵌入表示为：

基于注意力模块获得的图特征Z，论文设计了一个平均池化模块，以进一步降低图特征的维度并提高模型的鲁棒性。使用2×2的平均池化核对图特征Z进行池化，然后将平均池化的图特征重塑为图特征向量，并输入到情感解码模块。

五、情感解码过程

此部分描述了BF-GCN系统如何利用图域对抗学习策略来减少源域（训练集）和目标域（测试集）之间的图特征分布差异，以消除个体间差异并实现更鲁棒的情感解码。

首先定义域概率p(·)来估计第i个样本属于源域和目标域的概率。对于源域，概率为： 

对于目标域，概率为：

其中，θD是域分类器的参数，ND是一个两层的全连接神经网络模块，0和1分别代表源域和目标域的标签。

接着，通过最小化以下目标函数来获得最优域分类器：

最后，BF-GCN图学习系统的整体目标函数定义为：

其中，γ是一致性约束参数，β是梯度反转层参数，以增强图表示的鲁棒性。

对于没有迁移学习的情感识别任务，即被试依赖的情感解码实验，BF-GCN系统使用一个简单的全连接层、dropout和softmax函数来解码个体的情感状态。对于包含迁移学习的任务，即被试无关的情感识别，BF-GCN系统采用图域对抗层以实现更好的迁移效果，并实现跨个体的情感识别。

实验结果

论文在两个公开的情感脑电数据集（SEED, SEED-IV）上进行了验证实验，以验证BF-GCN图学习系统在情感解码任务上的鲁棒性。如表1所示， BF-GCN在SEED数据集上进行被试依赖的情绪识别任务中取得了最先进的性能，融合五频脑电信号频带的三类情感识别解码准确率达到97.44%。

表1  SEED数据集上被试依赖实验的平均准确率（%）。所有值都表示平均精度和标准差（以“/”分隔）。

在SEED-IV数据集上进行四类情绪解码实验结果如表2所示。BF-GCN图学习系统在四类情感识别任务中取得了89.55%的准确率，明显高于现有方法。

表2  SEED-IV数据集上被试依赖实验的平均准确率（%）。所有值都表示平均精度和标准差（以“/”分隔）。

论文在被试无关实验中采用LOSOCV方案来划分训练集和测试集，即在每一折中，BF-GCN在14个受试者上进行训练，在其余受试者上进行测试。在SEED数据集上，第一阶段所有被试平均对应的实验结果如表3所示；在SEED-IV数据集上，三阶段所有被试平均对应的实验结果如表4所示。

表3  SEED数据集上被试无关实验的平均准确率（%）。所有值都表示平均精度和标准差（以“/”分隔）。

表4  SEED-IV数据集上被试无关实验的平均准确率（%）。所有值都表示平均精度和标准差（以“/”分隔）。

对比表3和表4的所有结果，论文所提出的BF-GCN图学习系统在两个数据集上，在大多数基于单频带和融合频带的情感识别条件下都取得了最先进的性能。与受试依赖的实验结果相比，表3和表4中的情绪解码准确率始终低于表1和表2，这主要由于情绪认知的个体特异性使得不依赖被试的情绪识别极具挑战性。

论文还分别针对被试依赖实验和被试依赖实验，刻画了混淆矩阵，以进一步可视化BF-GCN图学习系统解码的情感之间的混淆情况，相应的结果如图2所示。

图2  BF-GCN混淆矩阵。(a) SEED被试依赖结果。(b) SEED被试无关结果。(c) SEED-IV被试依赖结果。(d) SEED-IV被试无关结果。

为了评估所提出的BF-GCN学习系统的计算效率，论文估计了所提出的BF-GCN学习系统的每个模块层的复杂度和总参数。BF-GCN的复杂度分析结果如表5所示。

表5  BF-GCN模型复杂度评价。其中n是图节点的数量，c是情感类数。GLM：图学习模块，AM：注意力模块，DM：域判别器模块，CM：分类器模块。

为了进一步探索BF-GCN模型各分支在情感脑电图特征挖掘中的有效性，论文进行了消融研究。

表6 被试依赖消融研究结果（%）。所有值表示平均精度和标准差(以“/”分隔), (w/o)表示无。

表6显示图分支Zc在三个分支（Zc、Zd、Zf）的独立消融实验中取得了最好的结果，此外，与三个分支的独立消融相比，无注意力图所有分支的融合具有一定程度的性能衰减，这可能是由于三个图分支的平均加权融合过程中产生了冗余的图信息。在消融PLV脑网络方面，基于距离图训练的BF-GCN模型取得了比单图分支（Zc, Zd, Zf）和无注意力模块更好的性能。消融实验证明，BF-GCN模型可以有效地从情感脑电信号中提取稳定的图模式，并且可以获得更强大的情感解码性能。

除消融研究外，论文还利用T-SNE算法对原始DE特征和BF-GCN特征的空间进行可视化，在两个数据集上的结果如图3所示。

图3  BF-GCN在两组数据集上被试无关实验的T-SNE可视化。(a)和(b)表示 SEED上的原始DE特征空间和BF-GCN特征空间。(c)和(d) 表示SEED-IV上的原始DE特征空间和BF-GCN特征空间。

使用BF-GCN处理后，样本的区分度有了明显的提升，如图3(b)和(d)所示。可视化结果证明，BF-GCN可以用一组显著的特征来表示特定的情感状态脑电信号。

论文为了进一步揭示BF-GCN学习系统在情感认知图模式挖掘中的有效性，还对BF-GCN模型学习到的情感脑电图特征进行了脑图谱分析，重点关注从注意力模块学习到的图特征，以及所提出的BF-GCN学习系统在被试无关条件下捕获的不同情绪状态下的图模式的脑图谱，如图4所示。

图4 BF-GCN学习系统学习到的不同情绪脑电图特征的脑映射。

从图4可以发现，BF-GCN学习系统学习到的情感认知激活图模式主要分布在额部和枕叶。积极情绪的激活模式主要偏向于左侧前额叶，而消极情绪的激活在左侧前额叶更为明显。对于中性情绪，激活模式主要集中在颞区。图4所示的脑图谱结果表明，BF-GCN能够捕获不同情感状态下脑电信号的不同激活模式，实现情感脑电信号的有效图形化表示。从认知神经科学的角度来看，已有研究发现情绪认知与大脑额叶和枕叶高度相关。额叶区域在分析情感图片刺激时的情绪唤醒方面起着重要作用，额叶和枕叶区域之间的不同连接模式与悲伤和恐惧情绪的相关性大于快乐和惊喜情绪。图4的结果与现有研究的一致性表明，BF-GCN在探索情绪激活模式、揭示情绪认知机制方面具有重要意义。

思考与总结

本论文提出的 BF-GCN 模型，结合了图卷积网络、谱图滤波和注意力机制，为情感EEG信号的分析提供了一种新颖且高效的方案。通过结合图卷积和认知优先图，BF-GCN能够捕捉到更稳定的情感相关特征，避免了传统方法中的噪声干扰。由于该系统是基于大脑的认知机制设计的，BF-GCN具有较强的生物学解释性，使得模型的预测结果能够更好地与神经科学中的研究相符合。尽管取得了显著的成果，但仍有改进空间，如探索更稳定和有效的认知图模式以实现跨数据集或跨文化的情感识别，以及将BF-GCN系统扩展到实际应用场景中，实现智能情感交互系统。

脑机接口与混合智能研究团队