摘要
随着情感计算的发展，基于脑电图（EEG）的情感识别技术吸引了广泛的关注，因其在交互系统中具有潜在的应用价值。然而，由于受限于EEG数据的采集难度及数据本身的复杂性，使得有效的情感识别模型面临数据稀缺的问题。近年来，数据增强技术在提高深度学习模型性能方面展现出了巨大潜力，尤其是在图像识别领域。受此启发，提出了一种基于生成对抗网络的自监督数据增强框架（GANSER），旨在为基于EEG的情感识别提供高质量和高多样性的模拟EEG样本。该框架创新性地将对抗训练与自监督学习相结合，通过遮罩变换操作和生成对抗网络生成数据，不仅增强了数据的多样性，同时也保证了数据的质量。通过多因素训练网络（MTN），进一步利用增强数据训练情感识别模型，提高了模型的泛化能力和稳定性。实验结果表明，GANSER框架在标准EEG情感识别数据集上显著提高了情感识别的准确率，超过了当前的先进方法，验证了所提方法的有效性和实用性。
算法
GANSER框架主要由两部分构成：对抗增强网络（AAN）和多因素训练网络（MTN）。AAN部分负责生成增强的EEG数据，而MTN则使用这些数据来训练和优化情感识别模型。
(a) GANSER由两个网络组成，对抗增强网络(AAN)和多因素训练网络(MTN)。以真实脑电样本为输入，首先设计了AAN，用于合成高质量、多样化的增强脑电样本。然后，在增强的EEG样本上学习基于EEG的情绪识别分类器，并在所提出的MTN的指导下完成自监督学习。
(b)子图(a)中G、D、C的网络架构细节。分类器C与STNet的设计相同，作为鉴别器D，只是在鉴别器D中不存在虚线框表示的模块。
图1. 基于生成对抗网络的自监督情绪识别(GANSER)总体框架。
对抗增强网络（AAN） 的核心是一个基于UNet和STNet的生成对抗网络。首先，输入的EEG信号经过预处理，包括信号的标准化和去噪。之后，通过遮罩变换操作，随机遮盖部分信号数据，再利用UNet生成网络根据剩余的信号数据重建被遮盖的部分。这一步骤不仅模拟了缺失数据的恢复，也为生成的数据引入了随机性，增加了数据的多样性。STNet作为判别网络，其任务是区分生成的EEG信号与真实信号，通过对抗训练进一步优化生成模型，使生成的EEG信号在统计特性上更接近真实数据分布。
多因素训练网络（MTN） 则利用AAN生成的增强数据来训练情感识别模型。MTN采用了多因素自监督学习损失（MSL），这种方法不仅考虑了增强样本与原始样本间的一致性，还引入了样本重要性权重，即通过调整遮罩概率的阈值来控制样本的多样性与质量。这样的设计有效地提高了模型对增强样本的适应能力，并优化了模型对情感状态的识别精度。
实验结果
在标准EEG情感识别数据集DEAP和SEED上进行的实验结果验证了GANSER框架的有效性。实验设置包括使用标准的数据预处理步骤，如滤波和归一化，并采用交叉验证来评估模型性能。
DEAP数据集：在情感价值和情感激活两个维度上，GANSER框架分别达到了93.86%和94.38%的分类准确率，与现有最先进方法相比，性能提升明显。此外，通过对生成的EEG样本进行质量和多样性的定性分析，结果显示所生成的样本与真实样本在时空特征上具有高度一致性，同时展现出适当的变异，这进一步说明了数据增强策略的有效性。
SEED数据集：在该数据集上的实验同样显示了GANSER框架的优越性，其中在三分类情感状态识别任务中，框架实现了超过97%的平均准确率。这一结果不仅展示了GANSER在不同数据集上的稳健性，也反映了其在处理更复杂或不平衡数据时的潜力。
图2. DEAP数据增强前和不同增强尺度下的价态分类和唤醒分类准确率分布。
通过这些实验，GANSER框架证明了其在基于EEG的情感识别领域的应用价值，特别是在数据稀缺情况下，能有效提升情感识别模型的性能和稳定性。
