该论文发表于IEEE TRANSACTIONS ON CYBERNETICS(中科院一区Top,IF=9.4),题目为《TransSleep: Transitioning-Aware Attention-Based Deep Neural Network for Sleep Staging》。
此文的作者是韩国大学大脑与认知工程系和人工智能系的Jaeun Phyo, Wonjun Ko , Eunjin Jeon和Heung-Il Suk。
论文链接:
https://ieeexplore.ieee.org/abstract/document/9877908
代码链接:
https://github.com/ku-milab/TransSleep
论文概要
睡眠分期对于睡眠评估至关重要,并且作为健康指标发挥着重要作用。许多最近的研究设计了各种机器、深度学习方法来进行睡眠分期。然而,两个关键挑战阻碍了这些方法的实际应用:1)有效地捕获睡眠信号中的显著波形;2)在过渡时期正确分类混淆阶段。在本研究中,作者提出了一种新颖的深度神经网络结构:TransSleep,它通过两个辅助任务捕获局部时间模式并区分混淆阶段。特别是,TransSleep通过一个基于注意力的多尺度特征提取器捕获睡眠信号中的显著波形,并在建模两个辅助任务的上下文关系的同时,正确分类过渡时期的混淆阶段。结果表明,TransSleep在自动睡眠分期方面表现出色,在公开数据集Sleep-EDF和MASS,TransSleep展现了超越现有技术的成果。此外,作者还进行了消融分析,多角度地剖析了实验成果。
研究背景
睡眠分期对于睡眠评估和作为健康指标非常重要。传统的睡眠分期依赖于专家手动标记长时间的睡眠信号,这个过程繁琐、劳动强度大且高度主观。许多研究提出了各种机器学习或深度学习方法来自动进行睡眠分期。然而,这些方法在实际应用中面临两个主要挑战:一是有效捕获睡眠信号中的显著波形;二是在过渡时期正确分类容易混淆的阶段。
研究方法
TransSleep模型框架,如图3所示。TransSleep模型框架由基于注意力的多尺度特征提取器(AMF)、阶段混淆估计器(SCE)和上下文编码器(CE)组成。AMF通过作者提出的时段级时间注意力(ETA)模块提取输入EEG的显著波形。此外,两个辅助任务,即时段级阶段分类任务和阶段转换检测任务,用于通过训练SCE和CE来增强上下文属性。
A、 基于注意力的多尺度特征提取器(AMF)
多尺度特征表示:每条特征捕获路径使用一个频谱卷积和三个可分离的时间卷积,并输出一个F/2维的输出特征。此外,作者在第一层频谱卷积上采用具有小核和大核的两条特征捕获路径,每个核可以学习不同的频带。
ETA模块:在先前的多尺度路径所得的特征上使用自适应平均池化(AAP)。然后采用一个带有位置编码(Positional Encoding)的多头自注意力机制(Multi-head Self Attention)来关注显著特征。最后,把被关注的特征送入两个全连接(FC)层,并且两条路径的输出特征被连接起来。
B、 阶段混淆估计器(SCE)
对从AMF估计的时段级特征表示,SCE首先使用逻辑回归函数计算可能类别的概率分布:
然后,应用一系列线性和非线性操作从类别概率中获得注意力向量:
最后,注意力向量通过Hadamard更新时段级特征表示:
C、 上下文编码器(CE)
在TransSleep模型中,Context Encoder(CE)通过考虑睡眠阶段之间的特定转换模式来标记睡眠阶段。与传统方法不同,CE不仅编码了邻近时段的上下文信息,还利用辅助任务“阶段转换检测”提供的转换信息来增强模型对转换发生的感知能力。
具体来说,CE模块使用公式
来嵌入时段间的关系,并通过公式
预测阶段转换。其中Wr∈R2×F'和br∈R2是可学习的参数。阶段转换标签y(t)τ根据训练集中的真实阶段标签序列确定,如果相邻阶段相同则为0,不同则为1。CE模块在多任务学习框架下训练,以优化预测睡眠阶段yτ和转换发生y(t)τ。此外,为了更丰富的表示,CE还利用原始特征[fτ]Nτ=1。在结构上,CE采用Bi-LSTM架构来嵌入时段间的关系,并进行序列到序列的分类。每个时段的隐藏状态hτ被送入相应的分类器以执行检测,并且通过残差连接将fτ嵌入添加到Bi-LSTM的输出中。为了正则化CE模块,分别在Bi-LSTM和残差连接后添加了两个 dropout 层,dropout率为0.5。
D、 优化
为了优化AMF、SCE和CE的可调参数,文中提出了一个联合三个学习任务的优化策略:主下游任务和两个提供转换时期显式信息的辅助任务。
1)时代级阶段分类任务是一个与主任务类似的多类分类任务,其目标函数
使用类加权交叉熵(WCE)函数计算,提供了关于混淆阶段的显式信息,帮助框架正确识别混淆阶段;
2)阶段转换检测任务是一个二元分类任务,其目标函数
同样使用WCE函数,专注于检测阶段转换,使框架能够更好地理解转换时期的上下文关系;
3)下游任务涉及多类分类,为了减轻类别不平衡问题并防止过拟合,使用了WCE函数和余弦相似度(CS)目标函数,表达为
其中λ(c)是一个缩放超参数。最终目标函数结合了所有任务,表达为
其中λ(s)和λ(t)是控制每个目标函数平衡的权重系数。所有任务的输出和相应的目标函数在前向路径中获得,并在每次迭代结束时一次性更新所有网络参数。
实验
1) 数据集
在这项研究中使用了2个公开数据集: Sleep-EDF 和MASS。
Sleep-EDF:使用了从20名年龄在25至34岁之间的健康受试者记录的单通道Fpz-Cz EEG,为与MASS保持一致合并了N3、N4阶段,丢弃了MOVEMENT和UNKNOWN时段,并忽略睡眠周期外超过30分钟的睡眠时段;
MASS:使用了62名20至69岁健康受试者记录的单通道F4-LER的EEG。此数据集的信号以256 Hz或512 Hz的采样率记录。最终,作者将所有信号下采样到了100 Hz。
2) 实验设置
本文提出的方法分别对Sleep-EDF和MASS数据集实施20折和31折的k折交叉验证进行评估,并采用与先前研究一致的评估标准以确保公平比较,其中每个数据集都采用了留一法和留二法的交叉验证策略,确保同一受试者的数据不会同时出现在训练集和测试集中,同时验证集是从剩余数据中随机选取的1/k部分。
在AMF(注意力机制多尺度特征提取器)的设置中,步长设定为2,卷积核大小和输出特征维度分别配置为T1=11、T2=15、T3=7、T4=9、T5=3、T6=5和F0=4、F1=16、F2=32、F3=64,自适应池化输出大小为P=8,多头自注意力头数为#H=2,AMF和SCE的输出特征大小分别为F=2×∑Fi=224和F'=F×P=1792。模型使用了25个Bi-LSTM单元处理25个时段的上下文信息。优化方面,采用Adam优化器,学习率设定为10-3,β1为0.9,β2为0.999,并应用了L2正则化。目标函数通过λ(c)=2,λ(s)=2,和λ(t)=0.5进行平衡,这些权重通过网格搜索确定。训练中使用了32的批量大小,最多150次迭代,并基于验证集F1分数实施早停策略,如果在50步内没有改进则停止训练。
在实验中,作者提出的方法与八种最先进的基线进行了比较:1)堆叠SAE ;2)DeepSleepNet;3)SeqSleepNet;4) JointCNN;5)IITNet;6) U-time;7)ResnetMHA;8)XSleepNet。
3) 实验结果
作者提出的TransSleep与Sleep-EDF和MASS数据集上的基线方法进行了比较,总结在表II中。除了一些特定情况外,作者提出的TransSleep在大多数情况下都优于最新基线方法。在Sleep-EDF数据集:准确率和宏平均F1得分分别平均达到了86.5%和81.8;在MASS数据集上:准确率和宏平均F1得分分别平均达到了87.7%和82.5。
4) 消融实验:
Case I:构建了一个没有ETA的普通TransSleep。因此,AMF仅由多尺度CNN组成。同时,删除了两个辅助任务;
Case II:保留ETA结构,但仍然删除两个辅助任务;
Case III:保留ETA结构,保留辅助任务: 时段级阶段分类任务,删除辅助任务:阶段转换检测任务;
TransSleep:作者提出的模型(包含ETA模块和两个辅助任务)。
图9展示了case I(没有ETA和两个辅助任务的纯模型)、case II(没有辅助任务的模型)和提出的方法的混淆矩阵。行和列分别显示了真实情况和预测类别。通过观察可知,作者提出的方法的混淆矩阵与其他人相比,在过渡阶段连续阶段的正确分类时段相对增加,误分类时段相对减少。
结论
作者介绍的TransSleep网络,包含两个辅助任务的深度学习模型,旨在提高自动睡眠分期的准确性。该网络通过识别EEG中的局部模式来捕获显著波形,并利用时段级分类和阶段转换检测任务来增强模型对混淆阶段的区分能力。在两个公共数据集上的实验验证了TransSleep的有效性,分析结果也显示了其在深度学习睡眠分期中的潜力和对未来研究的启示,尤其是在多任务自动优化策略方面。
撰稿人:唐茂林
脑机接口与混合智能研究团队
团队主页
www.scholat.com/team/hbci