从脑电信号解码双手运动的协调方向
编译：泰和利康-单家旭
索引词
Brain–computer interface (BCI), coordinated directions, deep learning, electroencephalogram(EEG), task-oriented bimanual movement.
综上所述，在日常生活活动中，双手运动是必不可少的，但从无创脑电图信号中有效解码双手运动，以实现潜在的机器人控制或康复目的，目前还处于非常初级的阶段。因此，本研究提出了一种脑机接口来解码脑电记录中以任务为导向的双手运动的协调方向。与解码非对称空间方向下的双手动作[11]相比，本文提出的脑机接口范式更侧重于解码空间对称中以任务为导向的协调动作，更自然地匹配现实生活中的任务。本研究的主要贡献包括：(1)首次提出了一种新的面向任务的双动作脑机接口范式，用于协调方向的解码;(2)通过8例人体实验验证了其可行性。
本文提出了一种基于深度学习的模型，结合了卷积神经网络(Convolution Neural Network，CNN)和双向长短时记忆网络(Bidirectional Long Short-Term Memory，BiLSTM)[28]，用于从EEG信号中提取复杂的特征并解码运动方向。文章还介绍了数据预处理步骤，包括使用独立成分分析(Independent Component Analysis，ICA)去除眼动和眨眼等伪迹，以及对EEG信号进行时频特征提取和归一化处理。实验结果表明，该深度学习模型能够有效地解码双手协调运动的方向，为脑机接口技术的发展提供了新的思路和方法。
（详见原文）
A.实验对象和实验范式
8名健康受试者(男5名，女3名)参与实验，年龄21 ~ 28岁。本研究获得南方科技大学(深圳)伦理委员会批准(20190004)。所有参与者都签署了知情同意书，并通过爱丁堡利手量表(Edinburgh Handedness Inventory)证实为右利手。
实验设置如图1 (a)所示。实验在电磁屏蔽室内进行。受试者被要求坐在桌前的椅子上。被试者面向一个距离大约2米的舒适观看位置的43英寸的显示器，显示器显示矩形目标和代表手的位置圆点。使用导轨(Guide Rail)引导受试者在一维空间中移动双手。实验中所执行的任务包括双手和单手的目标导向运动(Target-Reaching Movements)。双手运动时，目标随机出现在双手的左、中、右，如图1 (b)所示，分别对应双手向左、向中、向右运动。不同的是，对于单手运动，目标只随机出现在左侧或右侧，如图1 (c)和(d)所示。在双手任务中，双手均需要同时到达出现的目标。在单手运动的任务中，受试者只需将一只手移动到出现的目标上，而另一只手保持不变即可。
受试者在正式实验前接受了约15分钟的任务预训练，并被要求在实验过程中避免眨眼和额外的肢体动作。正式的实验分为三个阶段：双手、左手和右手的动作。每组包含6次独立的实验运行，两次运行之间有2分钟的休息时间。每次双手运行包含15个试次(Trial)的动作，包括5个向左运动、5个向右运动和5个向中间的运动。每次单手运动包括10个试次，分别为5次向左运动和5次向右运动。因此，每个受试者总共经历210个试次。
单一试次的时间线(timeline)在所有实验期均一致。图1 (e)给出了一个双手运动的例子。具体来说，每个试次开始时，监视器上出现一个红色矩形目标。经过2 s的准备后，在图1 (b)中虚拟手所示的初始位置(Home Position)出现了两个点。初始位置(Home Position)被定义为运动的起始位置(Starting Position)，在所有试次中都是固定的。在下一次试验前，双手需移回原位。在运动过程中，红点的位置直接由人手在导轨上的实时位置控制。这项任务要求参与者在5秒内达到目标，然后保持不动1秒。只有当红点的中心在5秒内进入红色矩形时，才算试验成功。否则，如果在5秒后圆点没有达到目标，试次将被中止并视为不成功。目标由红色变为黄色，表明试次成功。在此之后，监视器上的所有视觉线索消失，受试者休息5秒后再进行下一次试次。
B.数据采集
采用g.HIamp 256生物信号放大器(g.tec medical engineering GmbH, Austria)，以256 Hz的采样率采集8名受试者的64通道脑电信号。电极阻抗被校准为小于30 KΩ。电极位置参照国际10-10系统，前额接地电极位于AFz。采用50 Hz的陷波滤波器去除工频干扰。双手的运动位置和速度由Leap Motion Controller(Ultraleap Inc., California, USA)光学手部跟踪模块捕捉。
C.数据预处理
利用零相位滤波器(zero-phase filter)将脑电信号从0.1 ~ 30 Hz进行带通滤波，然后降采样到100 Hz。一般来说，不良信道比周围的其他信道具有更多噪声，它们的谱图存在异常值。因此，首先通过浏览原始数据来直观地识别不良通道，然后通过通道的频谱来确定不良通道。然后使用球面样条插值(Spherical Spline Interpolation)实现不良通道修复[29]。该方法将所有信道位置投影到一个单位球面上，在良好位置的基础上插值不良位置的信号。接下来，EEG数据依次重新参考到耳垂部位REF通道(即A1和A2)的平均值以及所有通道的共同平均值。通过伪迹空间重建(Artifact Subspace Reconstruction，ASR)算法去除运动相关伪迹(Artifact)[30]。此外，使用独立成分分析(Independent Component Analysis，ICA)方法从EEG中通过目视结果识别并去除眨眼(Eye Blink)和眼动伪影(Eye Blink)[31]。脑电图信号通常由各种脑源和噪声源混合而成。ICA是一种应用广泛的盲源分离(Blind Source Separation)技术，尤其适用于去除脑电信号中嵌入的伪迹。首先，利用独立成分分析(ICA)算法将原始多通道脑电信号分解为一组时间独立分量(ICs)；然后，根据眼球运动和眨眼的时间频谱特征和头皮空间分布，识别和去除与眼球运动和眨眼相关的IC。最后，对剩余ICs进行ICA逆变换，重建伪影校正后的脑电信号。
一般来说，由于反应时间的原因，从动作提示开始到实际动作开始存在延迟，并且延迟在不同试验和个体之间根据个人的反应能力而存在特异性。因此，我们为每个参与者校准了Leap运动控制器的实际运动触发时间，定义为受试者特定的实际运动触发时间。在每个试次中，从实际手部运动开始- 0.5到1.5 s之间的2 s时间点提取脑电图分析。然后通过减去运动开始- 0.5到0秒之间数据的平均电压，对每个提取的数据片段(Epoch)进行基线校正。最后，在将Epoch输入解码模型之前，我们对Epoch进行0.1和4 Hz之间的带通滤波。约占5.6%的不成功试验被删除，因其可能会对分类准确性产生副作用。我们在开源的MNE-Python软件中实现了所有数据预处理[32]。
D.解码模型
不同脑电频带的时空动态变化与手的运动方向有关。因此，有效地提取相应的特征是获得高解码性能的关键。在本研究中，我们提出了一种基于CNN和BiLSTM的混合深度学习模型，从脑电信号中自动提取复杂特征并解码运动方向。网络架构的可视化和完整描述分别如图2和表1所示。除最后一个全连接层和激活函数外，本研究中使用的多重或二元分类的结构和参数均相同。
(解码模型的网络架构、训练策略的章节内容，详见原文)
E.统计分析
为了估计组(Groups)和条件(Conditions)之间的差异，使用了单向方差分析(ANOVA)(One-Way Analysis Of Variance)。采用Shapiro-Wilk检验对分类结果进行正态性检验。采用Leven检验进行齐次性(Homogeneity)检验。两两比较均采用Tukey 's honest显著差异法计算显著性结果。所有表中的分类准确率均以“均数±标准偏差(std)”表示。
在本节中，我们首先分析了与双手和单手运动相关的大脑活动在时间和频率域的变化，包括事件相关的去同步/同步(Event-Related Desynchronization/Synchronization，ERD/ERS)、地形图(Topographical Maps)和运动相关的皮层电位(Movement-Related Cortical Potentials，MRCPs)。然后，对三个协调方向(即向左、向中、向右)进行分类，验证解码双手动作的可行性。最后，为了比较双手和单手动作的解码性能，我们计算了双手和单手动作在左右两个方向上的二元分类精度。
A.脑电图活动中的运动相关变化
(1)时频表现：与任务相关的想象和运动的执行已被发现会导致脑电图α(Alpha)波段(即ERD)的振幅(或功率)下降。我们用Morlet小波变换计算时频表示来观察到的这种生理模式。
图3显示了受试者C3和C4通道的平均时频表征。在所有运动条件下，在α波段观察与运动执行相关的ERD。单手任务时，对侧半球出现强烈的ERD，这反映了左手和右手运动时C4和C3的感觉运动的激活(Sensorimotor Activations)。在单动作任务中，这些对侧ERD也伴有较弱的同侧ERD现象。而在双手运动过程中，双侧ERD明显对称，表明两个大脑半球的协同激活。
(2)拓补图：图4显示了各EEG通道在-0.5 ~ 0.9 s的实际运动开始时间窗内的地形图。在0 s左右发生明显诱发电位变化。在单手运动条件下，对侧脑半球观察到明显的诱发电位变化。然而，在双手运动时，双侧激活是明显的。这些模式与上述时频表示分析的结果大致一致。此外，这些模式的发生大多位于C3、C4和周围区域。
(3)运动相关皮层电位(Movement-Related Cortex Potentials，MRCPs)：为了进一步研究不同运动条件下的差异，我们还研究了C1、Cz和C2通道上的平均MRCPs，如图5所示。图5第一行为左、中、右方向双手运动的MRCP。在实际运动开始前约- 0.25 s出现一个正峰值。此后，波幅明显下降，在运动开始后0.25 ~ 0.75 s出现负峰。为了比较双手和单手运动时MRCP模式的差异，左向和右向运动条件下的MRCP曲线如图5第二行所示。需要注意的是，由于没有所谓的单次中心性运动，这里没有提供双手向中心性运动的MRCP。在正峰和负峰的出现方面，双手和单手运动之间发现了类似的结果。此外，为了进一步比较它们的幅值差异，我们对MRCP的负峰和正峰进行统计分析，分别如图6和图7所示。与单手运动相比，双手运动产生的MRCP负峰更低，尽管在某些情况下没有显著性。然而，在正峰中没有发现类似的结果。
B.解码双手动作的性能
为了验证该模型对双手动作协调方向进行解码的可行性，对该模型采用了多次分类方法(multi-classification)。表2给出了从EEG中分类三个协调方向(即向左、向中、向右)的准确率。最后一行的mean和std表示所有受试者的平均值的平均值(Grand Average)和标准差。解码双手运动方向的Grand Average峰值准确率在表II的第2列达到70.10%±6.88%。这个Grand Average峰值精度是用一般时间窗(0 s, 1 s)计算的，对应于起始时间点0 s(绿点)，如图8所示。图8中特定对象的模型性能是使用固定长度为1 s、步长为0.1 s的移位窗口计算的。移动窗口的开始时间点为实际运动开始时的- 1.4 ~ 1.4 s。对于每个移位窗口，我们基于每个受试者的10倍交叉验证来训练和评估模型。每个受试者的准确度值均为10倍交叉验证的平均值。因此，每个受试者在不同的起始时间点有一个特定的准确度峰值(图8中的红点)。受试者特异性峰(subject-specific peak)精度平均值为73.39±6.35%，见表2第3列。我们注意到，所有被试特定的峰值准确度都发生在视觉线索开始之后，更具体地说，发生在视觉线索和实际动作开始之间。这个时间间隔被定义为视觉-运动反应时间(visual-motor reaction time)，如图9中绿色箭头所示。视觉运动反应时间与受试者有关，甚至在同一实验运行中不同试验之间也不相等。得到每个试次的视觉-运动反应时间后，所有试次与实际的运动起始时间对齐，图8中标记为t = 0 s。
此外，我们对双向运动时的方向性进行了二分类，即左向和中向、右向和中向以及左向和右向。结果呈现于表III中。最后一行的平均值和标准表示所有受试者平均值的Grand Average值和标准偏差。时间窗口设置为(0s，1s)。左侧vs右侧分类的准确率最高，平均为86.28 ± 5.50%。左侧vs中部、右侧vs中部的平均分类正确率分别为(80.24 ± 6.25%)、(82.62 ± 7.82%)。两两比较差异均无统计学意义。
C.双手和单手动作之间的解码性能
我们还比较了单手动作和双手动作对左、右方向分类的解码性能。结果示于表IV中。本文还使用了之前工作中使用的两种传统的基于特征的方法(LDA和SVM)[11]和三种基于深度学习的方法(BiLSTM、EEGNet和ShallowConvNet[35]结合BiLSTM)进行了比较。所有的模型都以同样的方式进行训练。mean和std表示所有受试者的平均值的平均值和标准差。结果表明，在所有运动条件下，我们提出的方法在8个受试者中获得了最高的平均精度。例如，与SVM相比，在左、右和双手运动下的解码准确率分别平均提高了14.61%、17.38%和12.56%。与ShallowConvNet+BiLSTM模型相比，平均提高2.67%、1.89%和4.28%。此外，如表四最后一行所示，所有模型在双手运动任务下的分类准确率均高于单手运动任务，分别为(72.44±8.12%)、(73.72±6.45%)、(78.07±4.02%)、(80.09±3.11%)、(82.00±5.61%)、(86.28±5.50%)。
为了评估使用不同方法在三种运动条件下分类的统计差异，对8名受试者的准确性进行了方差分析(表4)。统计结果如图10所示。从图10 (a)可以看出，本文方法在所有运动条件下均显著优于LDA和SVM方法。与其他三种基于深度学习的模型相比，我们提出的模型在单手运动条件下也取得了更高的精度，但没有显著差异。特别是，该方法明显优于BiLSTM和双手运动条件下的EEGNet。在图10 (b)中，对单手和双手运动条件下的解码性能进行了比较。本文提出的方法，ShallowConvNet+BiLSTM、LDA和SVM对双手运动的解码效果明显优于单手运动。还应该提到的是，在所有方法的基础上，左、右运动解码没有发现显著差异。
(详见原文)
首先分析了与双手和单手运动相关的脑电活动的变化。观察到在时间和频率域中，运动执行导致了α波带的幅度（或功率）降低，即事件相关去同步/同步(ERD/ERS)。在单手运动任务中，出现了明显的对侧脑半球的ERD，即左手运动时在C4通道观察到的感觉运动激活和右手运动时在C3通道观察到的感觉运动激活。这些对侧ERD还伴随着较弱的同侧ERD。相比之下，在双手运动中出现了对称的双侧ERD，表明了两个脑半球的协同激活。
其次，通过观察脑电信号的拓扑图和运动相关皮层电位(MRCP)进一步研究了不同运动条件下的差异。拓扑图显示，在实际运动开始前后的时间窗口内，单手运动条件下出现了明显的诱发电位变化，主要集中在对侧脑半球。然而，在双手运动中出现了双侧激活的模式。这些结果与前面提到的时间-频率表示分析的结果基本一致。此外，大部分这些模式位于C3、C4和周围区域。
最后，对解码双手运动的性能进行了验证。使用了卷积神经网络（CNN）和双向长短时记忆网络（BiLSTM）来对协调方向（左、中、右）进行分类。通过网格搜索技术，确定了最佳的超参数，并使用10折交叉验证来评估模型的整体性能。结果显示，他们的模型能够有效地解码双手运动的协调方向。此外，还比较了双手运动和单手运动的解码性能，并计算了左向和右向运动的二分类准确率。结果显示，双手运动的解码性能略优于单手运动。
本文旨在从脑电图中解码自然双手运动的协调方向。为此，设计了一种面向任务的双手脑机接口执行目标到达任务的范式。实验结果主要表明：(1) CNN-BiLSTM混合模型在三个方向(左、中、右)上的峰分类准确率为73.39±6.35%；(2)在左vs中、右vs中、左ns右协调方向上，二值分类准确率分别达到80.24±6.25、82.62±7.82、86.28±5.50%；(3)双手动作、左手动作和右手动作的二元分类准确率分别为86.28±5.50%、75.67±7.18%和77.79±5.65%。这些发现支持了从脑电图中解码以任务为导向的双手运动协调方向的可行性。
详见原文。
