快速序列视觉呈现（Rapid serial visual presentation, RSVP）是指在同一空间位置以每秒多幅图像的高呈现率顺序显示图像的过程，它是一种高呈现率的视觉诱发刺激实验范式，能够在较短的时间内诱发出大脑面对小概率事件发生时的下意识反应。RSVP-BCI被认为是目前基于脑电信号解码的目标检测中最具潜力的技术。脑电解码方法的设计是RSVP-BCI技术的核心，直接关系着目标检测性能。影响脑电信号的因素较多，仅依靠脑电信号进行目标检测具有不稳定性，因此脑机融合能够提取“脑”与“机”的互补性信息，提升RSVP-BCI的稳定性与准确性。西北工业大学谢松云团队在Journal of Engineering 等杂志上发表脑机融合的RSVP-BCI脑电解码方法相关研究，提出一种基于事件相关电位（Event Related Potential，ERP）增强的脑电解码目标检测方法、一种基于动态概率融合的脑机融合目标检测分类框架。
已有研究表明，ERP成分特性会严重受到认知负荷、认知状态和疲劳程度的影响，这种情况不仅仅出现在跨被试水平也出现于被试内部。因此，抵消ERP成分的可变性对模型性能的负面影响是RSVP-BCI的一个关键问题。对此，课题组出了一个基于RSVP 任务中ERP增强的分类框架，命名为延迟检测和EEG重建（latency detection and EEG reconstruction ，LDER）。在此框架中，构建了一个EEG模型来校正ERP成分的时延，从而增强ERP特征。此外，为了避免相似性计算错误而导致的延迟信号错误的问题，研究充分利用脑电信号的时空特性，通过测量不同时间点下EEG信号模板和单试次脑电信号样本间的空间分布的相似性来估计ERP特征的时延。LDER分类框架如下所示：
图1 LDER分类框架
本文设计了一个基于夜间车辆检测的RSVP实验来验证我们提出的分类框架LDER的性能。基于夜间车辆检测的RSVP实验中共包含两类图像，即目标图像和非目标图像，其中包含车辆出现的图片作为目标图像，其余为非目标图像。图像总数为1500张，其中目标图像约占14%，每幅图像在屏幕上随机出现并持续显示200 ms。
图2 目标图像和非目标图像的示例。(A) RSVP 范式中的目标图像示例。(B) RSVP 范式中的非目标图像的示例。
文章对增强前后的EEG信号与ERP成分进行了分析，以表明LDER框架的增强效果。此外，在四个指标下对比了LDER与传统分类框架的分类性能。采用t-SNE（t-distributed stochastic neighbor embedding, t-SNE）可视化方法，将增强前后的EEG信号进行可视化分析，如图3所示。可视化结果表明，增强前的目标与非目标状态下的原始EEG信号呈现出完全不可分的状态，而增强后的EEG信号则呈现出了完全可分的状态。
图3 LDER增强前后脑电信号t-SNE的可视化结果。（A）原始脑电信号的可视化结果。（B）增强后脑电信号的可视化结果。
图4显示了所有名受试者使用LDER和传统分类框架的分类效果。使用LDER后，所有受试者使用STHCP、SWFP、HDPCA和HDCA 方法的AUC、TPR和BA值都有所提高。相应地，所有受试者使用STHCP、SWFP、HDPCA和HDCA 方法的FPR 均有所降低。
图4 LDER与传统分类框架在四种方法下的分类性能对比。（A）LDER与传统分类框架的AUC对比；（B）LDER与传统分类框架的TPR对比；（C）LDER与传统分类框架的FPR对比；（D）LDER与传统分类框架的BA对比。
综上，研究提出了一种基于ERP特征增强的RSVP-BCI分类框架，该框架通过构建EEG信号模型和ERP潜伏期校正来增强ERP成分。并设计了一个基于夜间车辆检测的RSVP实验来验证RSVP的分类性能。使用四种基线方法在LDER与传统分类框架中进行了测试，结果显示LDER的分类性能显著优于传统的分类框架，有望促进RSVP-BCI技术的实用化发展。
考虑到人类视觉与计算机视觉的互补特性，脑机融合方法有可能成为一种高效和通用的目标检测方法。在先前研究的基础上，谢松云教授团队构建了基于动态概率融合的脑机融合分类框架（DPI），并在该框架中设计了一个新的基本概率分配函数（basic probability assignment, BPA）为不同异构信息源分配概率、指导融合。所构建的脑机融合分类框架如下：
图5 脑机融合分类框架DPI
DPI中分别采用RSVP-BCI与YOLO V3获取人类视觉与计算机视觉信息，根据各个异构信息源对于目标和非目标样本的检测能力，对所有假设进行概率分配，最后通过证据组合规则对不同信息源的信息进行融合。其优势在于：首先，与其他融合框架相比，DPI在处理和表达不确定性信息方面具有优势，不再仅仅考虑两个类别，而是充分考虑到不确定性信息未分类带来的影响。其次，作为一种脑机融合框架，DPI能够从计算机视觉与人类视觉这两个异构信息源中提取互补信息，提升目标检测能力。最后，在DPI中提出了一种概率分配函数，该函数考虑了各个信息源对目标和非目标的检测能力，能够能合理的为不同信息源分配概率。
将动态置信度融合（Dynamic Belief Fusion, DBF）和贝叶斯融合（Naive Bayesian Fusion, NBF）两种先进的融合方法作为基线方法和本文所提出的DPI框架进行对比，受试者的TPR、FPR、BA和AUC值由图6所示。
图6 9位被试的在不同方法下的分类性能。（A）9位受试者在各方法中的TPR；（B）9位受试者在各方法中的FPR；（C）9位受试者在各方法中的AUC；（D）9位受试者在各方法中的BA。
研究所提的融合框架DPI的平均AUC可达到0.912±0.041，相比于单一的人类视觉与计算机视觉分别提升了11.5%和5.2%，相比于两个基线融合方法分别提升了3,4%和1.7%。同样的，DPI的平均BA值达到0.845±0.052，相比于单一的人类视觉、计算机视觉以及两个融合方法NBF和DBF分别提高了11.3%、10.2%、7.1%和3.8%。综上，研究所提的DPI融合方法能够有效提取人类视觉与计算机视觉的互补信息并显著提升目标检测性能，并促进了脑机融合目标检测技术的实用化发展。
[1] Yujie Cui, Songyun Xie*, Xinzhou Xie, Dalu Zheng, Hao Tang, Keyi Duan, Xiaotao Chen, Yiye Jiang. LDER: A classification framework based on ERP enhancement in RSVP task. Journal of Neural Engineering.
https://doi.org/10.1038/s41597-022-01509-w
[2] Yujie Cui, Songyun Xie*, Xinzhou Xie, Xiaowei Zhang, and Xianghui Liu. Dynamic probability integration for electroencephalography-based rapid serial visual presentation performance enhancement: Application in nighttime vehicle detection. Frontiers in Computational Neuroscience.
https://doi.org/10.3389/fncom.2022.1006361
作者信息
审校排版：潘家辉
【免责声明】本公众号发布的内容仅供学习交流使用，内容版权归原作者所有。如有侵犯您的权益，请及时与我们联系，我们将于第一时间删除内容。内容为作者个人观点，不代表本公众号立场和对其真实性负责。
版权所有，转载请注明出处
