Part.1
引言
工业5.0是以一种新的工程方法为中心，优先考虑人类需求的解决方案，强调人类在系统中的关键作用。在这种情况下，人类控制论系统需要对人类状态进行直接和可靠的理解，包括身体和心理方面。这对于操作员在强热应力、高脑力负荷、重度疲劳等情况下评估表现尤为重要。
目前，神经生理学监测已经取得了长足的发展，如脑电（EEG）、功能性近红外光谱（fNIRS）、心电图（ECG）、皮肤电（EDA）。这些生物信号反映了人类状态的基本方面，包括大脑活动、能量代谢、唤醒水平、肌肉疲劳等。新兴且有效的技术，可用于实时评估人类在操作环境中的状态。
随着机器学习的突飞猛进以及计算机内存和处理速度的进步，建立在人工神经网络（ANN）基础上的大参数深度学习网络，在特征学习和分类任务中表现出更高的性能。本文建立了基于多生理学数据的性能评估模型（ECG-fNIRS），并探索了深度学习架构来提取有效的判别特征。通过处理ECG和fNIRS信号分别获取时频谱和前额叶皮层（PFC）网络，以获得更好的评估结果。
Part.2
研究方法
图1显示了绩效评估模型，该模型由5个部分组成：数据采集和处理、ECG手动特征提取以获得ECG向量、fNIRS手动特征提取以获得PFC脑网络、深度判别特征提取以及模型融合和分类。最后，应用各种方法对结果可视化和绩效评估。对于ECG数据，滤波后进行时域和频域分析，提取ECG手动特征向量，包括典型波的振幅和宽度以及特定频带的功率谱密度（PSD）。此外，心电信号进行短时傅里叶变换（STFT）来获得时频谱。最后，通过4-层CNN（卷积神经网络）从每个时频谱中提取频谱学习向量。对于fNIRS数据，滤波后进行一般线性模型（GLM）和功能连接（FC）分析，来获得beta值（脑区激活）和FC强度（通道间的同步性）。fNIRS PFC脑网络分别由beta值和FC强度作为节点特征和边特征组成。PFC脑网络学习向量是从每个fNIRS PFC脑网络通过2-层GAT（图注意力网络）提取的。最后，通过一个基于ECG手动特征向量、频谱学习向量和PFC脑网络学习向量连接的3分类密集层来预测绩效类别。
Part2.1
数据采集
该章节主要总结和综述了脑电图在评估室内光环境的作用，其强调了脑电图在评估室内光环境条件方面的有效性，特别是关于光谱、照度、色温和照明模式如何影响大脑活动。
在4种湿热暴露环境下对核电站（NPP）操作员（训练有素的志愿者）进行了实验（25℃60%相对湿度、30℃70%相对湿度、35℃80%相对湿度、40℃90%相对湿度），来研究他们的表现和典型认知、执行功能的影响。为了评估操作员在热应激下的总体表现，本实验中选择的绩效指标包括主要NPP任务表现和基本认知功能：
主要任务表现：根据NPP操作员认知模型，检测和注意、理解和感知、决策、行动以及团队合作是操作员需要的五种基本认知和执行功能。开展了故障检测任务和反应堆堆芯停机运行任务，以涵盖这些基本功能。
态势感知（SA）：SA反映了操作员对关键系统的当前状态和未来预测的感知、理解和预测，主要通过态势感知全球评估技术（SAGAT）进行评估。
负荷（WL）：WL包括脑力负荷和体力负荷，通常与绩效呈U型相关，主要通过NASA任务负荷指数量表（NASA-TLX）进行评估。
工作记忆（WM）：操作员必须处理巨大的信息流，并在压力情况下保存重要信息，这是一种重要的认知功能，称为工作记忆。其主要通过N-back任务来评估。
每个场景如下图2所示，记录实验中持续时间、准确性、反应时间和错误计数。根据被试在不同场景下的表现，将其表现分为三类：
类别1：在合适的工作场所（25℃60%相对湿度和30℃70%相对湿度）下具有良好的绩效
类别2：在较高温度和湿度环境（35℃80%相对湿度）下处于困倦状态绩效下降。
类别3：在最高的温度和湿度下（40℃90%相对湿度），简单的反应任务会有暂时的轻微改善，但高级认知功能会迅速受损。
30名被试（16名女性和14名男性），年龄在20-39岁之间参加了实验。其中4名被试数据因记录不完整排除在外。最终共获得515个ECG数据和fNIRS数据。
Part2.2
ECG手动特征
ECG信号由3导联的ECG模块记录。
时域特征：信号滤波和QRS波群检测来提取序列的RR间期。根据典型波幅、时间宽度以及相应的统计幅值提取各种特征。
频域特征：对滤波后数据进行快速傅里叶变换（FFT）计算特定频段的PSD
Part2.3
ECG时频谱
ECG是一种非平稳信号。因此，STFT可以应用于ECG数据，以观察频率分量和能量分布随时间的变化。为了获得CNN的输入，频谱调整为64*64像素，如图3所示。
Part2.4
fNIRS特征
fNIRS数据由8通道放置前额叶进行记录。
Beta激活：数据预处理后，通过GLM计算含氧血红蛋白（HBO）的beta值。对于输入，beta值被转换为1*24向量（3个任务*8个通道）。
FC：对于静息态数据，计算通道间的相关系数、fisher-Z变换后的相关系数、相干性和锁相值，得到FC矩阵（8*8对称矩阵）并将其平展为1*112向量（4个FC矩阵*28个通道组合）。
Part2.5
PFC脑网络
基于大脑功能网络的小世界属性，fNIRS信号构造为fNIRS PFC脑网络，如图4所示。在PFC网络中，fNIRS通道是节点，通道之间的连线是边，fNIRS通道中激活的beta值是节点特征，通道之间的功能连接是边特征。
Part3
深度学习模型和方法
为了使用生理数据对不同场景下的性能进行分类，在时频谱上采用了CNN（模型A）。为了提高模型的准确性，本文开发了四种模型来探索有效的架构。四种模型的架构详见图5和图6所示。
Part3.1
图注意力网络（GAT）
fNIRS可以说明目标大脑区域的执行功能网络，通道作为节点，通道之间的连接作为边形成无向图。通常，GLM用于任务态数据，计算每个通道激活作为节点特征。从静息态数据中获得的功能连接，计算通道间的同步性作为边。
Part3.2
所提模型的架构
构建了四个模型，分别为模型A、模型B、模型C和模型D，具体输入参数，如下表1所示：
Part4
结果
四种不同模型的性能如下表2所示，在测试数据集中，模型D的准确率为81.82%，而模型A、B和C的准确率分别为69.32%、70.45%和68.18%。此外，还绘制了四种模型在5-交叉验证的损失曲线和精度曲线，如下图7所示。模型A和B在精度曲线和损失曲线上都比模型C和D更快地收敛到局部最优解。然而，它们在验证数据集中的损失达到相对较低水平，在几个epoch后增加，表明过度拟合。相比之下，模型C和D在在验证数据集中的依旧减少，并在后一个epoch增加，显示出更好的泛化能力。
Part5
结论
本文提出了一种CNN-GAT融合模型，在ECG时频谱和fNIRS 前额叶脑网络驱动下的性能评估，来识别极端温度和湿度环境下的异常工作状态。基于ECG信号和fNIRS信号，建立一种用于热应激下性能分类的多生理融合模型，表现出较高的生态效度。该方法克服了专家观察的主观性和后测的滞后性，为工业5.0场景下重要人类控制论系统中的人体状态评估提供了潜在的神经工效学应用。
Part6
文献
Cortivision无线便携式近红外光学脑成像系统
公司简介
