会同学子在智能化远程医疗监护和疲劳预警
取得研究进展
近日，文理学院、会同书院数据科学与大数据技术专业2020级本科生陈骏——目前在香港科技大学（广州）攻读博士学位，在心理系/认知神经工效研究中心闵锐老师的指导下，开发了一种支持人工智能的可扩展智能手机光子传感系统，主要用于远程医疗监护和疲劳预警，成果汇总成题为“AI-Enabled Scalable Smartphone Photonic Sensing System for Remote Healthcare Monitoring”的研究论文（DOI: 10.1109/JIOT.2024.3485614），以陈骏为第一作者发表在物联网顶刊IEEE Internet of Things Journal（中科院一区TOP期刊，近5年平均影响因子 9.0）。
图1. 远程健康监控系统示意图
物联网系统框架构成如图1所示，包括呼吸和心率监测装置和步态监测装置。能手机视频包含多个传感器信号。为了实现对多传感器信号的监测，文章设计了一种基于局部阈值和掩码操作的自适应多通道框架，通过使用不同的滤波器，可以从不同的信号通道中提取不同的信号，如呼吸、心率和步态频率。为了验证该系统的可使用性，该研究分别进行呼吸心率监测和步态运动监测。在呼吸心率监测中，利用商用EEG作为参考提取呼吸心率信号，步态方面则使用采用固定步数方法作为参考。结果显示，所研制的设备在监测呼吸信号的同时，能够实现与商用EEG一致的心率信号监测和正确的步态参数检测。所提出的系统利用修改的MobileNetV3模型对于人体的活动模式和疲劳程度进行识别，实现对五种不同步态（走、跑、跳、站、蹲）等不同的步态模式的识别，识别准确率达到98.5%。研究还将精神疲劳程度和肌肉疲劳程度分别分为2个等级和4个等级，通过自主汇报的形式进行标记。MobileNetV3模型再次显示了出色的性能，能够发现因疲劳而导致的细微信号差异，精神疲劳和肌肉疲劳的识别准确率分别为94%和95.8%。与之相比，一维卷积神经网络几乎无法进行不同疲劳的区分，结果如图2所示。
图2. 身体疲劳识别混淆矩阵比较：(a) MobileNetV3的结果（MAE = 0.038, Precision = 0.958, Recall = 0.956, F1 = 0.956）；(b) 1-DCNN的结果（MAE = 0.197, Precision = 0.814, Recall = 0.785, F1 = 0.771）。
总的来说，本研究开发了一种支持人工智能的可扩展智能手机光子传感系统，用于远程医疗监护应用。智能手机既是系统的光源，也是系统的接收端，能够连接到网络，与物联网集成。通过多通道框架实现可扩展性，通过修改连接器设计，系统可以纳入更多传感器实时监测多个生理参数。该系统除了获取基本的呼吸和心跳信号以及各种步态参数外，还使用自适应的MobileNetV3神经网络结构成功实现了各种步态模式的识别和疲劳监测。所提传感系统在测试中表现良好，呼吸和心率误差分别小于4.5%和5.4%，步长误差小于2.0%。该系统在多步态分类任务中表现出了优越的性能，与1-DCNN相比，达到了98.0%的准确率。实验结果表明，该系统能够较好地识别人的精神疲劳和肌肉疲劳，准确率超过90.0%，证明了该系统作为远程医疗工具的潜力。此外，该创新传感器系统的低成本、非侵入性和可移植性使其具有高度的通用性。
论文链接：Jun Chen et al. AI-Enabled Scalable Smartphone Photonic Sensing System for Remote Healthcare Monitoring, IEEE Internet of Things Journal, 2024 early access 10.1109/JIOT.2024.3485614
排版丨解蓬勃
初审丨姜海庆 王若涵
终审丨刘卉青 朱珊珊
