可穿戴电子设备可以在皮肤表面捕获不同类型的信号,用于健康监测和人机交互。例如,肌电图 (EMG) 可以测量肌肉活动期间运动单位产生的局部场电位。从特定肌肉纤维接收EMG 信号是随机发生的,因此无法根据到达时间推断信号源。此外,来自多根肌肉纤维的 EMG 信号是混合的。因此,很难分离特定肌肉纤维的贡献。此外,在正常的肌肉活动期间,肌电图信号是微弱的,这会降低信噪比和检测精度。然而,使用大面积电极补偿上述缺陷又降低了空间分辨率。
超声肌图 (EcMG) 使用超声波来感知肌肉骨骼系统的活动,易于使用、安全且用途广泛。传统的EcMG 使用刚性传感器元件阵列进行空间波束形成,以实现 B 模式成像,但这需要复杂的布线、笨重的控制系统和大功率。EcMG 可以与单个传感器配合使用。单换能器射频 (RF) 信号不支持空间波束形成,但可以显示组织厚度和活动。与 EMG(电极被动收集信号)相比,单传感器 EcMG 主动传输强度控制的超声波并收集携带来自深部组织的信息的射频信号,使其更加稳定。此外,RF 信号的到达时间由传感器和组织界面之间的距离决定。因此,RF 信号是确定的,基于超声窗口内组织的空间分布可以捕获对不同信号源的变动。然而,此类设备太大,无法佩戴以进行连续、长期监测。
2024年10月31日,相关工作以“A wearable echomyography system based on a single transducer”为题发表在 Nature Electronics 上。
设计两个具有不同几何形状和不同声场的单个换能器来监测横膈膜和前臂肌肉。fPCB有两个可折叠连接器的部分:模拟前端(AFE),用于用高压脉冲驱动传感器并放大接收到的RF信号;数字前端(DFE),用于记录传感器的数据并将其无线传输到计算机。与传统传感器阵列相比,单个传感器需要的无线带宽和功率要少得多。容量为 400 mAh 的锂聚合物电池可以为整个系统连续供电 >3 小时。下图b显示了附着在胸部用于隔膜监测的EcMG系统。与传统的笨重超声探头不同,该系统在操作过程中不需要手动固定到位,因此不会限制正常活动。下图c显示了不同手腕角度下前臂上的超声系统。蛇形连接器可以在活动期间将单个传感器与fPCB和电池的运动解耦,从而确保测量稳定性。
fPCB激活单个换能器,该换能器发射超声脉冲波,然后接收来自目标组织的回波。fPCB记录信号并将数据无线传输到后端系统进行处理。由于单换能器RF信号不涉及波束形成,因此该系统不需要任何昂贵的专业图像处理站。系统每次测量只采集一个超声RF信号,可以直接使用超声RF信号来监测隔膜厚度,或者可以开发一个深度学习模型,将RF信号与代表不同手势的复杂肌肉配置相关联。
图1. 完全集成的可穿戴单传感器 EcMG 系统概述
声电特性
当DFE对模拟信号进行采样并将数据无线传输到后端站进行处理时,AFE与单个传感器连接。AFE执行序列控制、传感器激活和回波信号放大。序列发生器电路的精细控制对于超声波传感是必要的,可以分为脉冲发生器充电和发射/接收时段。在脉冲发生器充电期间,升压转换器将脉冲发生器电压从3.7V放大到120V。在随后的发射/接收期间,放大的高压脉冲激活传感器。发射/接收开关将回波信号中继到放大器。然后,输出控制将模拟信号发送到DFE,在DFE中,模拟超声信号由微控制器单元中的内置模数转换器(ADC)以12 MHz的采样率数字化。Wi-Fi模块将数据传输到后端站进行进一步处理。该系统每20ms获取一个RF信号轨迹。这足以捕捉横膈膜和前臂肌肉的详细运动,并保持低功耗。
高压脉冲的持续时间可以从100ns调谐到500ns,对应于5MHz到1MHz的激励频率。可调脉冲宽度可用于以最大激励效率驱动具有不同中心频率的换能器。驱动脉冲的振幅可以在很宽的范围内变化,以发射不同强度的超声波。放大器可以调谐ADC记录的信号幅度。脉冲响应可以量化超声系统的中心频率、带宽和空间分辨率。
声场定义了单个换能器的检测区域,可以针对特定应用进行定制。为了准确测量振膜厚度,理想情况下,换能器声场应该是垂直于振膜顶部和底部膜的窄束,以避免周围组织的回声。根据模拟,单个传感器的面积应为4×4mm2。单个换能器的扫描三维(3D)声场证实了窄波束。为了覆盖前臂横截面以捕获相关信号,设计了一个面积为0.5×4mm2的单个换能器,其声场在一个平面内窄,在正交平面内宽。
图2. 声电特性
连续隔膜监测
横膈膜在收缩时变厚,在胸腔内产生低压,并将空气吸入肺部。功能障碍多由膈肌麻痹、外伤和膈神经疾病引起。而超声检查通常用于床旁隔膜监测。在身体右侧的肋间视图中应用了超声系统,该系统能够准确监测隔膜厚度,而不会出现波束倾斜。在这种设置中,单个换能器连接在腋中线第九和第十肋骨之间的并置区。可以识别出三个层次,包括低回声厚层,即隔膜,与周围的两层高回声层,分别代表胸膜和腹膜。这两个高回声层之间的距离是膈肌厚度,分别在吸气结束和呼气结束时最大和最小。隔膜增厚分数(DTF)是吸气结束和呼气结束之间的厚度差除以呼气结束时的厚度。这在临床上被广泛用于评估膈肌功能障碍和预测机械通气的成功。
连续采集此类射频信号会产生M模式图像,在正常呼吸期间使用单个换能器和商用超声线性阵列同时进行记录。比较两个设备在100个呼吸周期中吸气结束和呼气结束时测量的隔膜厚度,线性回归显示相关系数很高。计算了100个循环的DTF,然后进行了Bland-Altman分析。在标准正态分布中,约93%的数据在95%的置信区间内,证实了单个传感器是商用设备的良好替代品。单个传感器还能够识别不同的呼吸模式。腹式呼吸,也称为膈肌呼吸,涉及使用腹部肌肉收缩横膈膜,从而产生更深的呼吸。胸呼吸(浅呼吸)主要涉及肋间肌肉的运动以抬起肋骨。一些病理状况,包括换气过度、哮喘、焦虑症、肺炎和肺水肿,通常涉及浅层呼吸。在13名健康研究参与者身上测试了传感器区分两种呼吸模式的能力。双侧显著性水平为0.05的配对t检验显示,检测 DTF 差异的统计功效为 ~100%。传感器可以有效地区分两种呼吸模式。
图3. 直接使用射频信号进行连续隔膜监测
COPD 患者的膈肌监测
招募了三名慢性阻塞性肺病(COPD)患者,他们的肺气道发炎、变窄,并在呼气期趋于塌陷。在这种情况下,身体通过咳嗽迫使空气通过气道。此外,呼吸的呼气阶段通常会延长。患者1的呼吸相对较浅,咳嗽频繁,导致单传感器采集的M模式图像中隔膜轻微移动。由于咳嗽是主要症状,M型图像显示频繁波动。患者2有非常典型的吸气时间短和呼气时间长的症状。由于患者3患有轻度慢性阻塞性肺病,症状轻微,M模式图像显示吸气和呼气都有规律,只有偶尔长时间呼气。在健康的参与者中,吸气期和呼气期相对一致。这些结果表明,单个传感器可以区分健康参与者和慢性阻塞性肺疾病患者的呼吸模式,显示出其临床潜力。
图4. COPD 患者和健康参与者的隔膜监测
动态手势跟踪
不同的手势对应于前臂肌群的复杂但独特,因此对应一种独特的反射射频信号。单传感器EcMG比EMG灵敏得多,因此可以捕捉手指和手腕的轻微运动。在手势和RF信号之间建立数学关系是具有挑战性的,因此设计了一个深度神经网络来关联它们。仅使用射频信号,神经网络就能够区分13个自由度的手势,包括10个不同手指关节的弯曲角度和手腕的三个旋转角度(滚动、俯仰和偏航)。理论上,单个传感器可以以几千赫兹的速率连续跟踪手势。
单个传感器可以在约6.6cm的等效深度捕捉肌肉的运动。收集成对射频信号和手势的训练数据集。地面真实手势是通过一个商业开发套件获得的。然后将新的射频信号输入训练好的神经网络,以跟踪动态手势。下图b显示了放松状态下的射频信号,然后弯曲中指并旋转手腕。每个面板包含20个RF信号,每个RF信号包含1024个数据点。初始反射峰对应于浅层肌肉,而随后的峰值属于深层肌肉。这些峰值的变化定性地揭示了肌肉运动。神经网络在前面包括八层一维卷积,每层卷积后都有一个校正的线性单元激活层。然后,数据通过一个平坦层、一个丢失层(丢失率为0.2)和两个全连接层。在每个完全连接的层之后,集成了基于整流线性单元的激活函数。最后一层产生了13个不同的自由度作为输出。在代表20秒连续手部运动的1000帧超声信号上测试了训练好的神经网络的性能,将神经网络预测的动态手部运动(红色曲线)叠加在地面真实值(黑色曲线)上进行比较,所有13个自由度的预测差异平均值仅为~7.9°。这些结果证实,单个传感器可以准确地跟踪动态手势。
图5. 使用深度学习的动态手势跟踪
人机界面的应用示例
为了演示手势的快速响应和动态跟踪,将单个传感器作为人机界面来控制虚拟对象和机器人手臂。虚拟飞鸟的高度由手腕俯仰角控制,能够通过一系列障碍物连续控制鸟的轨迹。还使用单个传感器作为手势和机器人手臂之间的接口,将手腕俯仰角和食指掌指关节角分别与机器人手臂的旋转角和夹紧距离相关联。为了实现设计的运动轨迹,单个传感器必须连续跟踪手腕俯仰角(蓝色曲线)和食指弯曲角(橙色曲线)。通过这些操作,机器人手臂可以将受控量的水放入两个刻度量筒中。下图e显示了五种典型的手势和相应的机器人手臂状态。所有这些复杂的手势都被完全集成的单传感器EcMG系统捕获,以控制机器人手臂。
图6. 可穿戴 EcMG 系统的人机界面
本文报道了一种紧凑型EcMG系统,该系统集成了一个传感器、一个电路和一个电池,并封装在柔软的硅弹性体中。该设备可以在没有任何束缚线的情况下连接到皮肤上,用于监测深层肌肉动力学。通过使用EcMG系统来感知横膈膜和前臂肌肉,分别检测呼吸和手势模式证明了这一点。与测量肌肉产生的力的EMG相比,EcMG直接测量肌肉分布的状态。惯性测量单元传感器也可以用数十个传感器跟踪手势,但可穿戴EcMG系统的外形尺寸更小,接线更简单。虽然作者团队只在健康参与者中演示了动态手势跟踪,但可佩戴EcMG系统也可能适用于截肢者。对于他们,传统的惯性测量单元和应变传感器控制机制通常很难实现跟踪。EcMG系统可以从残肢收集射频信号,残肢的肌肉运动类似于健康肢体的肌肉运动,用于控制特定的手势。
EcMG系统可能在两个方面有益于临床研究。首先,它提供了一种连续监测呼吸系统疾病患者的方法。呼吸系统疾病管理最重要的方面是预防加重,EcMG系统可以通过检测早期生理变化并向医疗服务提供者或患者提供实时数据来预测病情恶化并指导个性化预防治疗。其次,该系统可能有助于临床医生找到启动和拔管机械通气的最佳时机。大多数肺部疾病,特别是细菌性和病毒性肺炎,可能会发展为呼吸衰竭。许多患者需要机械通气支持。然而,过早或长时间的机械通气都会对患者造成伤害,如气道创伤、失调和严重的肌肉无力。EcMG系统允许持续监测,可能使医生能够更精确地确定拔管患者的最佳时机,从而改善患者体验和治疗效果。
未来关于EcMG技术的工作可以着手解决以下问题。首先,对隔膜厚度变化的分析是手动完成的,这很耗时,容易出现操作错误,不适合长期监测。可以开发图像分割方法来跟踪M模式图像,从而自主计算隔膜厚度和相关参数。其次,自由度的数量受到用于获取地面实况的商业开发套件中应变和惯性测量单元传感器数量的限制。添加更多的传感器将进一步提高手势跟踪的准确性。第三,使用4MHz的换能器中心频率,其受到微控制器单元的采样率(12MHz)的限制。高速ADC芯片将采样率提高到几十兆赫,从而提高监测肌肉活动的准确性。第四,目前的系统集成了许多商用现成芯片,这占了设备的尺寸。用专用集成电路芯片取代这些芯片可以进一步降低外形尺寸和功耗。最后,对于手势跟踪,当前的系统必须连接到计算机才能访问神经网络。机器学习算法可以在完全集成的可穿戴系统(即边缘计算)内的芯片上运行,以消除对庞大后端系统的需求。
原文链接
https://www.nature.com/articles/s41928-024-01271-4