研究背景
手语是听障人士与外界沟通的重要桥梁，它是一种视觉语言，通过手部动作、手势、面部表情和身体姿势来传递信息。然而，手语的普及度不高，导致其使用者和非使用者之间存在沟通障碍。目前，手语翻译设备主要采用成像-图像处理、肌电传感、超声和压阻传感等技术，但基于这些技术的设备往往结构复杂、成本高昂、舒适度和灵活性不足，且制造工艺复杂。例如，基于视觉的手语翻译系统通常需要摄像头和复杂的图像处理过程，系统的复杂性和设备高成本阻碍了它们的广泛应用。
基于摩擦起电和静电感应原理的摩擦纳米发电机技术，因其低成本、轻重量、高灵活度和高灵敏度的优点，在现代柔性可穿戴技术研究中广受关注。但目前基于摩擦纳米发电机技术的手语翻译设备仍面临结构和工艺复杂、成本较高、器件拉伸性较低的问题，限制了其应用发展。因此，开发制造工艺简单、使用灵活性高、成本低廉的柔性可穿戴手语识别设备对于解决聋哑人日常沟通的问题十分重要。
文章概述
近日，华南理工大学物理与光电学院吴昊教授团队报道了一种低成本、使用灵活、可拉伸且可穿戴的手语翻译设备，该设备采用了基于硅胶和水凝胶的柔性可拉伸摩擦传感阵列，结合无线传输和机器学习技术，将手语信息实时翻译为语言文字。其中，摩擦传感阵列采用成本低廉的硅胶作为电正性介电材料，同时，将掺杂了氟化乙烯丙烯共聚物(FEP)粉末的硅胶作为电负性介电材料。利用硅胶保持材料的柔韧和可拉伸性能的同时，通过掺杂电负性较强的FEP粉末实现了材料整体的电负特性。此外，利用水凝胶作为导电材料，构建出摩擦传感阵列。通过摩擦传感阵列，将手部运动转换为电信号，灵敏度达到9.7 V/ KPa，响应时间 <30 ms。结合信号处理、无线传输和机器学习技术，将手语信息无线传输至终端，并在用户界面显示翻译的文本信息。
本研究采集了1000 组手语手势的数据，使用 ANN 机器学习算法进行分析，对10种手语手势的翻译准确率高达98.5%。该成果以“A wearable sign language translation device utilizing silicone-hydrogel hybrid triboelectric sensor arrays and machine learning”为题发表在Nano Energy上。华南理工大学物理与光电学院硕士研究生颜藏书和机械与汽车工程学院江赛华教授为论文第一作者，华南理工大学物理与光电学院吴昊教授为通讯作者。
图文导读
图 1.可穿戴手语翻译系统示意图。a）（I）柔性可拉伸摩擦传感器单元示意图和 （II） 佩戴在人手上的摩擦传感阵列和手语翻译示意图。b） 佩戴摩擦传感阵列的照片。c） 可穿戴手语翻译系统的技术流程图。
图 2.材料制造工艺和机械性能测试结果。a） 硅胶掺杂 FEP 粉末的工艺流程示意图。b） 摩擦传感器的原始和拉伸状态的照片。c） 不同浓度的 FEP 粉末混合的硅胶的拉伸强度测试。d） 掺杂 20 wt% 浓度 FEP 粉末的柔性摩擦传感器的拉伸回弹性测试。e） 掺杂 20 wt% FEP 粉末的柔性摩擦传感器的拉伸回弹稳定性测试。f） 掺杂 20 wt% FEP 粉末的柔性摩擦传感器在不同拉伸条件下的电导率测试。g） 照片说明了掺杂 20 wt% FEP 粉末的柔性摩擦传感器在不同拉伸条件下的电导率比较。
图 3.摩擦传感单元的工作原理和电学输出测试结果。a） 摩擦传感单元的机电转换原理图。b） 利用COMSOL 软件对摩擦传感单元电势分布的仿真。c-e） 掺杂不同浓度FEP粉末的摩擦传感单元的电荷、开路电压和短路电流输出。f）不同膜厚的摩擦传感单元的电学输出。g）不同接触面积的摩擦传感单元的电学输出。
图 4. 摩擦传感单元的传感性能测试结果。a） 摩擦传感单元响应时间测量。b） 摩擦传感单元在不同驱动频率下的电压输出。c）摩擦传感单元在不同外部刺激压力 （0.5 N~3 N） 下的电压输出。d）摩擦传感单元的循环稳定性测试。e）摩擦传感单元原始状态和放置60天后的输出对比。f） 摩擦传感单元原始状态和拉伸1000次后的输出对比。g-h）摩擦传感器件佩戴在手腕和手指的电压输出。
图 5.可穿戴手语翻译系统展示。a） 10种手语手势对应的电压信号图。b） 1 10种手语手势的混淆矩阵。c-d） 训练前后手语翻译系统记录的t-SNE 对比图。e） 可穿戴手语翻译系统将“LOVE”手语翻译成文字并显示实时翻译结果的照片。f） 手语翻译系统的用户界面。
总结
综上所述，本文提出了一种基于摩擦纳米发电机技术的柔性可拉伸摩擦传感阵列，并结合机器学习技术开发了一套柔性可穿戴的手语识别系统。与现有的可穿戴手语翻译技术相比，该系统具响应时间快、拉伸性能好、成本低廉（整套传感阵列价格低于1.5美元），以及制造工艺简单、舒适性高等优势。该研究为手语翻译提供了一种有效的解决方案，有望推动手语翻译设备的大规模应用，为聋哑人士的日常交流带来便利。
编辑：川墨 | 审核：树屋鼠
