"怀长期主义，聊医工科技"
不错过医工超人文章三部曲：1. 关注公众号 2. 经常点击“在看” 3. 点击公众号右上方设置“星标” 每篇文章都会按时推送不错过
| 今天的文章中，超哥为大家介绍一种创新的面部表情识别系统，利用智能手机发射的近超声波信号，通过回声分析来解码用户的情感状态。与传统的摄像头或额外硬件依赖的表情识别方法不同，FacER+无需外部设备，只使用手机内置扬声器和麦克风即可实现高精度的表情检测。该系统引入了对比学习和外部注意力机制，有效克服了数据分布不一致和背景噪声干扰的问题，并通过数据增强和域适应技术提高了对不同用户和环境的适应能力。实验表明，FacER+能够在用户戴口罩或表情被部分遮挡的情况下，依然保持超过90%的识别准确率，尤其是在新用户和不同时空条件下表现出强大的鲁棒性。FacER+为隐私安全、无硬件负担的情感识别技术提供了一个革命性的解决方案，未来有望广泛应用于社交互动、心理健康监测等领域。 |
本文详细介绍了FacER+系统，该系统利用智能手机发射近超声波信号，通过分析声波回声来实现面部表情识别。系统旨在克服现有方法中的隐私问题、数据集分布不一致等挑战，并使用对比外部注意力机制以提升不同用户表情识别的准确性。主要贡献包括设计了一种基于对比外部注意力的模型，采用数据增强与域适应算法，有效识别多种面部表情，且无需额外硬件。实验结果表明，FacER+在多种场景下对6种常见面部表情的识别准确率超过90%。
超声波面部表情识别系统
1. 研究背景与问题
智能手机已成为数字时代的核心设备，理解用户的情感反应对于提升社交媒体交互体验非常重要。面部表情被认为是解码情感最直接的方式，但现有方法如基于摄像头的技术存在隐私问题，或依赖额外硬件。本研究提出了一种基于智能手机的近超声波表情识别系统，以应对这些挑战。
图2a: 线性调频连续波（FMCW）的示意图。图2b: 自注意力机制的示意图。这是对基础概念的图示，展示了FMCW信号和自注意力机制的基本操作原理
2. FacER+ 系统介绍
FacER+ 是一款利用智能手机内置扬声器发射19-23kHz的近超声波信号，并通过麦克风接收反射回声的表情识别系统。其主要特点包括：
无硬件依赖：仅利用智能手机的扬声器和麦克风，无需麦克风阵列或Wi-Fi路由器等外部设备。
噪声消除与数据增强：通过设计的外部对比注意力模型消除背景噪声，并使用数据增强策略以减少训练数据不足的影响。
域适应算法：通过对比学习实现源域与目标域数据分布的一致性，从而提升对不同用户的适应性。
3. 数据增强与域适应
为了解决训练数据不足的问题，FacER+设计了两种数据增强策略，分别为同一用户内数据增强和跨用户数据增强。前者通过改变声信号的幅度来生成新数据，后者则使用动态时间扭曲算法从其他用户的数据中合成邻近数据。此外，系统通过生成伪标签来处理未标记数据，并使用外部注意力机制提取表达特征。
50毫秒内六种表情的频谱图：第一行来自未戴口罩的女性，第二行来自未戴口罩的男性，第三行来自同一名戴口罩的男性。
4. 实验与评估
实验在20名志愿者中进行，结果表明，FacER+在六种面部表情识别上取得了超过90%的准确率，且在用户独立测试中（即训练数据和测试数据来自不同用户）也取得了显著的表现。此外，实验还验证了系统在不同噪声环境、时间跨度以及戴口罩情况下的鲁棒性。特别是在口罩情况下，FacER+的识别准确率依然高达91.8%。
5. 结论与未来工作
FacER+通过创新的超声波信号处理与域适应模型，提供了一种无需摄像头或额外硬件的表情识别方法。未来工作包括进一步提升系统对更加复杂场景（如动态表情变化）的适应性，以及对隐私保护的进一步优化。
参考文献
Wang, Guangjing, Juexing Wang, Ce Zhou, Weikang Ding, Huacheng Zeng, Tianxing Li, and Qiben Yan. "Decoding Emotions: Unveiling Facial Expressions through Acoustic Sensing with Contrastive Attention." arXiv preprint arXiv:2410.12811 (2024).
"怀长期主义，聊医工科技"
我是超哥，超声行业17年老伙计，做过研发，搞过生产，趟过市场，开过（在开）公司；越野跑爱好者；工作狂；沟通粗暴直接；严苛完美主义者；起伏皆为过往；信奉长期主义和第一性原则；欢迎来聊来组局...
*医工超人·招聘求职群：定期发布超声招聘，求职信息
*免责声明*
本公众号注明原创的内容权利属于本服务或本服务权利人所有，未经本服务或本服务权利人授权，任何人不得擅自使用（包括但不限于复制、传播、展示、镜像、上载、下载、转载、摘编等）或许可他人使用上述知识产权的。已经本服务或本服务权利人授权使用作品的，应在授权范围内使用，并注明作者来源。否则，将依法追究其法律责任。
