人类情感的利用,包括情绪、情绪和感觉,越来越被认为是改善人类与不同机器和系统之间互动的关键因素。因此,人们越来越期望能够检测和识别情绪的技术将有助于多个领域的进步,包括HMI设备、机器人、营销、医疗保健、教育等。通过辨别个人偏好和提供身临其境的交互体验,这些技术有可能提供更加用户友好和定制的服务。尽管如此,由于情感固有的抽象性、复杂性和个性化性,解码和编码情感信息带来了重大挑战。
斯坦福大学Zhenan Bao课题组与Anson M. Lee课题组合作报道了一种可量产的制造能够在体内实现实时,稳定,细胞水平分辨率的电生理测绘的组织状,高密度,全弹性电极(电极)阵列。通过对急性兔和猪模型进行测试,该设备被证明具有牢固而紧密的组织耦合,同时在心动周期期间保持其化学,机械和电学性质。Elastrode阵列可记录心外膜心房信号,其功效可与目前可用的心内膜映射技术相媲美,但心室/心室信号比高2倍,空间分辨率高100倍以上,并且可以可靠地识别同时发现的转子区域内的局部电异质性 猪在慢性心房颤动模型中的类似电模式。
蔚山科学技术院Jiyun Kim团队开发了一种多模态的人类情绪识别系统,该系统可以通过结合语言和非语言表达数据来有效地利用全面的情绪信息。该系统由个性化皮肤集成面部界面(PSiFI)系统组成,该系统具有自供电、简单、可拉伸、透明等特点,具有第一个双向摩擦电应变和振动传感器,使我们能够首次感知和组合语言和非语言表情数据。它与用于无线数据传输的数据处理电路完全集成,可以执行实时情感识别。在机器学习的帮助下,即使戴着口罩,也能实时准确地完成各种人类情感识别任务,并ha在VR环境中演示数字礼宾应用。
图1:系统概述:个性化皮肤集成面部接口(PSiFI)示意图,包括摩擦电传感器(TES)、用于无线通信的数据处理电路以及用于面部表情和语音识别的深度学习分类器。
视频1
图2:应变传感单元的工作机理和表征。
图3:实时情感语音采集。
图4:基于VR环境下情感语音分类系统的数字礼宾演示。
作者提出了一种用于可穿戴人类情感识别系统的机器学习辅助PSiFI。PSiFI由基于PDMS的介电和可拉伸导体层制成,在现实生活中佩戴起来非常透明和舒适。通过赋予我们的 PSiFI 多模态功能,使用基于摩擦电的自供电传感单元同时检测面部和声音表情,作者可以获得更好的情绪信息,而不受时间、地点和障碍物等外部因素的影响。借助设计的数据处理电路单元和快速自适应学习模型,实现了实时人体情感识别的无线数据通信,即使有口罩等障碍,测试精度也达到了可接受的标准。最后,作者首先演示了数字礼宾在VR环境中的应用,该应用能够根据用户的情感语音信息响应用户的意图。
【参考文献】
https://www.nature.com/articles/s41467-023-44673-2#Sec8