触觉是感知和操作之间的桥梁。触觉信息对于手部行为反馈和规划具有重要意义。软体手的柔性特性在人机交互、生物医学设备和假肢等方面具有潜在应用的优势。本文提出了一种名为 PaLmTac的嵌入软体手手掌的视触觉传感器（vision-based tactile sensor, VBTS）。采用分布式模态设计取代功能层叠加设计。一方面，解决了不相关模态集成（纹理和温度）的问题; 另一方面，结合层次-区域识别机制可以避免不相关模态的混合干扰。
一、结构
软手由五个手指、手掌和一个VBTS组成。软体手采用层阻塞结构实现可变刚度，在真空压力下，夹层的相互挤压促进硬度增加。
图1（左）(a) PaLmTac 的结构和分布式模态设计。(b)集成视触觉传感器的软体手。(c) 涂层用于阻挡外界光线干扰。（右）软手结构。1 ）手掌表面；2 ）支撑板；3） 手掌壳；4 掌背；5 ）软体手指。
二、弹性体和涂层的制造
图2 分布式模态制备流程
制备流程如下：①定制了一套金属和树脂模具。石英块具有较高的耐热性来满足加热要求。②将石英块嵌入树脂模具中，用金属模具组装。③将调配好的硅胶溶液倒入模具中。④将模具放入真空烤箱中。弹性体通过真空加热来固化。⑤将热致变粉末和硅胶的混合物倒入模具的右下角。⑥进行了第二次真空加热处理。⑦在模具上进行金属溅射。⑧带有涂层的弹性体与模具分离。
三、LRFE-Net 的结构
1. 区域识别机制（初始特征提取）包含特征映射、区域卷积和区域矢量化，其目的是并行识别不相关模态。
2.层次识别机制（深度特征提取）提供了调整网络深度的灵活性，以平衡各模态特征的学习难度。
图3 层次-区域识别机制。
四、实验
柔性/变刚度状态下软体手的负载测试：
图4 软体手负载测试
软体手的抓握测试：图5 软体手多模式抓取测试
感知测试：
图 6 交叉学习测试。一方面，区域识别机制实现了并行识别；另一方面，层次识别机制提升了网络对复杂特征的学习能力
五、总结
论文提出了一种新型的视触觉传感器，采用分布式模态设计和层次-区域特征提取机制。传感器结构简单，兼容性高，可安装到手掌中，提供多模态感知，同时不影响手指的灵活性和操作空间。实验结果验证了层次-区域特征提取机制在不相关模态识别中对融合误差控制的有效性。
参考论文：Zhang, Shixin, Yang, Yiyong, Shan, Jianhua, Sun, Fuchun, Xue, Hongxiang, and Fang Bin*. PaLmTac: A Vision-based Tactile Sensor Leveraging Distributed-Modality Design and Modal-matching Recognition for Soft Hand Perception[J]. IEEE Journal of Selected Topics in Signal Processing, 2024.Doi:10.1109/JSTSP.2024.3386070
通讯作者：fangbin1120@bupt.edu.cn
