人工皮肤在机器人感知和医疗保健方面显示出巨大的潜力。它提供了包括三维形状重建、接触反馈和温度感知在内的多功能触觉感知，其中三维重建功能是灵巧手在触觉认知和互动中不可或缺的。视觉触觉传感器（VTS）是一种创新的仿生触觉传感器，与电子触觉传感器相比，它支持高分辨率、高精度、高密度的触觉重建。
考虑到视觉触觉感知对人工皮肤的独特贡献，近期方斌教授团队在期刊Advanced Functional Materials （影响因子18.5）发表论“Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation”，对基于视触觉传感的三维重建技术进行归纳和总结。本文期望作为视触觉传感的三维重建技术指南，为感兴趣的研究者提高技术参考。
图1 基于视触觉传感三维重建技术概览
1 三维重建技术概览
视触觉传感的载体是视觉，其三维重建技术与基于机器视觉的三维重建技术有相似之处但也有本质区别。视触觉成像局限于一个封闭的空间，其成像背景和光照是固定的。研究者需要在封闭空间中创造光照梯度来表示深度信息或者设置参考来标定深度。根据传感方式、硬件类别和建模方式，本文将基于视触觉传感的三维重建技术分成5类：1）光度立体；2）深度标定；3）光流；4）深度学习；5）深度相机。
图2 三维重建所需的光照方案
2 硬件对3D重建的影响
深度相机直接输出深度信息，但是成像距离限制了其在视触觉传感器应用的通用性。对于基于光度立体的三维重建，光照和涂层是关键因素。多方向不同光色照明是光度立体的基础。本文认为只要保证单方向有至少半个梯度，也可以达到三维重建的最低要求。在非常稳定的成像环境中，单色光的多方向照明也能提供稳定的梯度，使得RGB-梯度接近线性拟合。但是大多数时，二者处于非线性关联。
阴影会影响重建精度，这是由不均匀光照和光遮挡引发的。光照的均匀性与光源和涂层息息相关。一般，平面采用哑光涂层，曲面采用半镜面涂层。通过光路设计和光学优化来提高了光照均匀性。但是，环境光和复杂形变引发的不规则反射带来的干扰仍未解决。
对于基于双目标定的三维重建，标记尺寸、密度和特征提取难度是首要考虑的因素。为了获得更精准、连续的深度分布，需要关注微型标记的可识别性和可追踪性。此外，虽然忽略光在亚克力板和弹性体的折射可以简化标定流程，但不同强度的光照对其影响未得到实验验证。
考虑到相机数量，本文认为基于光度立体的三维重建比基于深度标定的三维重建更适用于微型视触觉传感器。基于光流法的三维重建是密集标记物在深度标定的一次有趣的探索。随机性提高了数据的鲁棒性。无论结合深度标定还是深度学习，光流都具有稳定的深度信息表达。基于深度学习的三维重建具有包容性，它不指定特定的数据类型。所以，它对硬件的依赖性低，更多关注的是减少硬件的差异性来提升数据质量。
图3 高性能涂层制备方案
3 三维重建方案分析
对于光度立体法，小规模数据只能解决局部深度标定。为了获取RGB和梯度的全局映射，势必要扩充数据规模。CNC的开发解决了数据不足的问题。对于曲面的三维重建，需要划分区域并建立对应查找表。MLP简化了标定过程，对平面和曲面都有高适用性。它比查找表有更高的重建精度，但是依赖大量数据来修正误差。无论是查找表还是MLP，都是对RGB和梯度的非线性逆求解。当完全阻挡环境光和建立均匀的内部照明时，二者可能存在近乎线性的关系，这将会给三维重建带来更多便捷。
对于双目标定法，最大的困难在于追踪到所有标记并匹配。图像噪音会掩盖标记特征。形态学处理会遗失部分标记点的信息。当标记尺寸越小、密度越大，丢点的概率越大。这扰乱了标记排序，进而影响匹配的准确性。以现在的标记密度来看，双目标定只能获取离散点云。引入图像分割网络是一个有趣的尝试，为标记超微型化提供了契机。但是，需求突出标记的特异性，让网络对相邻的标记生成高灵敏的边界感。研究者开始讨论光折射对深度标定的影响，但是在相机标定阶段已经存在干扰。之后的工作需要关注折射的潜在影响。
图4 基于光度立体三维重建
光流法容易受到环境光的干扰。一方面，强度误差影响高斯密度的准确性；另一方面，对建立标记二维到三维的映射带来偏差。但是，随机标记物具有更高的鲁棒性。与其它传感模式结合（例如复眼结构），可以创造局部线性的深度映射。
图5 基于深度学习三维重建
深度学习的难度大于其它方式。重建精度与模型泛化性直接关联，这取决于触觉数据的规模。从多类别物体上获取真实深度值的难度大，这不利于大量数据的标注。深度学习与上述方法结合可以获得优势互补，例如补充梯度信息、预测关键深度参数、分割标记阵列。这在实验中已经证明了其可行性。综上，三维重建方法的选择取决于传感需求。由于视触觉传感器具有多模态集成，三维重建也需要考虑其它传感功能。例如，集成涂层和标记阵列的视触觉传感器可以实现纹理映射/重建和力感知，但是标记影响了重建精度（引发小的肿块）。密集标记遮挡了纹理细节，因此这类传感器突出了重建功能而减弱了纹理映射。考虑到重建难度和通用性，本文认为光度立体和双目标定更适用于常规视触觉传感器。
4 重建评估
三维重建精度的评估难点在于真实值的获取。测试对象类别越多，越能全面地反映出重建性能。通常，物体的深度信息很难获取，尤其是不规则形状的物体。研究者选择几何易于解析的物体或者依赖深度测量仪器来生成真实值。测量的深度值与预测的深度信息在类型上可能并不匹配。数据类型转换又会引入新的误差。目前，校准球是深度标定和重建评估最常用的测试物。通过图像处理和手动调节可以提高圆心的定位精度，但是像素误差不可避免，并在特征映射阶段进一步扩大。此外，三维重建结果来源于型号各异的传感器。一方面，传感器差异引发的触觉数据不统一；另一方面，测量基线不统一，难以在同一评价指标下评估重建性能。因此，本文更多地是对评估方式的总结而不是对重建精度的广泛讨论。
论文链接：
S. Zhang,Y. Yang, Y. Sun, N. Liu, F. Sun, B. Fang, Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation. Adv. Funct. Mater. 2024, 2411686. https://doi.org/10.1002/adfm.202411686
（通讯作者：fangbin1120@bupt.edu.cn）
