![]()
为了达到人类水平的灵巧性，机器人必须从多模态感知中推断出空间意识来解释过度接触的交互。在用手操纵新物体时，这种空间意识涉及到对物体姿态和形状的估计。目前的手握感知主要使用视觉，并且仅限于跟踪先验的已知物体。此外，在操作过程中，手持物体的视觉遮挡是迫在眉睫的，这阻碍了当前系统在没有遮挡的情况下完成任务。 近日，美国卡内基梅隆大学Sudharshan Suresh团队结合了多指手的视觉和触觉感知来估计手部操作过程中物体的姿态和形状。这一方法，Neuralfeels，通过在线学习神经场来编码物体几何，并通过优化姿势图形问题来联合跟踪它。作者研究了模拟和现实世界中的多模态手部感知，通过本体感觉驱动策略与不同物体进行交互。实验表明，最终重建F分数为81%，平均姿态漂移为4.7毫米，在已知目标模型下进一步降低到2.3毫米。
此外，作者发现在严重的视觉遮挡下，与仅视觉方法相比，这一方法可以实现高达94%的跟踪改进。研究结果表明触摸，至少，细化，在最好的情况下，消除了在手操作过程中的视觉估计。作者发布了70个实验的评估数据集，FeelSight，作为在这个领域进行基准测试的一步。多模态感知驱动的神经表征可以作为提高机器人灵巧度的感知支柱。![]()
图1 使用NeuralFeels进行视触觉感知
![]()
图2 交互中的视触觉感知堆栈
![]()
图3 SLAM实验总结
![]()
图4 代表性SLAM结果
![]()
图5 已知物体的神经姿态跟踪
![]()
图6 遮挡消融与感知噪声
![]()
图7 真实世界和模拟实验设备
![]()
图8 前端和后端
- 原文题目：NeuralFeels with neural fields: Visuotactile perception for in-hand manipulation
- 原文链接：https://www.science.org/doi/10.1126/scirobotics.adl0628
声明：文章仅用于学术分享，如有不科学、不准确之处，或涉及知识产权问题，欢迎专业人士或作者下方私信更正或删除。欢迎论文投稿荐稿（免费），推广合作请后台私信。下方“阅读原文”可直接查看原文
