Science Robotics封面|视触觉感知融合显著提升未知物体的机器手掌上灵巧操作

文摘   2024-12-04 15:30   辽宁  

点击蓝字关注并设为星标

要实现与人类相媲美的灵巧程度,机器手必须具备多模态感知能力,以精确估计物体的形状和姿态。当前,机器手的掌上操作(in-hand manipulation)主要依赖于视觉技术,且仅限于操纵已知的先验物体。然而,在现实环境中,物体经常会受到视觉遮挡。因此,如何使机器手能够更有效地操纵未知物体一直是该领域研究的一大难题。

美卡内基梅隆大学机器人研究所、加州大学伯克利分校等共同组成的研究团队提出了一种名为NeuralFeels的方法,将视觉与触觉感知相结合,通过多模态融合的方式,使机器手能够对未知物体持续进行3D建模,从而更精确地估计掌上操作物体的姿态和形状。相关研究成果于2024年11月13日以封面文章发表于Science Robotics
研究团队将视觉、触觉和本体感知输入到在线神经场中,对未知物体持续地进行迭代式3D优化重建。NeuralFeels首先在前端实现视觉和触觉的鲁棒分割和深度预测,而在后端将此信息输入到在线神经场中,同时通过体积采样进一步优化姿态。当视觉严重遮挡时,触觉弥补了视觉无法覆盖的遮挡面,使重建更加完整,并提升了局部表面重建的精度。

研究团队针对14种不同的物体,通过本体感知驱动策略,对机器手掌上操作在模拟环境和真实环境中进行了多模态手部感知的对比实验。结果显示,最终重建F分数为81%,平均姿态漂移为4.7 mm;对于已知物体,漂移仅为2.3 mm。在面对严重遮挡和视觉深度噪声等具有挑战性的场景时,NeuralFeels技术同样表现非常出色。在模拟的200个不同相机视角的遮挡实验中,平均跟踪性能提升21.2%,在严重遮挡情况下提升幅度最高可达94%。

NeuralFeels技术的创新之处在于它融合了多模态数据,并结合了在线神经场,这些技术使机器人能够在操纵未知物体时实现更精确的姿态跟踪和形状重建。相较于依赖复杂传感器的方法,研究团队使用空间感知组合所需的硬件更少,也比端到端感知方法更容易解释。尽管该技术在一些方面仍有待完善,如在长期跟踪中由于缺乏闭环检测可能导致小误差累积,但其提升机器手操作精度的效果已非常显著。

未来,研究人员计划进一步优化这一技术,如通过基于特征的前端获取更粗略的初始化,引入长期闭环检测以减少姿态误差的累积,通过控制神经SLAM的输出进行通用灵巧性研究等。

信息来源:

https://www.ithome.com/0/810/574.htm

https://www.science.org/doi/10.1126/scirobotics.adl0628

Suresh S, Qi H Z, Wu T F, et al. NeuralFeels with neural fields: Visuotactile perception for in-hand manipulation[J]. Science Robotics, 2024, 9(96). DOI: 10.1126/scirobotics.adl0628.

END



版权声明:本文来源内部整理,仅供交流学习使用,欢迎转载,请联系授权!


 
欢迎关注《机器人》视频号

机器人ROBOT
《机器人》是由中国科学院主管,中国科学院沈阳自动化研究所、中国自动化学会共同主办的科技类核心期刊,主要报道中国在机器人学及相关领域具有创新性的、高水平的、有重要意义的学术进展及研究成果。
 最新文章