普渡大学和麻省理工学院合作开发集成视触觉指尖传感器的5自由度抓手

文摘 2024-09-03 00:00 北京

虽然机器人已经开始在现代制造业、医疗、服务业等领域进行渗透，但对于机器人尤其是机械臂的操作能力，仍然有很大的提升空间，传统多指机器人手虽然能够实现复杂的操作任务，但其高度冗余性也带来了不必要的复杂性。近日来自普渡大学和麻省理工学院的研究团队开发了一款配备触觉传感器的5自由度（DoF）触觉双指抓手，该设计能够简化的机械结构和增强的触觉感知能力，实现更高效、更精确的在手操作。

▍5 DoF触觉感知抓手的设计原理与技术亮点

传统仿生灵巧手虽然功能强大，但复杂的机械结构增加了系统的不稳定性和维护成本。为了克服这个问题，研究团队，采用双指夹具设计，并结合线性执行器和旋转伺服电机，实现了5 DoF的操作空间。这种设计的好处在于不仅降低了机械复杂度，还一定程度上提高了系统的可靠性和可维护性。

研究人员表示，这款5 DoF特殊定制的夹具，每只手指配备了一个线性执行器（Actunonix L12-R）用于实现沿手指长度的直线运动，以及一个旋转伺服电机（Wishiot RDS3235）用于调整手指的旋转角度。这种组合提供了在三维空间中的灵活操作能力，使抓手能够执行滚动、旋转和线性位移等多种操作模式。

为了提升抓手的感知能力，研究团队集成了GelSight Mini触觉传感器。这款传感器能够提供高分辨率的触觉图像，让机器人能够“看到”并理解物体的形状、纹理和接触力。这种视觉化的触觉反馈为机器人提供了丰富的环境信息，使其能够在无视觉辅助的情况下准确判断物体的状态和位置。

为了进一步优化触觉感知效果，研究团队将触觉传感器安装在左手手指的指尖位置。该位置既能最大限度地感知到物体与手指的接触情况，又不会因为安装位置不当而影响手指的灵活性和稳定性。同时，为了应对不同形状和材质的物体，研究团队还为右手手指配备了一个可更换的软质假指垫。这种设计增加了抓手的通用性和适应性，使其能够处理更多种类的物体。

在实际操控方面，研究团队通过5 DoF的设计，抓手能够在三维空间中自由移动和旋转物体，从而实现更复杂的操作任务。其次，利用触觉传感器的反馈信息，机器人能够实时调整操作策略以应对环境的变化和物体的不确定性。例如，在抓取过程中，机器人可以根据触觉图像的变化动态调整抓手的宽度和力度以确保稳定抓取；在分离物体时，机器人可以通过触觉反馈感知到附着在物体表面的颗粒介质并采取相应的去除措施。

▍集成触觉传感器 5 DoF灵巧手技术亮点解读

GelSight Mini触觉传感器的集成是该灵巧手最大的亮点之一，这款传感器能够提供高分辨率的触觉图像数据，使机器人能够“看见”物体的形状、纹理和接触力分布情况。这种视觉化的触觉反馈极大地增强了机器人的感知能力，并为其执行精确操作提供了有力支持。例如，在抓取信用卡时，机器人可以通过触觉图像准确判断信用卡的姿态和位置信息，并据此调整抓手的操作策略以实现精确插入。

与传统多指机器人手相比，研究团队开发的双指设计大大简化了机械结构并降低了冗余性。该设计不仅减轻了抓手的整体重量和负载要求还提高了系统的可靠性和可维护性。例如，在发生故障时维修和更换零部件变得更加容易和快速，同时简化的结构也减少了控制算法的复杂度和计算量提高了系统的实时性能。

研究人员通过线性执行器和旋转伺服电机的组合实现了5 DoF的操作空间，使其能够在三维空间中自由移动和旋转物体从而实现更复杂的操作任务。例如，在抓取薄片物体（如信用卡）时抓手可以通过调整手指的角度和位置来稳定地夹持物体并避免滑落；在执行插入任务时抓手可以精确地调整物体的姿态以确保其顺利插入预定位置。

为了进一步提高操作的稳定性和准确性，研究团队还开发了一种基于模型预测控制（MPC）的控制算法。该算法能够根据触觉传感器提供的实时数据预测未来的操作状态并优化控制输入以实现预定目标。通过不断迭代和优化控制策略机器人能够在面对复杂环境时保持高效和稳定的表现。这种闭环控制策略不仅提高了操作的精确性还增强了机器人的适应性和鲁棒性。

▍两大测试结果表明该触觉抓手拥有较高稳定性和准确性

为了全面评估所设计的5 DoF触觉抓手的性能，研究团队进行了两项具有挑战性的实验任务：一是从颗粒介质中分离、抓取并分类各种物体；二是使用抓手执行信用卡的捡拾操控任务，包括精确插入读卡器。

实验采用了一台UR5e机器人作为操作平台，搭载了设计的5 DoF触觉抓手。为了模拟真实环境中的颗粒介质，研究团队选择了大米作为实验介质，并将其置于一个尺寸为135×112×55mm的塑料容器中，填充深度约为30mm。为了评估抓手的通用性，实验中选取了包括小球、坚果、软球、3D打印硬质球、大型高尔夫球和人造草莓在内的10种不同尺寸、形状和物理特性的物体。

在抓取过程中，GelSight Mini触觉传感器实时采集触觉图像数据，这些数据通过图像处理算法转换为接触区域图像和深度信息。通过设定阈值对深度图像进行二值化处理，可以提取出高精度的接触区域图像，为后续的抓取和分类任务提供关键信息。

1. 物体分离与分类实验

在物体分离与分类实验中，抓手首先被插入颗粒介质中，通过触觉模型预测控制（MPC）算法稳定地抓取目标物体。随后，抓手执行一系列精细的在手操作，以去除附着在物体表面的颗粒介质。实验结果显示，抓手能够成功地从颗粒介质中分离出各种物体，并对其进行初步分类。

实验结果表明，对于10种测试物体，该抓手总体成功率为76%（114次成功/150次尝试）。特别地，对于球形物体（包括各种球类和种子），成功率高达94.3%（99次成功/105次尝试）。这表明抓手在处理球形物体时具有极高的稳定性和准确性。

2. 信用卡捡拾与精确插入实验

在信用卡捡拾与精确插入实验中，抓手首先执行捡起操作以稳定抓取放置在平面上的信用卡。随后，通过一系列精细的在手操作调整信用卡的姿态和位置，最终实现精确插入读卡器。实验结果显示，抓手在连续10次尝试中均成功完成了捡拾、姿态调整和精确插入任务，成功率为100%。

在初始捡拾阶段，抓手通过平行配置的手指边缘稳定抓取信用卡并约束其位置。在捡拾过程中，触觉传感器实时提供信用卡的姿态信息，指导抓手进行精确的在手操作。最终，在确认信用卡姿态正确且位置准确后，抓手抬起并执行插入动作。

▍结果分析

1.抓取稳定性与成功率

实验结果表明，抓手在处理球形物体时表现出极高的抓取稳定性和成功率。这主要归功于球形物体在抓取过程中的均匀接触特性和触觉传感器的高精度反馈。然而，对于非球形物体（如坚果和人造草莓），抓取成功率相对较低。

2.触觉反馈的有效性

触觉传感器在实验中发挥了关键作用。通过提供高精度的触觉图像数据，传感器使机器人能够实时感知物体的形状、姿态和接触力信息，从而指导抓取和在手操作。特别是在信用卡捡拾与精确插入实验中，触觉反馈确保了机器人能够准确判断信用卡的姿态并进行精确调整。

3.控制算法的性能

基于触觉模型预测控制（MPC）的控制算法在实验中表现出了良好的稳定性和准确性。该算法能够根据触觉传感器提供的实时数据预测未来的操作状态并优化控制输入，从而确保机器人在面对复杂环境时能够保持高效和稳定的表现。

▍结语与未来：

研究团队开发的5 DoF触觉抓手，通过简化机械结构与集成高精度触觉传感器，显著提升了机器人在复杂环境中的操作能力。其核心价值在于，视线机器人低成本，可靠性的手部灵巧操作，为商业化的大规模普及做铺垫。研究人员表示，该技术未来可应用于工业自动化、医疗手术、家庭服务等多个领域，通过提升操作精度与效率，减少人工干预。

http://mp.weixin.qq.com/s?__biz=MzU2ODgzMTM5NA==&mid=2247498686&idx=1&sn=997bf0890923ebcdbf759ecf8350399c

CAAI认知系统与信息处理专委会

CAAI认知系统与信息处理专委会成立于2014年，胡德文教授担任专委会主任，孙富春教授担任荣誉主任，方斌教授担任秘书长。专委会不断吸纳业界人才，会员1000余名。创建了“认知系统与信息处理国际会议”、“机器人智能论坛”等品牌活动。

最新文章

电子皮肤作为人机接口在家庭护理机器人中的抓取识别

Science Robotics 把Arduino开发板做成柔性版，为软体机器人集成高性能计算能力

Science Robotics封面论文：假肢手的交互控制新思路，磁性植入让截肢者重获灵巧抓握功能

Science Robotics 通过新材料打造FiBa软机器人可实现四种形态进化

CoRL 2024 机器人抓取学习 GraspSplats：使用 3D 特征展开进行高效操作

触感灵巧手抓取操作视频集锦

第九届软体机器人大会｜第一轮会议通知和创新设计竞赛通知

Soft Robotics 多模式抓取能力的变刚度软体手

IEEE Trans. on Robotics：多模式软体手“抓取再吸取的连续操作学习”

IEEE JSTSP 嵌入软体手手掌的视触觉传感器PaLmTac

Science Robotics封面论文：假肢手的交互控制新思路，磁性植入让截肢者重获灵巧抓握功能

Science Advances 具有高灵敏度远程感知功能的多感受器皮肤

剑桥&ETH研究综述：NeRF在机器人技术中的应用

Nat. Commun.：飞秒激光书写受蚂蚁启发的可重构微型机器人集体

CoRL 2024 麻省理工学院提出T3触觉Transformer，打破触觉感知的壁垒，重塑未来机器人

斯坦福团队用模仿学习赋予机器人新技能：系鞋带

谷歌 DeepMind 联合斯坦福推出了主从式遥操作双臂机器人系统增强版ALOHA 2

IEEE TRO 人形机器人遥操作的综述

机器人遥操作视频集锦

Science Robotics 通过新材料打造FiBa软机器人可实现四种形态进化

Science Robotics 康奈尔大学用杏鲍菇控制机器人运动！

视触觉传感研究集锦

触感灵巧手抓取操作视频集锦

JBE 人体皮肤在机器人滑动按摩操作中的摩擦和变形行为

《中国科学：信息科学》综述文章：大模型驱动的具身智能：发展与挑战

RobotGPT：利用ChatGPT的机器人操作学习框架，三星电子研究院与张建伟院士、孙富春教授、方斌教授合作发表RAL论文

具身智能综述：鹏城实验室&中大调研近400篇文献，深度解析具身智能

具身智能的视觉-语言-动作模型综合综述论文

谷歌、CMU等研究综述：面向通用机器人的基础模型

AM：具有多模态触觉感知和人工智能的零偏差仿生指尖电子皮肤，可增强触觉感知

IROS 2024 “动态环境的重要性：具身导航至可移动目标物”论坛征稿

AFM 基于超材料的保形性和多感官整合的电子皮肤

第九届软体机器人大会｜第一轮会议通知和创新设计竞赛通知

Soft Robotics 多模式抓取能力的变刚度软体手

IEEE Trans. on Robotics：多模式软体手“抓取再吸取的连续操作学习”

IEEE JSTSP 嵌入软体手手掌的视触觉传感器PaLmTac

普渡大学和麻省理工学院合作开发集成视触觉指尖传感器的5自由度抓手

Science Robotics 麻省理工学院最新研究，从仿真中学习的精确选择、定位和抓放物体的视触觉方法

RAL论文：基于弹性体形变仿真的视触觉传感器仿真器Tacchi

OpenAI加持，1X消费级人形机器人亮相

IEEE TRO 人形机器人遥操作的综述

采访Figure Robotics CEO Brett Adcock：预测世界将有100亿个人形机器人，每个人都会拥有人形机器人

人形机器人Figure 02问世，进宝马工厂开整

OpenAI大模型赋能 Figure 01人形机器人的智能操作

Science 弹性模量提高3.5倍！新型3D打印技术

Science和Nature正刊2023年发表了9篇3D打印的相关文章

Nature封面论文：多无人机协同3D打印盖房子

强化学习和模型预测控制的区别与联系

强化学习经典教材的配套源代码上线了

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉