Meta刚刚让机器人离拥有「人类般的触感」又近了一步!
Meta AI团队推出了名为Sparsh的全新通用触觉表征系统,这是第一个能够跨多种触觉传感器和多种任务工作的通用编码器。
Sparsh不是简单的升级,而是对触觉AI的一次彻底颠覆。
它采用自监督学习方法,在46万多张触觉图像上进行预训练,无需标记数据就能适应各种视觉触觉传感器。
那么,Sparsh到底有多厉害呢?
Sparsh:触觉AI的「通才」
传统的触觉感知方法往往依赖于特定任务和传感器的定制模型。这种方法难以扩展,因为收集带有标签的真实数据(如力和滑动)成本高昂。
Sparsh通过利用自监督学习的进展,避免了对标签的需求。
它是一系列在46万多张触觉图像上预训练的模型,能够适应多种视觉触觉传感器。
Meta研究人员还引入了TacBench,这是一个由六个触觉中心任务组成的标准化基准测试。这些任务涵盖了从理解触觉属性到实现物理感知和操纵规划的一系列问题。
惊人的性能提升
在TacBench的评估中,Sparsh的表现令人惊讶:
与特定任务和传感器的端到端模型相比,平均性能提升了95.1%
在物理任务(如估计力和物体位置)方面,Sparsh (DINO) 表现出色
在识别基于触觉的属性(如滑动状态和抓取稳定性)方面,Sparsh (IJEPA) 表现更佳
总的来说,Sparsh (DINO) 的效果比Sparsh (IJEPA) 高出5.6%。
触觉AI的未来
Sparsh 不仅能帮助我们更好地理解触觉感知,还为定制化调整模型提供了新的可能性。
Meta还宣布与GelSight Inc和Wonik Robotics建立战略合作伙伴关系,以开发和商业化触觉感知创新,让研究社区更容易获取这些技术,并帮助培育AI的开放生态系统。
Sparsh的应用前景十分广阔,从医疗研究到供应链、制造业等多个领域都可能受益。它为我们创造了一个触觉AI更加智能、更加人性化的未来。
随着Sparsh的进一步发展,我们期待看到更多令人兴奋的应用案例。也许在不久的将来,机器人真的能像人类一样「感受」这个世界了。
相关链接:
https://sparsh-ssl.github.io/
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容,并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息,可节省约800+ 小时的阅读成本;
每天挖掘出10+ 热门的/新的 github 开源 AI 项目;
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年,0.27元/天。(每+100人,+20元。元老福利~)
一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;
二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。
欢迎你的加入!