首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

Meta AI 的这些新技术，让机器人拥有「触觉」

科技 2024-11-05 18:26 广东

触觉加持

无限类人

人工智能机器人发展到今天，其拥有「视觉」或者「听觉」早已经见怪不怪。毕竟，这两种感官几乎是人类感知物理世界最重要的渠道。

而 Meta AI 的基础人工智能研究团队（FAIR）近日公布的新技术，则为机器人赋予了「触觉」。对此，Meta 的愿景是使 AI 能够「更丰富地了解世界」并「更好地理解和模拟物理世界」。

毫无疑问，这些新技术让机器人又多了一种与世界互动的方式，也让其在「类人」的道路上又向前了一步。

图片来自：NewsBytes

关注爱范儿，发现下一个明日产品

Meta 正在与美国传感器公司 GelSight 和韩国机器人公司 Wonik Robotics 合作，开发了一系列新技术，致力于将触觉传感器商业化，并将其用于人工智能当中。

这些新技术包括三个研究工具——「Sparsh」、「Digit 360」和「Digit Plexus」，专注于触觉感知、机器人灵巧性和人机交互。此外，Meta 还引入了「PARTNR」，这是一种新的基准测试，用于评估人机协作中的规划和推理。

需要注意的是，这些新技术目前并未为消费者推出，而是面向科学家和研究人员的。

图片来自：Techopedia

Sparsh 是第一个用于基于视觉的触觉感知的通用编码器模型，由华盛顿大学和卡内基梅隆大学合作开发。

听起来似乎有些抽象，既然是「触觉」，为什么又「基于视觉」呢？

实际上，传统方法依赖于特定任务和传感器的手工模型，其需要将物体的「触摸参数」（例如力量、摩擦等等）打包成「感觉标签」喂给机器人，相当于告诉机器人什么是「轻轻地拿」或者「用力地推」。

然而这种方法比较麻烦，因为需要为每个不同的任务和不同的传感器收集很多这样的标签数据。

Sparsh 则通过自我监督学习（SSL）从经验中自主学习，不需要告诉它每个动作对应的标签。其在一个包含 460000 多个触觉图像的大型数据集上进行预训练，这就像是让机器人看很多不同的物体和场景，然后自己学习如何识别和处理这些物体。

简单来说，Sparsh 就像是让机器人通过看大量的图片和视频来自学如何「感觉」物体，而不是通过人工给它的「感觉」打标签。这样，机器人就更容易学会如何在不同的任务中使用不同的触觉传感器了。

有趣的是，「Sparsh」这个名字源自梵语，意为「触摸或接触感官体验」，这与它处理数字化触觉信号并实现触摸感知的功能非常贴切。

图片来自：Meta

Digit 360 是由 Meta 与 GelSight 公司联合开发的一种人造手指形状的触觉传感器，它通过以人类级别的精度对触摸进行数字化，能够提供丰富而详细的触觉数据。

Digit 360 配备超过 18 种传感功能，允许研究人员结合各种传感技术或者分离单个信号以深入分析每种模式。

它可以检测空间细节的微小变化，能够捕获小至 1 毫牛顿的力，并且包含多种传感模式，可以感知振动、热量甚至气味，性能明显优于以前的传感器。

Digit 360 触觉传感器（右）. 图片来自：Meta

Meta AI 团队还为其开发了一种宽视场的触摸感知专用光学系统，由超过 800 万个传感器单元（taxels）组成，用于捕捉指尖表面的全向变形。

此外，借助设备上的人工智能加速器，Digit 360 能够快速处理信息，对触摸刺激做出反应，可以充当机器人的周围神经系统。这一设计的灵感来源于人类和动物的反射弧。

显然，除了提高机器人的灵活性以外，这款传感器在医学、假肢、虚拟现实和远程交互等领域都有广阔的应用前景。

图片来自：Meta

Meta 在博客中说道：

人手非常擅长向大脑发出从指尖到手掌的皮肤触摸信息，这使得其在做出决定时能够激活手部肌肉，例如如何在键盘上打字，或者与过热的物体交互。实现嵌入式人工智能需要机器人手上的触觉传感和电机驱动之间的类似协调。

基于这个理念，Meta AI 与 Wonik Robotics 合作，提出并建立了一个标准化软硬件平台 Digit Plexus。

它允许将各种指尖和皮肤触觉传感器（例如 Digit、Digit 360 和 ReSkin）集成到一个机器人手中，并通过一根电缆将触觉数据编码并传输到主机计算机中，以实现无缝数据收集、控制和分析。

Plexus 系统的设计旨在简化机器人应用的开发，特别是对于那些需要精细触觉反馈的应用。通过使用 Plexus，开发者可以更容易地将触觉传感器技术集成到他们的机器人项目中，从而提高机器人的灵巧性和对物理世界的感知能力。

图片来自：Techcrunch

值得一提的是，Meta 与 Wonik 的下一步合作重点是开发 Wonik 的新一代 Allegro Hand，这是一款配备 Digit 360 等触觉传感器的机器人手，它将在 Digit Plexus 平台上运行。

图片来自：XELA

为了研究家庭活动中的人机协作，Meta 在 Habitat 3.0（一个用于研究家庭环境中人机协作任务的模拟平台）的基础上，发布了人机协作规划和推理任务基准 PARTNR。

PARTNR 是同类中最大的基准，包含 100000 个自然语言任务，涵盖 60 栋房屋和 5800 多个独一无二的对象。该基准的目标是评估大型语言和视觉模型（LLMs / VLM）通过人机交互工具与人类协作的性能。

通过提供标准化基准和数据集，Meta 表示「希望它能使机器人的研究不仅能够独立运行，而且能够围绕人类运行，使它们更加高效、可靠，并且适应每个人的喜好」。

图片来自：LinkedIn

让机器人拥有「触觉」，并不是一座「空中楼阁」。

这些机器人对外界变化拥有远超人类的敏感度，配合高效的软硬件协作系统，他们将会在外科手术或者精密仪器制造场景中大有用武之地。

其实，不仅「视觉」、「听觉」和「触觉」，宾夕法尼亚州立大学的研究人员已经在人工智能模型模拟出了「味觉」；同时，一家名为 Osmo 的公司已经教会人工智能模型如何模仿远优于人类的「嗅觉」。

也许未来的机器人能够在感官方面完全「复刻」人类。只是他们最好不要再拥有逼真的「人形」，否则，恐怖谷效应要犯了。

文｜范津瑞

中国团队夺冠的赛博格「奥运会」，让我们看到人与机器的共生

iPad mini 7 的果冻屏，怎么就被治好了？

http://mp.weixin.qq.com/s?__biz=MjgzMTAwODI0MA==&mid=2652378937&idx=3&sn=8fcd1cac1c08b16ada93fd5601fefbeb

关注明日产品的数字潮牌

最新文章

马斯克也在用的「减肥神药」在中国上市了，真有那么神奇吗？

对话月之暗面创始人杨植麟：AI 未来最重要的能力是思考和交互

卡西欧发布首款智能戒指，就是一个能戴在手指的手表

华为 Mate70 定档海报提前曝光 / 苹果正考虑制造自有品牌电视 / vivo X200 系统更新，推出炫光减弱功能

凭一个计算器，卡西欧这只手表火了半个世纪

摩托罗拉销量大涨，还要在三年内做到世界前三？

新款 Mac mini 拆解：机身小但散热强，硬盘可拆可更换

OpenAI 将打造「人工智能经济区」，称面对与中国的竞争「别无选择」

华为 Mate70 或在本月26日发布/迈巴赫漏水车主：纠纷已解决/美团哈啰单车在郑州停运，哈啰已恢复

拥有 10 台电机的仰望 U7，开启了中国品牌的高端轿车之路

苹果罕见原型机曝光，全压感按键 iPhone 或会出现

小米汽车发布智能底盘预研技术/iPhone 15成Q3全球销量最高智能手机/吉利汽车宣布极氪将控股领克

小米汽车发布新技术，雷军要让 SU7 「原地起跳」

第十万台小米 SU 7 正式下线，雷军秀车间睡姿/曝苹果将推出 AI 智能家居中控屏/小米 AI 眼镜或明年发布

实测完 Mac mini 的 3D 渲染能力后，我们发现了一点惊喜

华为智驾上车比亚迪！方程豹豹 8 正式上市，37.9 万元起

为了吸引新用户，尼康造了一台针对富士的相机

春节和劳动节假期各增加一天/传苹果将进军智能家居网络摄像头市场/李子柒恢复更新，微念回应

iPhone 16，引起一场手机壳的割据混战

百度发布首款 AI 眼镜！比 Meta 爆款更卷，苹果也在押注的智能眼镜正在爆发

支付宝就故障致歉：不会影响用户资金安全/罗永浩发文怒喷餐厅卖预制菜/OPPO 首次领跑东南亚智能手机市场

奥迪发布了新品牌 AUDI 和新车 AUDI E，看完大家都沉默了

iPhone 部分旧款机型降至半价 /赛力斯再次发文，回应问界 M7 事故/开封夜骑爆火，官方喊话夜骑大学生

垄断小学生朋友圈的儿童手表，成也社交，败也社交？

OPPO Enco X3 耳机体验：虽迟但到的最佳「苹替」

M4 MacBook Pro 强了多少？我决定让它和王炸顶配 M1 Max 一决高下

OLED 太贵，MacBook Air 的「换屏计划」再搁置

字节最新技术一键「迁移」表情神态，人人都是演技派

网易披露反腐细节，涉案人员曝光/智界新 S7 将与华为 Mate70 系列一同发布/iPhone 18 Pro 有望搭载可变光圈

体验 iMac M4 后，我发现了苹果的小心思和乔布斯的影子

首款彩屏 Kindle 体验汇总：一块精彩的屏幕，但有一个明显的缺点

OLEDMacBookAir上市时间将推迟至2027年后/「纯血鸿蒙」微信已开启邀请内测/传哪吒汽车启动大比例裁员，官方否认

苹果最小电脑首测，我们发现了这些新玩法

独家首测：全新 Mac mini 的 Type-C 接口能供电了？实测后，我们发现了苹果的秘密

小鹏的增程汽车要来了！430km 纯电续航，1400km+ 综合续航

消息称小米 SU7 将冲刺月产量2.4万辆/亚马逊CEO ：五天办公强制令并非变相裁员/小鹏将推增程汽车，综合续航超1400km

苹果的 MagSafe 接口，还有必要保留吗｜硬哲学

你的下一台 Vision Pro，由 iPhone 驱动

曝苹果正为 iPad Air 开发 90Hz 屏幕/马斯克：特斯拉不造手机，除非苹果Google作恶/海马体回应照片被考研禁用

瑞士卷怎么分？我把这个席卷全网老公的问题抛给 12 个 AI，只有它最暖心

Meta AI 的这些新技术，让机器人拥有「触觉」

华为Mate 70官宣！余承东：史上最强/特斯拉Model Y成今年中国销冠车型/苹果Siri支持ChatGPT Plus

iPhone 的灵动岛终于要缩小了，靠的竟然是一块镜片

MacBook Pro 还有大更新？等等党又要赢了

iPhone 17 全系或支持 120Hz 刷新率/阿里为姜萍事件致歉，承认初赛成绩违规/Windows 10 将于明年终止支持

中国团队夺冠的赛博格「奥运会」，让我们看到人与机器的共生

25.99 万元！阿维塔 12 增程版发布，还给老用户带来了一大升级

iPhone 在全球都卖得更好了，除了中国市场

最大载重量 375kg，新能源车集体偷工减料？

比亚迪新能源汽车月交付量破 50 万/曝 iPhone 17 将采用自研 Wi-Fi 芯片/三星即将推出混合现实头显设备

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉