从未见过现实世界数据，MIT在虚拟环境中训练出机器狗，照样能跑酷

科技 2024-11-17 15:01 北京

机器之心报道

编辑：杜伟

如今，机器人学习最大的瓶颈是缺乏数据。与图片和文字相比，机器人的学习数据非常稀少。目前机器人学科的主流方向是通过扩大真实世界中的数据收集来尝试实现通用具身智能，但是和其他的基础模型，比如初版的 StableDiffusion 相比，即使是 pi 的数据都会少七八个数量级。MIT 的这个团队希望用生成模型来作为机器人学习的新数据源，用工程手段来取代传统的数据收集，实现一条通过由生成模型加持的物理仿真来训练机器人视觉的技术路线。

随着机器人在训练过程中持续进化，进一步提升技能所需的数据也在增长。因此获取足够的数据对于提升机器人的性能至关重要，但在当前实践中，针对新场景和新任务获取数据是一个从头开始不断重复的手动过程。

另一种替代方法则是在模拟环境中训练，从中可以对更多样化的环境条件进行采样，并且机器人可以安全地探索故障案例并直接从它们自己的行为中学习。尽管业界已经在模拟物理和渲染方面投入了大量资金，但目前为实现真实性所做的最佳实践仍与现实存在差距。

一方面渲染真实的图像意味着要制作细致、逼真的场景内容，但大规模手动制作此类内容以获得机器人 sim-to-real（模拟到现实）迁移所需要的多样性，成本过高。另一方面，如果缺少多样化和高质量的场景内容，在模拟环境中训练的机器人在迁移到真实世界时表现得太脆弱。

因此，如何在无限的虚拟环境中匹配现实世界，并将色彩感知融入到 sim-to-real 学习中，这是一个关键挑战。

近日， MIT CSAIL 的研究者开发出了一套解决方案，他们将生成模型作为机器人学习的新数据源，并使用视觉跑酷（visual parkout）作为试验场景，让配备单色相机的机器狗快速攀爬障碍物。

研究者的愿景是完全在生成的虚拟世界中训练机器人，而核心在于找到精确控制语义组成和场景外观的方法，以对齐模拟物理世界，同时保持对于实现 sim-to-real 泛化至关重要的随机性。

arXiv 地址：https://arxiv.org/pdf/2411.00083
项目主页：https://lucidsim.github.io/
论文标题：Learning Visual Parkour from Generated Images

下图 2 为本文 LucidSim 方法概览：采用了流行的物理引擎 MuJoCo，并在每一帧上渲染了深度图像和语义掩码，这些一起被用作深度条件 ControlNet 的输入。然后从已知的场景几何和相机姿态变化中计算真值密集光流，并在接下来的六个时间步中扭曲原始生成帧以生成时间一致的视频序列。

在学习方面，研究者训练的视觉策略分为两个阶段完成：首先优化策略以模拟从特权教师收集的 rollout 中获得的专家行为。在经过这一预训练步骤后，策略表现不佳。因此，后训练步骤包括从视觉策略本身收集 on-policy 数据，并与当前收集的所有数据的学习交错进行。重复这一步骤三次使得该视觉策略显著提升了自身性能。

研究者表示，该策略足够稳健，在他们的测试场景中可以将零样本转换为真实世界的色彩观察。

下面我们来看一段视频展示：

LucidSim：利用物理引导生成多样化视觉数据

研究者考虑了这样一种 sim-to-real 设置，机器人在模拟环境中接受训练，并无需进一步调整就能迁移到现实世界。他们对自己打算部署机器人的环境已经有部分了解，可能是粗略的描述或者参考图像。

由于信息不完整，研究者依赖生成模型内部的先验知识来填补空白。他们将这一引导过程称为先验辅助域生成（Prior -Assisted Domain Generation，PADG），并首先采用对合成不同域至关重要的自动提示技术。

LLM 成为多样化、结构化的提示来源。研究者很早就观察到，从同一提示中重复采样往往会重现类似的图像。因此，为了获得多样化的图像，他们首先使用了包含标题块、查询详情的「元」提示，以提示 ChatGPT 生成批量结构化的图像块，最后以一个要求 JSON 结构化输出的问题结束。具体如下图 4 所示。

研究者的要求包括特定天气、一天中的时间、光照条件和文化遗址。手动编辑生成的图像提示是不切实际的，因而他们通过生成少量图像来调整元提示，并进行迭代直到它们始终可以生成合理的图像。下图 5 下面一行显示了相同元提示、不同图像提示的多样化样本示例。

在几何和物理引导下生成图像。研究者增强了一个原始文本到图像模型，在增加额外语义和几何控制的同时，使它与模拟物理保持一致。他们首先将图像的文本提示替换为提示和语义掩码对，其中每个对应一种资产类型。比如在爬楼梯场景中，研究者通过文本指定了粗略轮廓内台阶的材质和纹理。

为了使图像在几何上保持一致，研究者采用了现成的 ControlNet，该模型使用来自 MiDAS 的单目深度估计进行训练。条件深度图像则通过反转 z 缓冲区并在每一张图像内进行归一化处理来计算。此外，调整控制强度以避免丢失图像细节非常重要。他们采用的场景几何是以往工作中出现的简单地形，包括可选的侧墙。同时避免随机化几何地形以专注视觉多样性分析。

为了制作短视频，研究者开发了 Dreams In Motion（DIM）技术，它根据场景几何计算出的真值光流以及两帧之间机器人相机视角的变化，将生成图像扭曲成后续帧。生成的图像堆栈包含对跑酷至关重要的计时信息。生成速度也很重要，DIM 显著提高了渲染速度，这得益于计算流和应用扭曲要比生成图像快得多。具体如下图 6 所示。

通过 on-policy 闭环训练来学习稳健的真实世界视觉策略

训练过程分为两个阶段：一是预训练阶段，通过模拟有权直接访问高度图的特权专家来引导视觉策略，其中高度图通过 RL 进行训练。研究者从专家及其不完美的早期检查点收集 rollout，并向专家查询动作标签以监督视觉策略。该视觉策略在预训练后表现不佳，但在第二阶段即后训练阶段做出了足够合理的决策来收集 on-policy 数据。具体如下图 7 所示。

研究者遵循 DAgger，将 on-policy rollout 与上一步中的教师 rollout 相结合。他们从专家教师那里收集了动作标签，并用余弦学习率计划下使用 Adam 优化器运行 70 个梯度下降 epoch。研究者在实验中仅需重复迭代 DAgger 三次就可以实现接近专家表现程度的视觉控制器。实际上第二阶段中的闭环训练过程是机器人出色表现的主要原因。

一个简单的 transformer 控制模型架构。研究者提出了一个简单的 transformer 架构，与之前 extreme parkour，使用 transformer 大大减少了处理多模态输入时控制模型架构的复杂度，如下图 8 所示。以往四足跑酷的相关工作使用复合架构，首先使用 ConvNet 将深度图处理成紧凑的潜在向量，然后使用循环骨干网络。

研究者使用了带有多查询注意力的五层 transformer 骨干网络，输入的相机视频被切成小块，并由一个卷积层并行处理。然后，他们将这些 token 与同一时间步的本体感受观察的线性嵌入堆叠在一起。研究者对所有时间步重复此操作，并在 token 级添加了可学习的嵌入。他们发现，对于 RGB 图像，在卷积之前包含批归一化层也有帮助。

最后，研究者通过堆叠在输入序列末尾的额外类 token 来计算动作输出，然后是 ReLU 潜在层和线性映射。

实验结果

在实验环节，研究者考虑了以下任务：

追踪足球（chase-soccer）；
追踪橙色交通锥（chase-cone）；
攀爬各种材质的楼梯（stairs）。

他们分别在现实世界和一小部分使用 3D 高斯泼溅来模拟创建的真实世界场景中评估学习到的控制器性能。这些基准环境的示例如下图 9 所示。

此外，研究者进行了以下基线比较：

需要特权地形数据（障碍）的专家策略；
使用相同 pipeline 训练的深度学生策略；
使用纹理上经典域随机化训练的 RGB 学生策略；
以及本文基于 DIM 生成的帧堆栈进行训练的 LucidSim。

从生成图像中学习要优于域随机化

在模拟评估中，研究者观察到 LucidSim 在几乎所有评估中都优于经典域随机化方法，如下表 1 和表 6 所示。其中，域随机化基线方法能够在模拟中非常高效地爬楼梯，但在跨越障碍任务中表现不佳。这是因为深度学生网络在 3D 场景中遭遇了微妙且常见的 sim-to-real 差距。

比如由于受到栏杆的影响，Oracle 策略在其中一个爬楼梯场景（Marble）中表现不佳，因为它在训练环境中从未见过栏杆。相反，LucidSim 受到的影响较小。

从零样本迁移到现实世界

研究者在配备廉价 RGB 网络摄像头的 Unitree Go1 上部署了 LucidSim，在 Jetson AGX Orin 上运行了推理。每个任务都在多种场景中进行评估，并记录了机器人是否追到了目标物（追逐）或成功跨越障碍物。

下图 11 展示了 LucidSim 与域随机化方法的比较结果，其中 LucidSim 不仅能够识别经典的黑白足球，而且由于之前看到了具有丰富多样性的生成数据，因而可以泛化到不同颜色的足球。

对于跨越障碍（hurdle）和爬楼梯（stair）场景，Domain Rand. 无法始终如一地识别前方障碍物，并经常出现正面碰撞，而 LucidSim 能够始终如一地预测前方的障碍物并成功跨越。

学习 on-policy 要优于原始的专家数据 Scaling

研究者在下图 12 中，将基于 on-policy 的学习与原始的专家数据收集方法进行了比较。结果显示，通过额外专家专用数据训练获得的性能增益很快达到饱和。在跨越障碍和爬楼梯场景中，通过 DAgger 进行 on-policy 学习对于制定足够稳健的策略很有必要。

下图 10 展示了 LucidSim 和域随机化基线方法下 DAgger 产生的益处，其中前者的整体性能更高。

仅深度的策略过拟合训练几何

除了极限跑酷，研究者还考虑了两种深度策略，它们都接受了与 LucidSim 相同的训练，但输入深度不同。第一种（如上表 1 和表 6 第三行）接收远距剪切至五米的深度，并实现 120° FoV（视场角）。第二种（上表 1 和表 6 第四行）接收剪切至两米的深度。

在模拟评估中，研究者观察到，使用未剪切深度的策略会过拟合训练场景中的最小和简单几何，并被评估场景背景中的干扰因素所干扰。而视觉有限的深度策略不太会受到测试场景中多样性的影响，并且性能可以显著地提高。

理解 DIM 的速度和性能

图像生成是本文 pipeline 中的瓶颈。DIM 大大加速了每个策略的展开，同时通过权衡多样性提供动态一致的帧堆栈。研究者探究了独立生成每一帧如何影响学生网络的性能，他们认为跨越障碍场景最具挑战性。如下图 13 所示，在性能类似的情况下，DIM 可以在短时间内实现相同结果。

强大的条件降低多样性和图像细节

研究者需要权衡几何准确率与生成图像细节丰富度。当条件强度过低时，图像会偏离场景几何（如下图 14 左侧）。当条件强度过高时，图像会失去多样性和丰富细节（图 14 右侧），并且由于过约束而变得失真严重。

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com

http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650943282&idx=2&sn=52100ed9622689d5d763cc0aded327e0

机器之心

专业的人工智能媒体和产业服务平台

推理性能直逼o1，DeepSeek再次出手，重点：即将开源

诺奖得主哈萨比斯新作登Nature，AlphaQubit解码出更可靠量子计算机

神级项目训练GPT-2仅需5分钟，Andrej Karpathy都点赞

NeurIPS 2024 | 水印与高效推理如何两全其美？最新理论：这做不到

大模型代肝，自动刷《崩铁》升级材料，Claude操纵计算机还能这么用！

实测昆仑万维对话AI「Skyo」，会读诗、知晓雷军摆拍

室温超导学术不端、多次Nature撤稿，这位印度裔学者被大学解雇

德国科学家激进观点：意识是虚拟的，存在于大脑构建的梦中

媲美OpenAI事实性基准，这个中文评测集让o1-preview刚刚及格

在「最难LLM评测榜单」上，阶跃万亿参数模型拿下中国第一

登上Nature的AI芯片设计屡遭质疑，谷歌发文反击，Jeff Dean：质疑者连预训练都没做

高通的自研架构芯片，正在整合生成式AI世界

发力了，Mistral对标ChatGPT全面升级le Chat，还祭出超大杯多模态模型

大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」

取人类与大模型之长，人机协作式智能软件开发框架AgileGen来了

面向代码语言模型的安全性研究全新进展，南大&NTU联合发布全面综述

精度与通用性不可兼得，北大华为理论证明低精度下scaling law难以实现

Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习

钻石冷却的GPU即将问世：温度能降20度，超频空间增加25%

可以实现零代码开发的OPPO智能体平台，到底强在哪？

继良品率低后，英伟达Blackwell又出过热问题，说好的明年初发货呢？

NeurIPS 2024 | 自我纠错如何使OpenAI o1推理能力大大加强？北大、MIT团队给出理论解释

对标o1，Kimi放出了最能打的国产模型

怎样保证你不是AGI独裁者？马斯克为何退出OpenAI？早期邮件公开了

从未见过现实世界数据，MIT在虚拟环境中训练出机器狗，照样能跑酷

扩展测试时计算是万能的吗？Scaling What成为关键

突破无规则稀疏计算边界，编译框架CROSS数倍提升模型性能

谁能进入下一轮？具身智能「练习生」的技术储备和商业路径有何异同？

传说中Ilya Sutskever精选论文清单：AI领域40大论文完整版「破解」完成

首个自主机器学习AI工程师，刚问世就秒了OpenAI o1，Kaggle大师拿到饱

LeCun 的世界模型初步实现！基于预训练视觉特征，看一眼任务就能零样本规划

NeurIPS 2024 | 无需训练，一个框架搞定开放式目标检测、实例分割

率先解决多类数据同时受损，中科大MIRA团队TRACER入选NeurIPS 2024：强鲁棒性的离线变分贝叶斯强化学习

这三家国内机构合作成果，斩获EMNLP 2024最佳论文奖，主办方：明年苏州见！

大模型时代需要什么样的安全水位？火山方舟首度公开「会话无痕」技术细节

陶哲轩：计算机通用方法，往往比深奥的纯数学更能解决问题

Claude都能操纵计算机了，吴恩达：智能体工作流越来越成熟

Make U-Nets Great Again！北大&华为提出扩散架构U-DiT，六分之一算力即可超越DiT

NeurIPS 2024 Spotlight | 如何操纵时间序列预测结果？BackTime：全新的时间序列后门攻击范式

视觉模型学会LLM独门秘籍「上下文记忆」，迎来智能涌现的大爆发！

国内外六所高校、三家企业的AI人才招聘需求

谷歌2024博士奖学金公布，KAN作者刘子鸣等数十位年轻华人学者入选

穹彻智能-上交大最新Nature子刊速递：解析深度学习驱动的视触觉动态重建方案

外媒：OpenAI 、Anthropic、谷歌新模型表现均不及预期

Token化一切，甚至网络！北大&谷歌&马普所提出TokenFormer，Transformer从来没有这么灵活过！

1000多个智能体组成，AI社会模拟器MATRIX-Gen助力大模型自我进化

刚刚，谷歌宣布35岁Keras之父Francois Chollet离职

Scaling Laws终结，量化无用，AI大佬都在审视这篇论文

WHALE来了，南大周志华团队做出更强泛化的世界模型

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉