用于机器人学习的大规模、开放数据集：Open X-Embodimen（Abhishek P., et al. 2023）
Open X-Embodimen数据集的构成，场景、技能等的多样性。（Abhishek P., et al. 2023） 研究人员已经在探索将大型视觉语言模型用于他们的机器人的可行性。初步结果显示，在场景理解、人机交互甚至行动规划方面，能力和稳健性有了有希望的飞跃。GPT-4、 Gemini 等大型视觉语言模型通过从互联网用户那里获取了海量的数据。由于拥有如此大量的数据，这些模型似乎能够模拟出一种具有
“常识性” 的实际知识，并且这种知识在理论上有可能被应用于机器人的场景理解和与人的交互。但是，在一个动态变化的世界中行动所带来的复杂问题仍然存在。机器人如何与环境进行物理交互将取决于它们的可供性（可供性指的是物体或环境所提供的行动可能性或功能）。对于机器人来说，它们的身体结构和特性决定了它们能够与环境进行何种物理交互，以及能够执行哪些任务。例如，机器人的形状、大小、关节活动范围等因素会影响它能够触及和操作的物体，以及它在不同环境中的移动方式。谷歌研究的“SayCan”模型将大型语言模型（LLM）与机器人技能和适应性相结合，使得机器人能够在现实世界中遵循长期复杂的自然语言指令。SayCan模型主要由两部分构成：Say部分中由LLM来完成理解语言含义，并给出相应的有助于解决问题的答案的任务，Can部分则会对这些答案进行评估，即“可供行功能”，从而结合当时的物理环境来确定此时什么行为是可以执行的。
LLM并不是以物理世界为基础的，它的工作过程中并没有对周围物理环境和响应结果的观察。这就导致 LLMs 给出的有些答案有时与周围环境格格不入、显得不切实际。SayCan利用预训练技能的价值函数来约束 LLMs，使 LLMs 能够将其语言理解转化为机器人可以执行的具体行动，从而实现对现实世界中复杂指令的执行。（Ahn M., et al. 2022）
（a） 展示了一个价值函数模块，被用于根据当前的观察情况构建一个关于行动的价值函数空间，在（b）中，“捡起红牛罐” 和 “捡起苹果” 具有较高的值，因为这两个物体都在场景中；而在（c）中，机器人正在一个空的空间中导航，因此没有任何捡起的动作会获得高值。这说明了价值函数会根据场景中的具体情况来评估每个动作的可行性和价值。（Ahn M., et al. 2022）
SayCan 的工作原理是综合考虑语言模型提供的技能对指令的有用性概率和价值函数提供的成功执行该技能的概率，来选择合适的技能。然后，将选择的技能添加到响应中，并再次查询模型，以进行下一轮的决策，直到达到终止条件。（Ahn M., et al. 2022）
机器人执行从抽屉取薯片这一任务的具体步骤。由于机器人只有一只手臂，这限制了它的操作能力，因此它需要精心规划动作顺序。具体步骤为：先从抽屉中取出薯片并放在柜台上，这个过程可能需要一些复杂的操作来确保薯片能够成功取出并放置在合适的位置；然后，机器人需要关闭抽屉；最后，在抽屉关闭后，机器人再次拿起放在柜台上的薯片。这个例子说明了机器人在执行任务时需要根据自身的硬件条件和任务要求进行合理的规划和动作安排。（Ahn M., et al. 2022）
在进行特定的测试或任务时，给模型下达了 “捡起灭绝动物” 的指令，该模型根据其学习和理解，选择了恐龙雕像作为响应，认为恐龙雕像符合 “灭绝动物” 的要求。这展示了该模型对指令的理解和执行能力，以及它在识别和选择相关物体方面的表现。（Ahn M., et al. 2022） 在机器人技术领域，一个重要的研究方向是创建能够对世界具有先进物理常识理解能力的视觉语言模型。为了实现这一目标，关键在于从视频中仔细地收集各种示例数据。通过这些示例数据，可以更深入地理解物体的物理属性，例如形状、大小、重量、材质等，以及在操作物体时所产生的物理效果，比如物体的运动轨迹、受力情况等。
