机器人故障检测与GUI交互：VLLM代码生成，机器人开放世界时空约束故障检测； 跨平台纯视觉GUI智能体
Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection
2024-12-05｜BUAA, PKU, BAAI, Galbot|🔺30
http://arxiv.org/abs/2412.04455v1
https://huggingface.co/papers/2412.04455
https://zhoues.github.io/Code-as-Monitor/
研究背景与意义
在当今复杂的机器人系统中，自动检测与预防开放世界故障至关重要。随着机器人在长时间任务中的应用需求不断增长，确保系统能够实时识别和应对意外故障变得愈发重要。传统的故障检测方法往往只能在故障发生后进行反应，无法有效预防可预见的故障。因此，本文提出了一个新颖的框架——Code-as-Monitor（CaM），旨在通过结合视觉语言模型（VLM）来实现开放世界的反应性和前瞻性故障检测。
CaM的核心在于将故障检测任务统一建模为时空约束满足问题，通过生成可执行的代码来实现实时监控。这种方法不仅提高了故障检测的准确性和效率，还能够在动态环境中处理复杂的长时间任务。通过对比现有方法，CaM在多个模拟器和真实场景中表现出更高的成功率和更短的执行时间，显示出其在实际应用中的潜力。
研究方法与创新
CaM的创新之处在于其综合利用了反应性和前瞻性故障检测的能力。具体而言，研究者们首先将任务定义为一组时空约束满足问题，利用VLM生成的代码对这些约束进行实时监控。该方法的几个关键部分包括：
约束元素的引入：通过将约束相关实体抽象为紧凑的几何元素，简化了监控过程。这种方法通过消除无关的几何和视觉细节，使得跟踪和评估变得更加高效。
实时监控模块：该模块能够实时跟踪元素并评估它们的时空动态。如果监控代码返回失败，系统将立即停止执行并提供反馈以进行重新规划。这种闭环系统的设计使得机器人能够在动态环境中自适应调整任务。
多视角数据处理：通过结合多个视角的图像数据，CaM能够更好地应对遮挡和环境变化，提高了故障检测的准确性。
实验结果表明，CaM在多个模拟环境和真实世界场景中的表现均优于现有的基线方法，尤其是在处理复杂的动态任务时。
实验设计与结果分析
为验证CaM的有效性，研究者们在三个模拟器（CLIPort、Omnigibson和RLBench）以及一个真实环境中进行了广泛的实验。实验主要包括：
任务设置：在每个环境中设计了多种任务，如堆叠、清扫和倒茶等，涵盖了不同类型的约束和干扰。
故障引入：故意在任务中引入各种干扰（如物体倾斜、抓取失败等），以测试CaM的故障检测能力。
性能评估：通过比较成功率、执行时间和额外的计算资源使用情况，评估不同方法的表现。
实验结果显示，CaM在成功率上比基线方法高出28.7%，并且在面临严重干扰时，执行时间减少了31.8%。此外，CaM能够在实时监控中有效识别和处理故障，展示了其在开放集故障检测中的广泛适用性。
结论与展望
本文提出的Code-as-Monitor框架为机器人系统中的故障检测提供了一种新的思路。通过将反应性和前瞻性故障检测整合在一个统一的框架内，CaM不仅提高了故障检测的准确性和实时性，还为复杂任务的执行提供了强大的支持。未来的研究可以进一步探索CaM在更复杂环境中的应用，以及如何将其与其他机器人控制策略结合，以实现更高效的长时间任务执行。此外，随着技术的发展，CaM也有潜力扩展到更多类型的机器人任务和应用场景中。
Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction
2024-12-05｜HKU, Salesforce|🔺23
http://arxiv.org/abs/2412.04454v1
https://huggingface.co/papers/2412.04454
https://aguvis-project.github.io/
研究背景与意义
在当今数字化时代，图形用户界面（GUIs）是人机交互的关键组成部分，然而，自动化GUIs操作的挑战仍然显著，主要由于视觉环境的复杂性和多样性。现有方法通常依赖于文本表示，这限制了模型的泛化能力和效率。AGUVIS的提出旨在通过纯视觉框架来克服这些限制。该研究的核心在于通过图像基础的观察和自然语言指令的结合，构建一个跨平台的自主GUI智能体。此框架不仅增强了模型的通用性，还通过整合明确的规划和推理，提升了其在复杂数字环境中自主导航和交互的能力。
研究方法与创新
AGUVIS采用了一种统一的纯视觉框架，显著提高了GUI智能体的泛化能力。研究中提出的创新包括：
统一的观察与行动空间：通过将视觉观察与自然语言指令结合，避免了依赖于不同平台的文本表示，从而提升了模型的训练效率和泛化能力。
两阶段训练过程：
第一阶段专注于GUI的基础理解与定位，使模型能够有效处理单一界面中的多重交互对象。 第二阶段则引入复杂的决策制定和推理过程，训练模型在多步骤任务中进行推理与规划。
大规模数据集构建：通过整合现有的GUI智能体轨迹，构建了一个涵盖多模态推理和定位的大规模数据集，支持模型在不同平台上的训练。
这些创新共同推动了AGUVIS在离线和在线任务中的表现，展示了其在自主执行复杂任务中的潜力。
实验设计与结果分析
实验设计涵盖了多种平台的GUI基准测试，包括离线和在线评估。结果显示，AGUVIS在多个任务中均超越了现有的最先进模型，具体表现为：
在GUI定位任务中，AGUVIS展现出卓越的性能，尤其是在多种平台上进行的评估中。 在离线任务的评估中，AGUVIS的步骤成功率显著高于基于文本的模型，表明其在复杂环境下的推理能力。 在线任务的测试结果表明，AGUVIS能够实时执行任务，且成功率高于竞争对手，表明其在实际应用中的有效性。
结论与展望
AGUVIS的研究展示了通过纯视觉框架构建自主GUI智能体的可能性，为未来的研究提供了开放的数据、模型和训练资源。尽管AGUVIS已展现出强大的能力，但仍存在进一步提升的空间，例如在更复杂的交互场景中优化推理机制和增强模型的适应性。未来的研究可以集中在如何提升模型的指令理解能力以及在多样化环境中的表现，以进一步推动自主智能体技术的发展。
