大半夜的，Anthropic 直接放了个大招，Claude 竟然学会玩电脑了？！
最新版的 Claude 3.5 Sonnet，在合适的软件设置下，可以根据用户的指令，在电脑屏幕上移动光标、点击相关位置，并通过虚拟键盘输入信息，就像真人操作电脑一样。
这简直是 AI 发展史上的一个重大突破！
为什么 AI 要学会用电脑？
现代人的工作大量依赖电脑完成。如果 AI 能像人一样直接与计算机软件交互，就能解锁大量现有 AI 助手无法实现的应用。
近年来，AI 发展取得了许多重要里程碑，例如逻辑推理能力、图像识别和理解能力。
而 AI 用电脑，则是下一个前沿领域。AI 模型不再依赖定制工具，而是可以按照指示使用任何软件。
Claude 是如何学会用电脑的？
Anthropic 之前的工具使用和多模态研究，为 Claude 的新技能奠定了基础。
操作电脑需要 图像识别和理解能力，还需要根据屏幕上的内容，进行推理并执行特定操作。
研究人员将这些能力结合起来，训练 Claude 解读屏幕上的内容，并使用可用的软件工具执行任务。
具体来说，当开发者要求 Claude 使用某个软件，并授予其访问权限时，Claude 会查看屏幕截图，计算光标需要垂直或水平移动多少像素才能点击到正确位置。
精确计算像素 对 Claude 至关重要。
如果 Claude 无法做到这一点，就难以发出鼠标指令，就像很多模型难以回答“‘banana’中有多少个‘A’”这种看似简单的问题一样。
令人惊讶的是，Claude 仅在少量简单软件（如计算器和文本编辑器）上进行了训练，就能快速泛化到其他软件。
但为了安全起见，训练期间 Claude 无法访问互联网。
Claude 的其他技能与这种训练相结合，使其能够将用户的书面提示转化为一系列逻辑步骤，并在计算机上执行操作。
研究人员甚至观察到，Claude 在遇到障碍时，会自我纠正并重试任务。
虽然 Claude 的进步神速，但 Anthropic 的研究人员也经历了大量的试错，才取得了最终的突破。、
Claude 的电脑使用技能有多强？
目前，Claude 在以人类的方式使用电脑方面，处于最先进的水平。
在一个名为 OSWorld 的开发者测试中，Claude 的得分是 14.9%。虽然远不及人类水平（通常为 70-75%），但较高于排名第二的 AI 模型（7.7%）。
如何确保 AI 安全地使用电脑？
AI 的每一次进步，都伴随着新的安全挑战。
操控的脑降低了 AI 系统应用现有认知技能的门槛，但并没有从根本上提高这些技能。
因此，Anthropic 主要关注的是当前的危害，而不是未来的危害。
Anthropic 的信任与安全团队对 Claude 的电脑使用模型进行了广泛的分析，以识别潜在的漏洞。
其中一个问题是 “提示注入”，这是一种网络攻击，恶意指令被输入 AI 模型，导致模型覆盖之前的指令，或执行用户预期之外的操作。
由于 Claude 可以解读连接到互联网的电脑的屏幕截图，因此可能会接触到包含提示注入攻击的内容。
在公开测试版中使用 Claude 的电脑使用版本的用户，应采取相关预防措施，最大程度地降低此类风险。
与任何 AI 功能一样，用户的恶意使用也是一个潜在问题。
Anthropic 的团队开发了分类器和其他方法，用于标记和缓解此类滥用行为。
鉴于即将到来的大选，Anthropic 对可能被视为破坏公众对选举进程信任的滥用行为高度警惕。
Anthropic 将持续评估和迭代这些安全措施，以平衡 Claude 的能力和负责任的使用。
电脑使用：AI 发展的全新路径
电脑使用是一种完全不同的 AI 开发方法。
到目前为止，LLM 开发者一直在 使工具适应模型，创建 AI 使用专门设计的工具来完成各种任务的定制环境。
现在，Anthropic 可以使模型适应工具，也就说 Claude 可以融入我们日常使用的计算机环境。
Anthropic 的目标是让 Claude 像人一样使用现有的计算机软件。
当然，Claude 的电脑使用能力仍有很大的改进空间。例如：
• 速度慢
• 容易出错
• 无法执行人类的许多日常操作（拖动、缩放等）
• 屏幕视图的“翻页”特性导致 Claude 可能错过短暂的操作或通知
Anthropic 预计，Claude 的电脑使用能力将迅速提高，变得更快、更可靠，并能够更好地完成用户所需的任务。
在每一个阶段，Anthropic 的研究人员都将与安全团队密切合作，确保 Claude 的新功能得到适当的安全措施保障。
AI 操控电脑，是 AI 发展的一条全新路径。
未来，AI 将如何改变我们的工作和生活？让我们拭目以待！
