太科幻了，深夜上线的 Claude，可以像人类一样使用计算机了？查看屏幕、移动光标、点击按钮、输入文本，还能查找代码错误、自动搜集信息填表。AI 推理已至瓶颈，下一个爆破点，就是 AI 操作电脑！
Claude 3.5 深夜迎来重磅升级！
不出所料，Anthropic AI 这周终于有了大动作——首发 Claude 3.5 Haiku，全新升级版 Claude 3.5 Sonnet 也来了。
不过，「超大杯」Opus 依然没有亮相。
让人惊艳的是，进化后的 Claude 3.5 Sonnet 一举击溃 OpenAI o1，堪称最强推理模型。
它在各个方面得到了全面显著的提升，尤其是业界领先的编码能力。
而 Claude 3.5 Haiku 与上一代最强 Claude 3 Opus 性能相当，成本、速度与上一代 Haiku 相近。
甚至，Claude 现在能够像人类一样操作计算机，不仅可以查看屏幕、移动光标，还可以单机按钮、键入文本！
Anthropic 开发者关系主管表示，「计算机使用」是全新人机交互范式的第一步。同时也是，AI 模型应该具备的全新基础能力。
许多做浏览器智能体的初创公司，一夜之间过时了。
网友们纷纷感叹：Agent 和工作流都要变天了……
在各项行业基准测试中，升级版 Claude 3.5 Sonnet 性能得到了全方位提升。
特别是，智能体编码、工具使用任务中取得显著突破。
在编码能力方面，它在 SWE-bench Verified 测试中，性能从 33.4% 大幅提升至 49.0%。
这超越了所有公开可用的模型——包括 OpenAI o1-preview 等推理模型和专为智能体编码设计的专门系统。
此外，在 TAU-bench（一项评估智能体工具使用能力的基准测试）中，Claude 3.5 Sonnet 也表现出色：
在零售领域的得分从 62.6% 提高到 69.2%，在更具挑战性的航空领域则从 36.0% 跃升至 46.0%。
从下表中，可以看出推理测试基准 GPQA（Diamond）上，新版 Claude 3.5 Sonnet 大幅超越 GPT-4o。
在视觉 QA、数学推理、文档视觉问答、图表问答、科学表格基准测试中，Claude 3.5 Sonnet 性能成为业界新标杆。
值得一提的是，新版 Claude 3.5 Sonnet 性能突破同时，仍保持了与前代模型相同的价格和运行速度。
一些早期测试用户的反馈，进一步印证了升级后 Claude 3.5 Sonnet，在 AI 驱动编码领域实现「质」的飞跃。
GitLab：在 DevSecOps 任务测试中，发现 Claude 3.5 Sonnet 在不增加延迟的前提下，推理能力显著提升（各用例最高提升 10%），使其成为驱动复杂软件开发流程的理想选择；
Cognition：将新版 Claude 3.5 Sonnet 应用于自主 AI 评估，在编码、规划和问题解决等方面，相较前代模型均取得了实质性进步；
The Browser Company：在使用该模型自动化网络工作流程时发现，Claude 3.5 Sonnet 的表现超越了他们此前测试过的所有模型。
此外，在安全部署前，Claude 3.5 Sonnet 已经在美国 AI 安全研究所（US AISI）和英国安全研究所（UK AISI）进行了联合测试。
而且，经过自身评估，Anthorpic 在「Responsible Scaling Policy」中制定的 ASL-2 标准仍然适用于新模型。
如前所述，升级版的 Claude 3.5 Sonnet 现在已经可以在网页、终端 APP 上使用了。
API 的定价起始为每百万输入 Token 3 美元，每百万输出 Token 15 美元。
通过使用智能缓存技术可节省高达 90% 的成本，而使用批处理 API 则可节省 50% 成本。
应用场景
Claude 3.5 Sonnet 能够理解细微的指令和上下文，识别并纠正自身错误，还能从复杂数据中生成深入的分析和洞察。结合最先进的编码、视觉识别和写作能力，Claude 3.5 Sonnet 可以被应用于各种场景。
- 模拟人类操作电脑
通过 API 集成 Claude，开发者可以指导 Claude 像人类一样使用电脑——通过观察屏幕、移动鼠标、点击按钮和键入文字。Claude 3.5 Sonnet 是首个能够以这种方式可靠使用电脑的前沿 AI 模型，虽然目前在公开测试阶段仍具实验性质，但其能力会随时间持续提升。
- 代码自动生成
Claude 3.5 Sonnet 可以协助整个软件开发生命周期——从初始设计到错误修复，从系统维护到性能优化。可以直接将它被集成到产品中，或通过 Claude.ai 平台将其用作智能编码助手。
- 智能对话系统
凭借增强的推理能力和亲和、自然的语气，Claude 3.5 Sonnet 非常适合开发需要跨系统连接数据并执行操作的智能对话系统。
- 智能知识问答
Claude 3.5 Sonnet 具有大规模上下文处理能力和极低的幻觉率，使其成为处理大型知识库、文档和代码库问答任务的理想选择。
- 视觉信息提取
Claude 3.5 Sonnet 能够轻松从图表、图形和复杂示意图等视觉材料中提取信息——这使其成为数据分析和数据科学任务的理想人工智能模型。
- 流程自动化
Claude 3.5 Sonnet 能够实现重复性任务或流程的自动化。它具备业界领先的指令执行能力，能够处理复杂的流程和操作。
从上一代对标来看，Claude 3.5 Haiku 称得上是「最小杯」。
这是 Anthropic 速度最快的模型。
它不仅保持乐了与 Claude 3 Haiku 相同的运行成本和相近的处理速度，还在各项技能全面提升。
甚至，在多项智能基准测试中，Claude 3.5 Haiku 超越了上一代最强大的模型 Claude 3 Opus。
同样，Claude 3.5 Haiku 在编码任务上的表现尤为卓越。
比如，在 SWE-bench Verified 测试中，它取得了 40.6% 的高分，超越了许多使用公开可用的最先进模型的 AI 智能体——包括原始版本的 Claude 3.5 Sonnet 和 GPT-4o。
Claude 3.5 Haiku 具备了三点突出优势：
1. 低延迟响应
2. 更精准的指令执行能力
3. 更准确的工具使用
这些特性使得模型特别适用于，面向用户的产品开发、专门的子智能体任务处理、基于海量数据（如购买记录、价格信息或库存数据）生成个性化体验。
本月末，Claude 3.5 Haiku 将在多个平台上推出，包括 Anthropic API、Amazon Bedrock 和谷歌云的 Vertex AI。（最初会以纯文本模型形式推出，随后会加入图像输入功能）
Claude 3.5 Haiku 的定价起始为每百万输入 Token 0.25 美元，每百万输出 Token 1.25 美元。
通过使用提示词缓存技术可节省高达 90% 的成本，而使用消息批处理 API 则可节省 50% 的成本。
应用场景
凭借快速的处理速度、改进的指令执行能力和更准确的工具使用，Claude 3.5 Haiku 非常适合面向用户的产品、专门的辅助任务，以及从海量数据中生成个性化体验。
- 代码自动补全
Claude 3.5 Haiku 能够提供快速、准确的代码建议和补全，有效加速开发工作流程。特别适合那些希望简化编码过程并提高生产力的软件开发团队。
- 智能聊天机器人
借助增强的对话能力和快速的响应时间，Claude 3.5 Haiku 在驱动能处理大量用户互动的响应式聊天机器人方面表现出色。对于需要可扩展互动能力的客户服务、电子商务和教育平台来说，它尤其有价值。
- 数据提取和自动标注
Claude 3.5 Haiku 能高效处理和分类信息，在快速数据提取和自动标注任务中表现优异。这一能力对于需要处理金融、医疗保健和研究领域大量非结构化数据的组织特别有用。
- 自动实时内容审核
Claude 3.5 Haiku 通过其改进的推理和内容理解能力，提供可靠、即时的内容审核服务。这对于那些需要大规模维护安全、适当内容的社交平台、在线社区和媒体组织来说极具价值。
Anthropic 表示，人类轻松执行的操作——滚动、拖拽、缩放，目前对 Claude 来说仍然很有挑战性。
而对于垃圾邮件、虚假信息、欺诈这类风险，公司正在寻找安全部署的策略，比如开发了识别系统，检测是否发生危害。
研究过程
Anthropic 在工具使用和多模态的工作，为 AI 识别和解释图像奠定了基础。
在此基础上，Claude 还需要推理如何以及何时根据屏幕内容执行操作。
为此，研究者训练 Claude 准确计算像素，从而完成命令，因为它必须计算出需要垂直或水平移动鼠标指针多少像素，才能点击正确的位置。
在此期间，Claude 迅速将学习成功从计算器和文本编辑器这类简单软件的训练中，迁移到了其他应用（注意，期间它不允许联网）。
这种训练让它能将用户指令转化为一系列逻辑步骤，执行操作。遇到障碍时，甚至还能自我纠正、重试任务。
小插曲
Anthropic 开发者关系主管 Alex Albert 还分享了，团队在开发计算机使用功能时的一个有趣故事。
当时，他们举行了一场工程师的 bug bash（漏洞排查活动），以确保发现 API 所有潜在的问题。
这意味着，要把一群工程师关在一个房间里几个小时。
当时，恰好大家都饿了。其中一位工程师灵机一闪，「不如让 Claude 来个实战演习，自主打开 DoorDash 帮我们订餐」。
没想到，大约一分钟后，Claude 为工程师们定来了披萨。
展望未来
AI 操作电脑能力代表了一种全新的人工智能开发方法。
迄今为止，LLM 开发者一直在努力使工具适应模型，创造特殊的环境，让 AI 使用专门设计的工具来完成各种任务。
现在，Anthropic「反其道而行之」——他们选择让模型去适应工具。也就是，Claude 能像人类一样，融入我们日常使用的计算机环境，直接使用现有的软件。
虽然 Claude 已经达到了当前的最高水平，但它的操作仍然相对缓慢且容易出错。我们日常使用电脑时的许多操作，如拖拽、缩放等，Claude 都还无法做到。
此外，Claude 目前观察屏幕的方式类似于快速翻阅一本「画册」——通过连续截图并拼接在一起，而不是观察连续的视频流。这意味着它可能会错过一些短暂的动作或通知。
有趣的是，Anthropic 在录制 Demo 时，还遇到了一些有趣的小插曲。
比如，在一次演示中，Claude 不小心点击停止了一个长时间运行的屏幕录制，导致所有录像都付诸东流。
而在另一次编码演示中，Claude 则突然「走神」，开始饶有兴趣地浏览起黄石国家公园的照片。
总之，Claude 如今的表现让人对未来充满期待：AI 操作电脑的能力将神速进步，那一天，软件开发小白都能轻松使用它。
推荐阅读
AI时代，出海“扛把子”还是字节？
在腾讯14年，我为什么要创业做AI工具 | 对话创始人
月流水平均上涨257%，北京厂商在这个赛道集体爆发
爆款AI硬件创始人吕骋：融资5000万美元，卖了10万台，窗口期还剩8个月
非游买量爆发式增长、手游喜忧参半，国内平台表现强势 | 2024 H1买量榜单解读
商务合作
Cassie | 微信：18506490569
Ares | 微信：18606066421
Lina | 微信：13381020131
David | 微信：13809501924
Ania | 微信：13720814733
Echo | 微信：13003974360
Shadow | 微信：18650708568
Demerly | 微信：18150844790
Lia | 微信：baijing018
白鲸出海魏方丹 | 微信：bjbandari02
（添加请备注姓名、公司及职位）
长按识别二维码，备注“白鲸”申请加入白鲸社群，获取更多资讯、活动、资源
