首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

Claude 3.5深夜觉醒，学会模仿人类用电脑！编程干翻o1，Agent一夜变天

文摘   2024-10-25 09:37   北京  

大模型智能｜分享
来源 | 新智元

Claude 3.5深夜迎来重磅升级！
不出所料，Anthropic AI这周终于有了大动作——首发Claude 3.5 Haiku，全新升级版Claude 3.5 Sonnet也来了。
不过，「超大杯」Opus依然没有亮相。
让人惊艳的是，进化后的Claude 3.5 Sonnet一举击溃OpenAI o1，堪称最强推理模型。
它在各个方面得到了全面显著的提升，尤其是业界领先的编码能力。
而Claude 3.5 Haiku与上一代最强Claude 3 Opus性能相当，成本、速度与上一代Haiku相近。
甚至，Claude现在能够像人类一样操作计算机，不仅可以查看屏幕、移动光标，还可以单机按钮、键入文本！
Anthropic开发者关系主管表示，「计算机使用」是全新人机交互范式的第一步。同时也是，AI模型应该具备的全新基础能力。
许多做浏览器智能体的初创公司，一夜之间过时了。
网友们纷纷感叹：Agent和工作流都要变天了……

01 会自己用电脑的AI来了？
在公测中，Anthropic引入一项突破性的新功能：计算机使用能力。从今天起，开发者可以通过API，指导Claude像人类一样使用计算机了。
Claude 3.5 Sonnet是首个在公测中提供此功能的模型。
当然，这项功能仍处于实验阶段，使用起来还有些笨拙，可能出错。而Anthropic选择提前发布此功能，也是为了获得开发者反馈，将之快速改进。
为什么要训练AI操作电脑？
Anthropic表示，在过去几年里，强大的AI开发已经达到了许多里程碑，比如执行复杂逻辑推理，以及识别和理解图像的能力。
而下一个突破点，就是AI操作电脑了！如果模型不必通过专门定制的工具进行交互，而是按指示就能使用所有软件，这一定代表着未来的方向。

基本电脑操作

在这个demo中，Anthropic研究员给Claude提出了一个极有难度的挑战：
我的朋友要来旧金山，我想明天早上和他一起在金门大桥看日出。我们将从太平洋高地出发。你能帮我们找到一个绝佳的观赏地点，查看一下开车时间和日出时间，然后安排一个日历活动，让我们有足够的时间到达那里吗？
Claude自行打开了Google，开始了搜索。
金门大桥和用户居住地有多远呢？Claude会自己打开地图查找距离。
了解所需信息之后，它打开了日历，为主人安排好了日程。

自动编码写网站

开发者展示出Claude如何操控了自己的笔记本电脑，丝滑地完成了一个网站编程任务。
首先，Claude在小哥的Chrome浏览器中导航到了Claude.ai，并且让Claude为自己创造了一个90年代主题的个人主页。
只见它自己输入网址，键入提示，向另一个Claude发出请求。
Claude.ai返回了一些代码，渲染出来的画面看起来很不错，但小哥希望在自己的电脑本地上对网站做一些修改。
于是他让Claude下载文件，然后在VS Code中将其打开。Claude成功完成了这些指令。
然后小哥让Claude启动了一个服务器，然后就可以在浏览器中实际查看这个文件了。
Claude打开了VS Code终端，尝试启动一个服务器，然后却遇到了错误：机子上并没有安装Python。
结果，通过查看终端输出，Claude自己发现了这个问题！它用Python 3再次尝试，成功运行起了服务器。
不过，终端输出中有个错误，顶部还缺少了一个文件图标。开发者小哥请Claude来识别这个错误，在文件中修复它。
令人惊喜的是，Claude在VS Code中找到了引发错误的行，删除了整行，然后保存文件、重新运行网站。
这次，网站完全正确！

自动寻找数据填表

假设我们需要填写一份来自「蚂蚁设备公司」的供应商请求表，但需要填写的数据散步在电脑的各个角落，Claude能帮我们完成吗？
只见它开始截取小哥的屏幕截图，并且很快发现：蚂蚁设备公司并不在表格中。
这时，它立刻切换到CRM系统中，去搜索这个公司。找到后，它开始滚动页面，查找填表所需的所有信息，然后提交了表格。
这也就意味着，我们工作中许多不得不做的繁琐事项，都可以交由Claude代劳了！
现在，这个功能已经在API中可用了。
现在，Asana、Canva、Cognition、DoorDash、Replit和The Browser Company等多家知名公司，已经在探索Claude的新潜能，让它们执行数十步甚至数百步的复杂任务了。
比如，Replit正在利用Claude 3.5 Sonnet的计算机使用和用户界面导航能力，为Replit Agent开发功能，在构建应用程序过程中对其实时评估。

远低于人类，但未来可期

新升级后的Claude 3.5 Sonnet，电脑使用能力究竟如何？
在 OSWorld测试中，它在仅基于屏幕截图的任务类别中得分为14.9%，明显超越了排名第二的AI系统（7.8%）。
当允许更多操作步骤来完成任务时，Claude得分提高到了22.0%。
这表明模型与环境的多次交互，能够优化任务性能。
虽然这一结果比之前有了大幅提升，但仍然远低于人类72.36%的表现。
这也暗示了，Claude 3.5 Sonnet未来还有很大的改进空间。
毕竟，人类毫不费力完成的一些操作（滚动、拖动、缩放），目前对于Claude来说极具挑战。

02 升级版Claude 3.5 Sonnet，编码王者干翻o1
在各项行业基准测试中，升级版Claude 3.5 Sonnet性能得到了全方位提升。
特别是，智能体编码、工具使用任务中取得显著突破。
论文地址：https://assets.anthropic.com/m/1cd9d098ac3e6467/original/Claude-3-Model-Card-October-Addendum.pdf
在编码能力方面，它在SWE-bench Verified测试中，性能从33.4%大幅提升至49.0%。
这超越了所有公开可用的模型——包括OpenAI o1-preview等推理模型和专为智能体编码设计的专门系统。
此外，在TAU-bench（一项评估智能体工具使用能力的基准测试）中，Claude 3.5 Sonnet也表现出色：
在零售领域的得分从62.6%提高到69.2%，在更具挑战性的航空领域则从36.0%跃升至46.0%。
从下表中，可以看出推理测试基准GPQA（Diamond）上，新版Claude 3.5 Sonnet大幅超越GPT-4o。
在视觉QA、数学推理、文档视觉问答、图表问答、科学表格基准测试中，Claude 3.5 Sonnet性能成为业界新标杆。
值得一提的是，新版Claude 3.5 Sonnet性能突破同时，仍保持了与前代模型相同的价格和运行速度。
一些早期测试用户的反馈，进一步印证了升级后Claude 3.5 Sonnet，在AI驱动编码领域实现「质」的飞跃。
  1. GitLab：在DevSecOps任务测试中，发现Claude 3.5 Sonnet在不增加延迟的前提下，推理能力显著提升（各用例最高提升10%），使其成为驱动复杂软件开发流程的理想选择
  2. Cognition：将新版Claude 3.5 Sonnet应用于自主AI评估，在编码、规划和问题解决等方面，相较前代模型均取得了实质性进步
  3. The Browser Company：在使用该模型自动化网络工作流程时发现，Claude 3.5 Sonnet的表现超越了他们此前测试过的所有模型
此外，在安全部署前，Claude 3.5 Sonnet已经在美国AI安全研究所（US AISI）和英国安全研究所（UK AISI）进行了联合测试。
而且，经过自身评估，Anthorpic在「Responsible Scaling Policy」中制定的ASL-2标准仍然适用于新模型。
如前所述，升级版的Claude 3.5 Sonnet现在已经可以在网页、终端APP上使用了。
API的定价起始为每百万输入Token 3美元，每百万输出Token 15美元。
通过使用智能缓存技术可节省高达90%的成本，而使用批处理API则可节省50%成本。

应用场景

Claude 3.5 Sonnet能够理解细微的指令和上下文，识别并纠正自身错误，还能从复杂数据中生成深入的分析和洞察。结合最先进的编码、视觉识别和写作能力，Claude 3.5 Sonnet可以被应用于各种场景。
- 模拟人类操作电脑
通过API集成Claude，开发者可以指导Claude像人类一样使用电脑——通过观察屏幕、移动鼠标、点击按钮和键入文字。Claude 3.5 Sonnet是首个能够以这种方式可靠使用电脑的前沿AI模型，虽然目前在公开测试阶段仍具实验性质，但其能力会随时间持续提升。
- 代码自动生成
Claude 3.5 Sonnet可以协助整个软件开发生命周期——从初始设计到错误修复，从系统维护到性能优化。可以直接将它被集成到产品中，或通过Claude.ai平台将其用作智能编码助手。
- 智能对话系统
凭借增强的推理能力和亲和、自然的语气，Claude 3.5 Sonnet非常适合开发需要跨系统连接数据并执行操作的智能对话系统。
- 智能知识问答
Claude 3.5 Sonnet具有大规模上下文处理能力和极低的幻觉率，使其成为处理大型知识库、文档和代码库问答任务的理想选择。
- 视觉信息提取
Claude 3.5 Sonnet能够轻松从图表、图形和复杂示意图等视觉材料中提取信息——这使其成为数据分析和数据科学任务的理想人工智能模型。
- 流程自动化
Claude 3.5 Sonnet能够实现重复性任务或流程的自动化。它具备业界领先的指令执行能力，能够处理复杂的流程和操作。

03 全新Claude 3.5 Haiku，智能超越上代老大哥
从上一代对标来看，Claude 3.5 Haiku称得上是「最小杯」。
这是Anthropic速度最快的模型。
它不仅保持乐了与Claude 3 Haiku相同的运行成本和相近的处理速度，还在各项技能全面提升。
甚至，在多项智能基准测试中，Claude 3.5 Haiku超越了上一代最强大的模型Claude 3 Opus。
同样，Claude 3.5 Haiku在编码任务上的表现尤为卓越。
比如，在SWE-bench Verified测试中，它取得了40.6%的高分，超越了许多使用公开可用的最先进模型的AI智能体——包括原始版本的Claude 3.5 Sonnet和GPT-4o。
Claude 3.5 Haiku具备了三点突出优势：
1. 低延迟响应
2. 更精准的指令执行能力
3. 更准确的工具使用
这些特性使得模型特别适用于，面向用户的产品开发、专门的子智能体任务处理、基于海量数据（如购买记录、价格信息或库存数据）生成个性化体验。
本月末，Claude 3.5 Haiku将在多个平台上推出，包括Anthropic API、Amazon Bedrock和谷歌云的Vertex AI。（最初会以纯文本模型形式推出，随后会加入图像输入功能）
Claude 3.5 Haiku的定价起始为每百万输入Token 0.25美元，每百万输出Token 1.25美元。
通过使用提示词缓存技术可节省高达90%的成本，而使用消息批处理API则可节省50%的成本。

应用场景

凭借快速的处理速度、改进的指令执行能力和更准确的工具使用，Claude 3.5 Haiku非常适合面向用户的产品、专门的辅助任务，以及从海量数据中生成个性化体验。
- 代码自动补全
Claude 3.5 Haiku能够提供快速、准确的代码建议和补全，有效加速开发工作流程。特别适合那些希望简化编码过程并提高生产力的软件开发团队。
- 智能聊天机器人
借助增强的对话能力和快速的响应时间，Claude 3.5 Haiku在驱动能处理大量用户互动的响应式聊天机器人方面表现出色。对于需要可扩展互动能力的客户服务、电子商务和教育平台来说，它尤其有价值。
- 数据提取和自动标注
Claude 3.5 Haiku能高效处理和分类信息，在快速数据提取和自动标注任务中表现优异。这一能力对于需要处理金融、医疗保健和研究领域大量非结构化数据的组织特别有用。
- 自动实时内容审核
Claude 3.5 Haiku通过其改进的推理和内容理解能力，提供可靠、即时的内容审核服务。这对于那些需要大规模维护安全、适当内容的社交平台、在线社区和媒体组织来说极具价值。

04 如何教会Claude操作电脑
Anthropic表示，人类轻松执行的操作——滚动、拖拽、缩放，目前对Claude来说仍然很有挑战性。
而对于垃圾邮件、虚假信息、欺诈这类风险，公司正在寻找安全部署的策略，比如开发了识别系统，检测是否发生危害。

研究过程

Anthropic在工具使用和多模态的工作，为AI识别和解释图像奠定了基础。
在此基础上，Claude还需要推理如何以及何时根据屏幕内容执行操作。
为此，研究者训练Claude准确计算像素，从而完成命令，因为它必须计算出需要垂直或水平移动鼠标指针多少像素，才能点击正确的位置。
在此期间，Claude迅速将学习成功从计算器和文本编辑器这类简单软件的训练中，迁移到了其他应用（注意，期间它不允许联网）。
这种训练让它能将用户指令转化为一系列逻辑步骤，执行操作。遇到障碍时，甚至还能自我纠正、重试任务。

小插曲

Anthropic开发者关系主管Alex Albert还分享了，团队在开发计算机使用功能时的一个有趣故事。
当时，他们举行了一场工程师的bug bash（漏洞排查活动），以确保发现API所有潜在的问题。
这意味着，要把一群工程师关在一个房间里几个小时。
当时，恰好大家都饿了。其中一位工程师灵机一闪，「不如让Claude来个实战演习，自主打开DoorDash帮我们订餐」。
没想到，大约一分钟后，Claude为工程师们定来了披萨。

展望未来

AI操作电脑能力代表了一种全新的人工智能开发方法。
迄今为止，LLM开发者一直在努力使工具适应模型，创造特殊的环境，让AI使用专门设计的工具来完成各种任务。
现在，Anthropic「反其道而行之」——他们选择让模型去适应工具。也就是，Claude能像人类一样，融入我们日常使用的计算机环境，直接使用现有的软件。
虽然Claude已经达到了当前的最高水平，但它的操作仍然相对缓慢且容易出错。我们日常使用电脑时的许多操作，如拖拽、缩放等，Claude都还无法做到。
此外，Claude目前观察屏幕的方式类似于快速翻阅一本「画册」——通过连续截图并拼接在一起，而不是观察连续的视频流。这意味着它可能会错过一些短暂的动作或通知。
有趣的是，Anthropic在录制Demo时，还遇到了一些有趣的小插曲。
比如，在一次演示中，Claude不小心点击停止了一个长时间运行的屏幕录制，导致所有录像都付诸东流。
而在另一次编码演示中，Claude则突然「走神」，开始饶有兴趣地浏览起黄石国家公园的照片。
总之，Claude如今的表现让人对未来充满期待：AI操作电脑的能力将神速进步，那一天，软件开发小白都能轻松使用它。
参考资料：
https://www.anthropic.com/news/3-5-models-and-computer-use
深度图学习与大模型LLM
关注图机器学习，图表示学习，大模型LLM. 最近顶会顶刊动态以及机器学习基本方法，包括无监督学习、半监督学习、弱监督学习、元学习等
 最新文章
GraphTeam: 基于多智能体协作的图分析大模型，平均准确率提升了 25.85%！！
Tokenization 不存在了？Meta 最新研究，无需 Tokenizer 的架构来了
从线性注意力视角揭秘视觉Mamba，全新MILA模型
NeurIPS 2024 | 基于自适应多尺度超图Transfromer的时间序列预测方法
Transfusion: 单一Transformer架构中同时处理离散数据(文本) 和 连续数据（图像）
北大字节VAR获最佳论文、厦大清华获亚军，NeurIPS 2024最佳论文出炉
Graph与LLM对齐专题 || 基于MolCA的分子图与语言建模：跨模态投影器与单模态适配器
最新RAG综述:15种经典RAG框架综述
ICML 2023 || 基于自然语言理解能力提升药物发现中的活性预测模型
NeurIPS 2024 | 重新审视时间戳信息在时序预测中的作用
中科院院士：青年科学家 5 年内拿不出成果就面临淘汰，有的单位已现「马太」效应，重复给某一人奖励
自我进化！自对齐方法不需要人工注释或者蒸馏，而且效果更好 | NIPS 2024
2024快结束了，还有哪些会议可以投稿的？
开源最新Python包，一个接口调用OpenAI等模型:让开发者轻松使用来自多个提供商的大型语言模型
怒推一万次的顶尖名校公开课-LLM Agents
香港城市大学 AI 机器学习 数据挖掘 大语言模型 全奖PhD/联培PhD
大模型，可以这样学？
大模型，可以这样学？
RAG黑盒被打开了，可视化RAGViz闪亮全场
Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具
港科大广州2025年春季与秋季博士生/研究助理招聘-大模型、AI4SCI、几何机器学习等方向
Token化一切，甚至网络！TokenFormer，Transformer从来没有这么灵活过！
NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型
LOGS第2024/11/08期||丹麦奥尔堡大学缪浩：面向流式与分布式场景的时间序列分析
Graph与LLM对齐专题 || ProtST：蛋白质序列和生物医学文本的多模态学习， ICML 2023
恋天恋地恋师妹, 防火防盗防师兄, 你会接受同门师兄的追求吗？
Graph与LLM对齐专题 || 多模态分子结构-文本模型MoleculeSTM（2022.12）
把下班后的时间都用来刷手机，对人生对生活究竟有没有影响？
Graph与LLM对齐专题 || MoMu学习分子图和文本的联合表示用于分子描述、跨模态检索、分子属性（2022）
基金委发文：目前约17%资助率过低，危害大，应提升至30~35%！增大青年、面上项目经费
Equitorch: 基于pyg的模块化等变图神经网络包
北邮GAMMA Lab专题解读 | Graph Transformer 最新研究进展
LOGS第2024/10/26期||清华大学李瑞堃：通过识别双曲主干来预测复杂网络的长时动力学
归一化Transformer（nGPT）：（LLM）的训练速度提高多达20倍，同时保持原有的精度水平！
Claude 3.5深夜觉醒，学会模仿人类用电脑！编程干翻o1，Agent一夜变天
图结构赋能语言模型：华为诺亚MILA联合提出基于图的可控数据合成提升大语言模型长逻辑链推理能力
实验室一块GPU都没有怎么做深度学习？
LLMs为零样本图学习器：GNN表示与LLM词元嵌入的对齐
为什么我们的研究生提不出问题？“如果制度把时间限定太死，学生只能选择‘短平快’，丧失了提出难题的勇气和机会。”
NeurIPS 2024 || GLBench: 面向大模型的图学习基准测试集
大模型不会推理，只是高级模式匹配器？无论是OpenAI GPT-4o和o1，还是Llama，都未被发现任何形式推理的证据？
NeurIPS 2024 || 结构信息原理指导的高效智能体探索
西北工业大学 || 诚邀海内外青年英才加盟，其中海外优青岗位：75万+奖励绩效+科研等其他收入+学院一次性奖励5万等，上不封顶
号称击败Claude 3.5 Sonnet，媲美GPT-4o，开源多模态模型Molmo挑战Scaling law
AI博士如何做出有影响力的研究？
ACM Survey || 麦考瑞大学最新《图级别学习》综述，274篇文献，图学习从图核到图transformer的交互和演变
NeurIPS 2024 ｜ SparseLLM：突破性全局剪枝技术，大语言模型稀疏化革命
o1医学领域大胜GPT-4，性能暴涨！顶尖华人团队激动发文：离AI医生越来越近了
PyCharm vs VSCode，是时候改变你的 IDE 了！
刚刚，Llama 3.2 来了！支持图像推理，还有可在手机上运行的版本
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉