万圣节，在这个充满神秘和魔法的时刻，吴恩达及其团队在DeepLearning.AI的《The Batch》推出了一篇关于AI的万圣节特别版文章。
文章对AI与能源、创新、程序员的未来、模型基准以及模型奔溃5个方面的恐惧、异常和阴影进行讨论。
英伟达的 CEO 黄仁勋曾预测 AI 会让“世界上的每个人都成为程序员”，但也有评论担心 Copilot 会侵蚀开发者的解决问题的能力。这也是离我们生活最贴近，值得我们思考的，关于“程序员的未来：AI 是否会接管编程工作？”然而，实际情况更为复杂。（这部分内容在下文04部分）
以下是《The Batch》推出的关于AI的万圣节特别版全文翻译。
亲爱的朋友们，
欢迎阅读《The Batch》万圣节特别版，我们将在其中探讨人工智能的恐惧、异常和阴影。
在这封信中，我想探讨为什么一些对人工智能有了解的人对人工智能“安全”持极端立场，警告人类灭绝，并描述人工智能决定“接管”等情景，这些情景不是基于科学，而是科幻小说。正如我 在去年万圣节版中所写 ，对人工智能的过度恐惧会造成真正的伤害。我想分享我对一些恐惧宣传背后心理的观察。
首先，一些人工智能科学家和开发者有直接的动机去制造对人工智能的恐惧：
- 正在训练大型模型的公司已经推动政府对竞争对手施加沉重的监管负担，包括开源/开放权重模型。
- 一些有进取心的企业家利用他们技术所谓的危险性来激起投资者的兴趣。毕竟，如果你的技术强大到可以摧毁世界，那它一定很值钱！
- 散布恐慌会吸引大量注意力，而且是一种让人们谈论你或你的公司的廉价方式。这让个人和公司更加引人注目，显然与围绕人工智能的讨论更相关。
- 它还允许一个人扮演救世主的角色：“与我的竞争对手的危险人工智能产品不同，我的产品是安全的！”或者“与所有其他无视人工智能可能导致人类灭绝风险的立法者不同，我将通过法律来保护你！”
- 说服立法者将合规负担加在人工智能开发者身上，可能会增强人们建立帮助人工智能公司遵守新法规的企业的努力！例如，请参阅加州拟议的人工智能安全法 SB-1047 的一位著名支持者提出的有关 利益冲突的文章 。
我见过一些人一开始对人工智能的危险做出温和的陈述，并得到一些积极的反馈，如关注、赞扬或其他奖励，这鼓励他们加倍努力，随着时间的推移变得更加危言耸听。此外，一旦有人朝这个方向迈出几步，就会产生一种被称为 承诺和一致性偏见的心理效应，即人们觉得有义务与自己先前的陈述保持一致，这将导致一些人继续朝这个方向发展。
需要明确的是，人工智能存在问题，也存在潜在的有害应用，我们应该加以解决。但过度炒作科幻危险同样有害。
尽管我强调了人工智能恐慌的各种动机，但最终任何特定人的行为背后的动机都很难猜测。这就是为什么当我支持或反对特定政府政策时，我通常会坚持当前的问题并就特定决策的影响提出观点（例如它是否会扼杀开源），而不是猜测站在特定立场的特定人的动机。这也是为什么我很少把问题个人化。我宁愿坚持问题而不是个性。
当我理解某人的动机时，即使我不同意他们的观点，我也能更好地理解他们（并更好地预测他们会做什么）。我也鼓励坦率地表达自己的动机。例如，我强烈支持人工智能社区，强烈支持开源！不过，基于实质性问题的论点最终最有分量。通过根据具体政策、投资和其他行动的优点而不是假设的动机来支持或反对它们，我相信我们可以更理性地采取行动，以实现我们所信仰的目标。
万圣节快乐！
安德鲁（Andrew）
01 无形的灵魂说话
听！你听到过刺耳的声音说“小心”吗？这是流氓超级智能吗？还是只是深度伪造？我们不知道，但我们也听到了。它警告机器学习算法会消耗电力，让我们在寒冷的夜晚瑟瑟发抖，用越来越不准确的输出误导我们，并接管赋予我们生活意义的工作。在本期《The Batch》特刊中 ，就像往年一样，我们直面 对 人工智能的恐惧。靠近你的笔记本电脑屏幕。它可能是越来越黑暗中唯一的光明。
02 人工智能消耗所有能源
全球不断增长的人工智能基础设施需要大量电力，可能超过电力供应商能够负责任地生产的电力。人工智能模型会耗尽能源资源吗？
担忧：对人工智能的需求正在猛增，随之而来的是用于训练和推理的能源需求。耗电系统将压垮我们现有的电源。如果不加以控制，它们可能会导致能源短缺和碳排放失控。
恐怖故事：人工智能公司不会披露人工智能消耗的能源占其能源需求的百分比，但以 OpenAI 为首的顶级公司 已向美国政府提出 建设新的能源和基础设施。趋势很明显：不断增长的需求可能会耗尽现有发电厂的电力，推高碳排放，并推迟转向更可持续能源的步伐。
- 高盛的一项 分析 预测，从 2023 年到 2030 年，数据中心的电力需求将增长 160%。人工智能约占这一增长的五分之一，即每年约 200 太瓦时。富国银行 预测， 到 2030 年，仅美国的电力消耗量就将达到 300 太瓦时。这可能导致美国的能源需求增加 20%，从而导致电力供应商增加对天然气和其他化石燃料的依赖。
- 对人工智能的需求正在使 之前被关闭的燃煤电厂 恢复生机，并扭转了其他电厂的停运计划。在弗吉尼亚州和其他地方，公用事业公司推迟了 向绿色能源的转型计划，以跟上人工智能的繁荣。
- 每块采用下一代 Blackwell 架构的 Nvidia GPU 所消耗的能量几乎是目前顶级 Nvidia H200 的两倍。Nvidia 有望在 2027 年前生产 150 万块这样的设备。据估计 ，到 2027 年，仅 Nvidia 服务器就可能消耗 85 至 134 太瓦时的电力。
- 承诺实现零净碳排放的科技巨头们未能 实现 目标。今年早些时候，谷歌 报告称 ，其温室气体排放量在 2023 年比 2019 年增长了 48%。微软和 Meta 面临着 类似的 挑战。它们都在使用更多的低碳能源，但总体能源消耗的增加也推高了它们对化石燃料的消耗。
- 亚马逊、谷歌和微软正在 投资 核能、太阳能和风能。新核电站预计要到 2030 年代才会开始发电。
你应该有多害怕：人工智能的快速发展带来了一个严峻的困境：我们如何才能满足需求，而不向大气中排放越来越多的温室气体？人工智能公司采取游说政府和投资无碳能源的双管齐下的策略，这表明这个问题需要短期和长期的解决办法。
面对恐惧：虽然 人工智能给世界能源消耗带来了难题，但它也是解决方案的重要组成部分。学习算法正在 减少 能源消耗和 管理 分配。它们可以帮助 捕获和储存 来自能源工厂和制造商的二氧化碳，防止其进入大气。人工智能还有助于监测大气、海洋和森林，以便我们 了解 气候变化的影响并制定相应的政策。而且，在集中式数据中心进行处理（尽管耗电量很大）比使用本地服务器或边缘设备节能得多。正在进行的人工智能开发将使这些努力更加有效，并帮助我们建立更可持续的未来。
03 创新无法取胜
政客和专家们用毁灭性的预言来说服立法者严厉打击人工智能。如果惊慌失措的立法者扼杀人工智能的创新，结果会怎样？
担忧：法律和条约本意是防止人工智能造成的危害，但如今却让开发新模型在法律上面临风险，而且成本高昂。如果没有实验空间，人工智能的好处就会被繁文缛节所扼杀。
恐怖故事：至少有一项可能损害人工智能创新和开源的法律已被阻止，但另一项法律已经限制了技术的获取，并增加了全球公司、开发者和用户的成本。更多类似的努力可能正在进行中。
- 加州 SB 1047 法案将要求超过一定规模的模型（需要 1026 浮点运算或花费 1 亿美元进行训练）的开发者对其模型造成的意外伤害负责，例如帮助实施盗窃、网络攻击或设计大规模杀伤性武器。该法案要求此类系统包含一个“终止开关”，使开发人员能够在紧急情况下禁用它们——对于可以在任何地方修改和部署的开放权重模型来说，这是一个有问题的要求。州长加文·纽瑟姆 (Gavin Newsom) 于 10 月否决了 该法案，认为它没有针对真正的风险，而且可能会产生意想不到的后果，但立法者可能仍会 提出 （州长可能会签署）修改后的法案。
- 欧盟的《人工智能法案》于 2024 年 8 月实施，限制了被视为高风险的应用，例如人脸识别和预测性警务。该法案对教育、就业和执法等重要领域的模型进行了严格审查。它还要求开发人员提供有关其模型算法和数据源的详细信息。但批评人士 认为 ，这可能会扼杀欧洲公司的早期研究。Meta 限制了 Llama 3 在欧盟的视觉功能，这可能违反欧盟的隐私法，而苹果 则因监管不确定性而 推迟了在欧洲推出人工智能功能。Meta、苹果、Anthropic、TikTok 和其他领先公司没有签署 欧盟的《人工智能协议》，该协议要求它们在《人工智能法案》生效前遵守其中的某些规定。
- 9 月，美国、英国和欧洲等地的很多国家签署了《人工智能与人权、民主和法治框架公约》。该公约将于今年年底生效， 要求 人工智能模型尊重民主和人权。该公约对签署国具有法律约束力，并可能由理事会的国际人权法院强制执行。但实际上，每个成员国都可以对民主和人权施加自己的定义，这可能会给全球的人工智能公司带来一系列法律不确定性和负担。
- 中国通过了一系列法律，旨在通过实施强有力的政府控制来减少人工智能的潜在危害。主要法律 要求 公司对人工智能生成的输出进行标记，并向政府披露训练集和算法，并 要求 人工智能生成的媒体符合政府关于不当言论的政策。OpenAI 和 Anthropic 等一些公司已限制在中国提供产品。
你应该有多害怕： SB 1047 的否决对加州以及在那里运营的公司和实验室来说是侥幸逃脱。然而，像《人工智能法案》这样的法规有望重塑人工智能在全世界的训练和使用方式。历史 表明 ，限制性法律往往会导致技术人员更加谨慎，减少实验。
面对恐惧：人工智能需要深思熟虑的监管，以赋予开发者权力，帮助他们建设更美好的世界，避免危害，并不断学习。但对人工智能的有效监管需要限制 应用程序，而不是支持它们的底层技术。政策制定者应该与广泛的开发者（而不仅仅是少数财大气粗的开发者）保持一致，以解决有害应用程序，而不会阻碍更广泛的进步。
04 程序员无需工作
人工智能编码助手正在编写代码库，而这些代码库曾经是人类程序员的专属领域。人工智能系统会接管软件开发吗？
担忧：不知疲倦的人工智能代理可以像人类一样甚至比人类更好地规划、编写、调试和记录代码，编程工作将会消失。软件工程师会发现自己像不安分的幽灵一样在就业市场上徘徊。
恐怖故事：自 2020 年以来，人工智能编码工具已从完成单行代码发展到生成复杂程序。越来越多的程序员使用自动化助手。随着这些工具的发展，它们有望接管越来越多的开发周期。
- 微软的 GitHub Copilot 利用 OpenAI 的大型语言模型成为首批流行的编程助手之一，可在 Visual Studio 等流行开发环境中提示完成的代码行。在 Github 对使用 Copilot 的埃森哲开发人员进行的一项 研究中 ，70% 的受访者表示，使用该系统时耗费的脑力更少。超过一半的人认为它“非常有用”。在一项独立 研究中，Copilot 提高了开发人员的生产力。
- Amazon CodeWhisperer 和 Cursor 可自动完成 Python、Java、JavaScript 和 C# 等语言的代码。CodeWhisperer 还会标记与开源项目非常相似的代码行，以方便获得适当的许可。Cursor 允许开发人员选择底层大型语言模型，Copilot 计划 在未来几周内添加这一功能。
- OpenAI 的 o1 承诺通过推理将复杂问题分解为多个步骤。集成到 Aider 等工具中后，o1 可将 AI 的作用扩展 到项目规划、架构设计和文档编制。
- Replit Agent、Devin 和 OpenHands 都自称是成熟的自动化工程师。Replit Agent 通过在 Replit 平台内生成代码、修复错误和管理项目依赖关系来简化 编程。Devin 和 OpenHands 接受自然语言指令来 生成 原型程序。
- Anthropic 最近推出了一种 API，可以 像人类一样控制计算机桌面 ——这预示着未来的代理程序将完全接管软件工程师的机器。未来的人工智能助手可以在桌面应用程序之间切换，以编写代码、更新工单、给同事发消息等等。程序员还能做什么呢？
你应该有多害怕： Nvidia 首席执行官黄仁勋 预测 ，人工智能将让“世界上的每个人都成为计算机程序员”，而观察人士 则担心 Copilot 会削弱解决问题的能力。但现实情况更加微妙。研究 表明 ，自动化可能会执行某些编码任务，但不会执行整个编程工作。这些工具擅长常规任务和样板代码，但它们会放大而不是自动化开发人员的核心技能。概念性任务（例如指定程序应该做什么、与同事协作以及将业务需求转化为软件设计）目前仍是人类程序员的领域。
面对恐惧：开发人员拥抱人工智能助手比害怕它们收获更多。这些工具不仅可以自动执行任务，还可以加速学习、改进问题解决并提高编程技能。掌握编码基础知识和人工智能辅助的开发人员不仅能生存下来，还能茁壮成长！
05 基准毫无意义
网页世界包含用于测试大型语言模型的常见问题的正确答案。如果新模型在测试之前已经研究过答案，我们如何评估它们？
担忧：机器学习研究的进展取决于训练模型对训练期间未遇到的基准问题的反应。但用于评估大型语言模型的许多问题的解决方案已进入流行的训练数据集，因此无法以精确的方式验证进展。最先进的技术只是一种假象，研究人员是在盲目尝试。
恐怖故事：研究人员发现令人不安的迹象，表明许多广泛使用的基准的测试集已经泄露到训练集中。
- 研究人员 在 GSM8K（测试小学数学问题）和他们自己的一组类似问题上测试了 流行的模型。包括 Mixtral 8x22B-Instruct、Microsoft Phi-3-Mini、Meta-Llama-3-8B-Instruct 和 Google Gemma 7B 在内的模型在 GSM8K 上的得分比其他数据集高出 10%。显然，这些模型之前已经见过 GSM8K 的测试集（或类似的问题）。
- 研究人员 发现 基准测试污染了用于训练 GPT-4 的数据集。他们成功地促使 GPT-4 复现了 AG News（测试模型对新闻文章进行分类的能力）、WNLI（测试模型解决复杂句子中模糊代词的能力）和 XSum（测试模型总结 BBC 新闻文章的能力）中的材料。
- 2023 年的一项 研究 评估了 GPT-4 解决竞赛级编码问题的能力。作者发现，GPT-4 可以轻松解决 2021 年 9 月之前举行的 Codeforces 竞赛中的问题，但很难解决较新的问题。作者得出结论，GPT-4 很可能是在 2021 年 Codeforces 问题的快照上进行训练的。（OpenAI 在 2024 年宣布其 o1 预览模型时 提到， o1 在模拟 Codeforces 竞赛中的得分在第 89 个百分位。）
- 即使是像 LMSys Chatbot Arena 这样的主观评估，如果开发人员根据 LMSys 反复使用的提示来训练他们的模型，也会受到偏差的影响。LMSys Chatbot Arena 让匿名聊天机器人相互竞争，并提示用户判断哪个机器人能给出更好的答案。为了解决这个问题，研究人员 构建了 Arena-Hard 和 BenchBuilder，它们删除了最常见的提示。
你应该有多害怕：基准测试集泄露到训练集中是一个影响深远的严重问题。一位观察家 将当前的情况比 作一场学术考试，学生可以提前获得问题和答案——分数在上升，但并不是因为学生学到了什么。如果训练数据集被基准测试污染，就不可能知道表面上的进步是否代表真正的进步。
面对恐惧：污染似乎很普遍，但可以解决。一种方法是嵌入 金丝雀字符串 （BIG-bench 等测试数据集中的独特标记），使研究人员能够通过检查模型是否可以重现污染来检测污染。另一种方法是不断用新的、更棘手的问题来 增强 基准。当然，研究人员可以设计新的基准，但最终副本会出现在网络上。或者，他们可以对新的基准保密，只在 私人服务器上运行它们。
06 合成数据扭曲模型
在先前网络的输出上训练连续的神经网络会逐渐降低性能。未来的模型会屈服于递归训练的魔咒吗？
担忧：随着合成文本、图像、视频和音乐在网络上占据越来越大的比例，越来越多的模型将使用合成数据进行训练，然后使用经过合成数据训练的模型的输出进行训练。逐渐地，生成的训练数据的分布将越来越偏离真实数据，导致模型越来越不准确，最终崩溃。
恐怖故事：许多最先进的模型都是用从网络上抓取的数据进行训练的。网络非常庞大，但其规模和多样性不足以为每项任务提供无穷无尽的训练数据。这诱使开发人员使用其他模型生成的数据来训练模型，即使网络本身越来越多地被合成数据所淹没。
- 去年，牛津大学、剑桥大学和伦敦帝国理工学院的研究人员 在他们的论文《递归的诅咒：基于生成的数据进行训练会让模型遗忘》中 警告了模型崩溃的可能性。大约在同一时间，另一项研究也发现 ，主要基于合成数据进行训练的模型在输出的多样性和质量方面急剧下降。
- 此外，人工智能系统的构建者也有动力用合成数据训练他们的模型。生成数据比雇佣人工收集或注释现有数据更容易、更快捷、更便宜。
- 生成的媒体可以说是不受版权保护的，因此对其进行训练可以降低 诉讼风险 ，并降低模型在训练集中重复使用受版权保护的材料的风险。同样，生成的数据不太可能包含个人身份信息（例如医学图像）， 如果在包含此类信息的数据集上训练的模型重复这些信息，则会对隐私构成风险。
你应该有多害怕：使用合成数据进行训练是当今一些性能最佳的模型的核心，包括 Llama 3.1、Phi 3 和 Claude 3 模型系列。（Meta 表明，使用 Llama 3.0 的代理工作流 来生成数据（而不是直接生成数据）会产生有用的数据来训练 Llama 3.1。）这种方法对于称为知识蒸馏的技术至关重要，该技术可以制作更小、参数效率更高的模型。此外，它对于构建可以执行几乎没有真实世界数据的任务的模型很有价值，例如可以处理相对较少人群使用的语言的机器翻译模型。尽管《递归的诅咒》的作者发现，训练一系列模型（每个模型都完全基于前一个模型的输出）会导致性能迅速下降，但即使引入 10% 的真实世界数据也可以显着抑制这种下降。
面对恐惧：鉴于生成合成数据的研究进展，模型崩溃不是短期风险，甚至可能根本不是风险。不过，跟踪训练数据集中生成的数据的存在并谨慎地将其纳入训练数据集是有意义的。大型网络数据集 Common Crawl 会定期捕获网络快照。如果生成的数据充斥在线环境，使用较早的快照将消除大量数据。更广泛地说，模型构建者越来越多地整理高质量数据，而给定的示例是否似乎是生成的将成为一个因素。可以使用旨在 识别 生成内容的算法来过滤数据集。增加水印的使用将使这项工作变得更加容易。这些措施将帮助开发人员确保未来很长一段时间内训练集中真实数据和生成数据的健康平衡。
关注公众号，用极客视角洞察未来！
往期精彩文章推荐：
