【AI从业必读】Anthropic CEO长文预判AI未来--强大的人工智能的基本假设和框架（6个特性）

我经常思考和讨论强大AI的风险。我所在的公司Anthropic从事大量关于如何降低这些风险的研究。因此，有时人们会认为我是一个悲观主义者或“末日论者”，认为AI大多是负面的或危险的。但我完全不同意这种看法。事实上，我之所以关注这些风险，是因为我认为它们是唯一阻挡我们实现那个根本上积极的未来的因素。在我看来，那个未来是美好的。我认为大多数人都低估了AI的巨大潜力，就像我认为大多数人低估了AI风险的严重程度一样。

在这篇文章中，我将尝试勾勒出这一积极的前景——如果一切顺利，拥有强大AI的世界可能会是什么样子。当然，没有人能够准确地预测未来，而强大AI的影响可能比过去的技术变革更不可预测，因此，所有这些内容都不可避免地是基于猜测的。但我力求这些猜测至少是有依据的，并能够反映即使大部分细节出错也能描绘出未来的轮廓。我包括了大量细节，主要是因为我认为具体的愿景比过于谨慎和抽象的讨论更能推动对话。

然而，首先，我想简要解释一下，为什么我和Anthropic没有过多谈论强大AI的正面影响，以及为什么我们可能会继续更多地关注风险。尤其是，我出于以下几个原因做出了这种选择：

• 最大化影响力。AI技术的基本发展及其许多（但并非全部）好处似乎是不可避免的（除非风险导致一切脱轨），其发展主要由强大的市场力量推动。而风险并不是既定的，我们的行动可以极大地改变它们的发生概率。
• 避免被视为宣传。AI公司谈论AI的所有好处可能会让人觉得是在进行宣传，或者试图转移注意力，忽视其负面影响。此外，我还认为，原则上，过多地“推销”自己对人的精神是有害的。
• 避免自大。我经常对一些AI风险公共人物（更不用说AI公司领导者）谈论AGI后的世界的方式感到不满，仿佛他们的使命是像先知一样带领人们走向救赎。我认为，将公司视为能够单方面塑造世界是危险的，将技术目标本质上宗教化也是危险的。
• 避免科幻化。尽管我认为大多数人低估了强大AI的潜在影响，但讨论激进AI未来的群体往往会采用过于“科幻”的语气（例如，涉及上传心智、太空探索或赛博朋克式的未来）。我认为这会使人们对这些主张不那么认真对待，并使这些讨论带有一种不真实感。需要明确的是，问题不在于这些技术是否可能实现，而是在于这种“氛围”暗含了许多文化包袱和未声明的假设，例如关于什么样的未来是可取的，社会问题将如何演变等。结果往往让大多数人觉得这些愿景只是为少数亚文化群体准备的幻想，令人望而却步。

尽管有上述顾虑，我确实认为讨论强大AI可能带来的美好未来非常重要，同时尽量避免上述陷阱。事实上，我认为拥有一个真正鼓舞人心的未来愿景是至关重要的，而不仅仅是为应对危机制定计划。强大AI的影响有很多是对抗性或危险的，但最终我们必须有一些值得奋斗的目标，一些能带来双赢的结果，使每个人的生活变得更好；一些能够激励人们超越小摩擦，共同迎接挑战的愿景。恐惧是一种动力，但它还不够：我们还需要希望。

强大AI的正面应用清单非常长（包括机器人、制造、能源等领域），但我将重点放在我认为最能直接改善人类生活质量的几个领域。我最感兴趣的五个领域是：

1. 生物学和身体健康
2. 神经科学和心理健康
3. 经济发展与贫困
4. 和平与治理
5. 工作与意义

我的预测可能会被大多数人视为激进的（除了科幻的“奇点”设想2），但我真诚地表达了这些看法。我所说的一切都有可能是错的（再次强调我之前的观点），但我至少试图基于对各个领域进展的半分析性评估，探讨这可能在实践中意味着什么。我很幸运在生物学和神经科学领域有专业经验，并且在经济发展领域是一名知情的业余爱好者，但我肯定会犯很多错误。写这篇文章让我意识到，将生物学、经济学、国际关系等领域的专家聚集在一起，撰写一个比我现在写的更好、更专业的版本，会很有价值。最好将我的努力视为提供给这一团队的起始提示词。

基本假设和框架

为了使整篇文章更加精确和有根据，明确指出我们所说的强大人工智能（即5-10年倒计时开始的临界点）的含义，以及提出一个思考框架来分析这种人工智能一旦出现后的影响，这是很有帮助的。

强大的人工智能（我不喜欢使用AGI这个术语）会是什么样子，以及它何时（或是否）会出现，这本身就是一个巨大的话题。我已经公开讨论过这个问题，并且可能会写一篇完全独立的文章（我可能在某个时候会这么做）。显然，许多人对强大的人工智能是否会很快被建造持怀疑态度，有些人甚至怀疑它是否能被建造出来。我认为它可能最早会在2026年出现，尽管也有可能需要更长的时间。但就本文而言，我想把这些问题放在一边，假设它会在合理的近期内出现，并专注于在此之后的5-10年内会发生什么。我还想假定这样一个系统会是什么样子，它的能力是什么，以及它如何互动，尽管在这些方面可能存在分歧。

对于强大的人工智能，我心中设想的是一个人工智能模型——可能在形式上与今天的大语言模型相似，尽管它可能基于不同的架构，可能涉及几个相互作用的模型，并且可能以不同的方式进行训练——具有以下特性：

1. 在纯粹的智力方面，它比大多数相关领域的诺贝尔奖获得者更聪明 - 包括生物学、编程、数学、工程、写作等。这意味着它可以证明未解决的数学定理，写出极好的小说，从头开始编写复杂的代码库等。
2. 除了仅仅是一个"你可以交谈的聪明东西"之外，它还具备人类在虚拟工作中可用的所有"接口"，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以进行这些接口所允许的任何行动、通信或远程操作，包括在互联网上采取行动、接受或给予人类指示、订购材料、指导实验、观看视频、制作视频等。它在所有这些任务中的技能再次超过了世界上最有能力的人类。
3. 它不只是被动地回答问题；相反，它可以被赋予需要数小时、数天或数周才能完成的任务，然后像一个聪明的员工一样自主地去完成这些任务，在必要时寻求澄清。
4. 它没有物理实体（除了存在于计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上它甚至可以为自己设计机器人或设备来使用。
5. 用于训练模型的资源可以被重新用于运行数百万个实例（这与~2027年左右预计的集群规模相匹配），而且模型可以以大约人类速度的10-100倍吸收信息和生成行动。然而，它可能会受到与之交互的物理世界或软件响应时间的限制。
6. 这数百万个副本中的每一个都可以独立地执行不相关的任务，或者如果需要，可以像人类合作那样一起工作，也许不同的子群体会被微调以特别擅长特定任务。

我们可以将此概括为"数据中心里的天才国度"。

显然，这样一个实体将能够非常快速地解决非常困难的问题，但要弄清楚它有多快并非易事。两种"极端"立场在我看来都是错误的。首先，你可能认为世界会在几秒或几天的尺度上立即转变（"奇点"），因为卓越的智能会自我提升并几乎立即解决每一个可能的科学、工程和操作任务。这种观点的问题在于，存在着真实的物理和实际限制，例如硬件构建或生物实验方面的限制。即使是一个新的天才国度也会遇到这些限制。智能可能非常强大，但它并不是魔法粉末。

第二，相反地，你可能相信技术进步已经饱和或受到现实世界数据或社会因素的速率限制，而超人类智能将几乎无法增加什么。这在我看来同样不可信——我能想到数百个科学甚至社会问题，在这些问题上，一大群真正聪明的人会大大加快进展，尤其是如果他们不仅限于分析，还能在现实世界中使事情发生（而我们假设的天才国度可以做到这一点，包括指导或协助人类团队）。

我认为真相可能是这两种极端图景的某种混合，因任务和领域而异，其细节非常微妙。我相信我们需要新的框架来以富有成效的方式思考这些细节。

经济学家经常谈论"生产要素"：比如劳动力、土地和资本。"劳动力/土地/资本的边际回报"这个短语捕捉了这样一个概念：在给定情况下，给定的因素可能是或可能不是限制性因素——例如，空军需要飞机和飞行员，如果你的飞机用完了，雇佣更多飞行员并不会有太大帮助。我相信在人工智能时代，我们应该讨论智能的边际回报，并试图弄清楚在智能非常高时，与智能互补的其他因素是什么，以及哪些因素成为限制因素。我们不习惯这样思考——问"在这项任务中，变得更聪明能帮多大忙，以及在什么时间尺度上？"——但这似乎是概念化一个拥有非常强大人工智能的世界的正确方式。

我猜测，限制或与智能互补的因素列表包括：

1. 外部世界的速度。智能代理需要在世界中进行互动操作才能完成任务，也才能学习。但世界只能以固定速度运转。细胞和动物以固定速度运行，因此对它们的实验需要一定的时间，这可能是不可缩减的。硬件、材料科学、任何涉及与人沟通的事情，甚至我们现有的软件基础设施也是如此。此外，在科学中，经常需要按顺序进行多个实验，每个实验都从前一个实验中学习或在其基础上构建。所有这些意味着完成一个重大项目——例如开发癌症治疗方法——的速度可能有一个不可缩减的最小值，即使智能继续增加，也无法进一步减少。
2. 数据需求。有时原始数据缺乏，在这种情况下，更多的智能并不能帮忙。今天的粒子物理学家非常聪明，已经发展出了广泛的理论，但由于粒子加速器数据非常有限，他们缺乏选择这些理论的数据。不清楚如果他们拥有超级智能是否会做得更好——除了可能加速建造更大的加速器之外。
3. 内在复杂性。有些事情本质上是不可预测或混沌的，即使是最强大的人工智能也无法比人类或今天的计算机预测或解开得更好。例如，即使是非常强大的人工智能，在一般情况下也只能比今天的人类和计算机在混沌系统（如三体问题）中预测得稍微远一些。
4. 人类的约束。许多事情如果不违反法律、伤害人类或扰乱社会就无法完成。一个对齐的人工智能不会想做这些事情（如果我们有一个未对齐的人工智能，我们就回到讨论风险的话题上了）。许多人类社会结构是低效甚至有害的，但在尊重诸如临床试验的法律要求、人们改变习惯的意愿或政府行为等约束条件的同时很难改变。在技术上运作良好但其影响已被法规或错误恐惧大大减少的进步例子包括核能、超音速飞行，甚至电梯。
5. 物理定律。这是第一点的更严格版本。有些物理定律似乎是不可打破的。不可能以超过光速的速度旅行。布丁不会自行搅拌。芯片每平方厘米只能有这么多晶体管，否则就会变得不可靠。计算需要每擦除一位至少消耗一定最小能量，这限制了世界上计算的密度。

还有一个基于时间尺度的进一步区分。短期内的硬性约束在长期内可能会变得更容易被智能改变。例如，智能可能被用来开发新的实验范式，允许我们在体外学习过去需要活体动物实验才能学到的东西，或者建造收集新数据所需的工具（例如更大的粒子加速器），或者（在伦理限制内）找到绕过基于人类的约束的方法（例如帮助改进临床试验系统，帮助创建临床试验官僚程序较少的新司法管辖区，或改进科学本身以使人类临床试验不那么必要或更便宜）。

因此，我们应该想象这样一幅图景：智能最初受到其他生产要素的严重瓶颈限制，但随着时间的推移，智能本身越来越多地绕过其他因素，即使它们永远不会完全消失（而且有些东西如物理定律是绝对的）。关键问题是这一切发生得有多快，以及按什么顺序。

考虑到上述框架，我将尝试回答引言中提到的五个领域的这个问题。

Lin师傅中间偷个懒省略了 1. 到4. 。

想要了解可阅读原文（有链接🔗）或参考歸藏(guizang.ai)的译文

5. 工作与意义

即使前面四个部分的一切都进展顺利——我们不仅缓解了疾病、贫困和不平等，还让自由民主成为主要的政府形式，现有的自由民主国家也变得更加完善——至少还有一个重要问题尚未解决。有人可能会质疑：“我们生活在一个如此技术先进、公平体面的世界固然很好，但在AI做所有事情的情况下，人类如何找到生活的意义？再者，人类如何在经济上维持生计？”

我认为这个问题比其他问题更难。我并不是说我对此问题比其他问题更悲观（尽管我确实看到了挑战），而是因为这个问题更加模糊，难以提前预测，因为它涉及到社会如何组织的宏观问题，而这些问题往往是随着时间推移并通过分散的方式自我解决的。例如，历史上的狩猎采集社会可能会认为没有狩猎和各种与之相关的宗教仪式，生活就失去了意义。他们也可能无法理解我们技术社会如何养活所有人，或者人们在机械化社会中能做些什么有用的事情。

尽管如此，还是有必要对此问题稍作讨论，同时请注意，本节内容简短并不意味着我不重视这些问题——相反，这是由于缺乏明确答案。

关于意义，我认为仅仅因为AI能够更好地完成某些任务，就认为人类所做的事情毫无意义，这很可能是一个错误。大多数人并不是世界上某个领域的佼佼者，但这并没有特别困扰他们。当然，今天他们可以通过比较优势做出贡献，并从他们所创造的经济价值中找到意义，但人们也非常享受那些不产生经济价值的活动。我花了很多时间玩电子游戏、游泳、散步、和朋友交谈，所有这些活动都不产生经济价值。我可能会花一天时间试图提高电子游戏水平，或者骑车爬山更快，但我并不在意有人比我做得更好。无论如何，我认为意义主要来自于人际关系和互动，而不是经济劳动。人们确实需要成就感，甚至是竞争感，而在后AI时代，完全可以花费数年时间去完成一些非常困难的任务，运用复杂的策略，就像今天的人们在进行科研项目、试图成为好莱坞演员或创办公司时所做的一样。某些AI在理论上能够更好地完成这些任务，或这些任务不再是全球经济中的有经济回报的工作，这些对我来说影响不大。

相比之下，我认为经济问题比意义问题更难解决。在这里，“经济问题”是指大多数或所有人可能无法在一个高度发达的AI驱动经济中做出有意义的贡献。这是一个比不平等问题更宏观的问题，尤其是获得新技术的不平等问题，这个问题我在第三节中已经讨论过。

首先，我同意短期内的比较优势理论，即人类将继续保持相关性，并且生产力会提高，甚至在某些方面会使人类处于更公平的竞争环境中。只要AI在某项工作上只比人类好90%，那剩下的10%就会使人类的价值大大提升，从而增加报酬，并创造出大量新的工作来补充和放大AI擅长的部分，使这“10%”继续扩大，进而雇佣几乎所有人。事实上，即使AI在所有领域100%比人类做得更好，但如果在某些任务上效率不高或成本高昂，或者人类和AI的资源投入有所不同，那么比较优势的逻辑仍然适用。人类在物理世界中可能会在相当长的一段时间内保持相对（甚至绝对）的优势。因此，我认为即使在我们达到“数据中心中的天才之国”之后的一段时间内，人类经济仍然有可能继续存在。

然而，我确实认为，从长远来看，AI将变得如此广泛有效且成本低廉，这些逻辑将不再适用。届时，我们当前的经济结构将不再合理，需要更广泛的社会讨论，来决定经济应如何组织。

虽然这听起来很疯狂，但事实上，人类文明已经成功应对了过去的重大经济转变：从狩猎采集到农业，从农业到封建主义，再从封建主义到工业化。我怀疑未来会需要一些新的、更陌生的模式，而今天没有人很好地描绘出这样的模式。这可能简单到类似于为所有人提供大规模的全民基本收入，尽管我怀疑这只是一部分解决方案。也可能是一个AI系统主导的资本主义经济，由AI系统分配巨量资源（因为总体经济体量会极为庞大）给人类，基于某种次级经济，来判断哪些人类行为应得到奖励。这一判断可能源自人类价值观。也许，经济将依赖类似于“Whuffie点数”的东西运行。又或者，人类在未来的经济中会以现有经济模型无法预见的方式继续发挥作用。所有这些方案都有大量潜在问题，且在没有大量实验和迭代的情况下，无法确定它们是否合理。与其他挑战一样，我们可能也必须为争取一个好的结果而奋斗：剥削性或反乌托邦式的走向显然是可能的，必须加以防范。关于这些问题还有很多可以探讨的内容，我希望在未来某个时候能够详细讨论。

总结

通过上述不同主题的讨论，我试图描绘出一个如果AI发展顺利，在现实中可能实现、且比今天的世界更加美好的未来愿景。我不知道这个世界是否切实可行，即使可行，也不会在没有大量勇敢且奉献的人们的努力与斗争下实现。每个人（包括AI公司！）都需要发挥自己的作用，不仅要防范风险，还要努力充分实现AI带来的好处。

但这是一个值得为之奋斗的世界。如果这一切真的在未来5到10年内发生——战胜大多数疾病，生物与认知自由的增长，数十亿人摆脱贫困并共享新技术，自由民主和人权的复兴——我怀疑每个见证这一切的人都会为这些变化对他们的影响感到惊讶。我所指的并不仅仅是个人受益于新技术的体验，尽管那也必然会令人惊叹。我指的是亲眼看到一个长期以来的理想突然在我们眼前逐一实现的感受。我想，许多人会因此感动得热泪盈眶。

在写这篇文章的过程中，我注意到一个有趣的张力。从某种意义上说，这里描绘的愿景极其激进：它不是几乎任何人对未来十年的预期，许多人甚至可能认为它是荒谬的幻想。一些人甚至可能不认为这是一个理想的未来；它反映了某些价值观和政治选择，并非所有人都会认同。但与此同时，这个愿景又显得非常明显、几乎不可避免——仿佛许多不同的尝试去构想一个美好世界，最终都会不可避免地指向这一方向。

在伊恩·M·班克斯的《游戏玩家》一书中，主人公是“文化”社会的成员，这个社会的原则与我在这里描述的原则相似。他前往一个压迫性的、军国主义的帝国，在那里通过一个复杂的战斗游戏决定领导地位。然而，这个游戏足够复杂，玩家的策略往往反映了他们的政治和哲学观念。主人公设法在游戏中击败了帝国的皇帝，证明了他的价值观（即文化的价值观）即使在一个建立在无情竞争和适者生存基础上的社会中，也是制胜的策略。斯科特·亚历山大的一个著名帖子也表达了类似观点——即竞争往往会自我挫败，最终引导社会走向基于同情与合作的模式。“道德宇宙的弧线”也是一个类似的概念。

我认为，“文化”的价值观之所以是一种制胜策略，是因为它们是无数小决定的总和，这些决定具有明确的道德力量，倾向于将每个人都团结在一起。公平、合作、好奇和自主的基本人性直觉很难被驳倒，并且这些直觉累积的力量往往比那些破坏性的冲动更强大。很容易得出结论，如果我们能够防止孩子死于疾病，我们就应该这么做；从这个观点出发，很容易进一步推论，每个人的孩子都应该享有同样的权利。从这里，再推一步，就很容易得出结论，我们应该团结一致，运用我们的智慧来实现这个目标。几乎没有人会反对不必要的伤害应该受到惩罚，而从这个观点再推一步，就很容易得出惩罚应该对所有人一致且系统化的结论。同样直观的是，人们应该拥有对自己生活和选择的自主权与责任。这些简单的直觉，如果推演至其逻辑终点，最终会引导我们走向法治、民主和启蒙价值观。如果不是必然的，那么至少作为一种统计趋势，人类已经朝着这个方向前进。AI只是提供了一个加快我们前进速度的机会——让这种逻辑更加清晰，让目的地更加明确。

尽管如此，这仍是一个非凡的美好愿景。我们有机会在实现它的过程中，扮演一份小小的角色。

原文链接：https://darioamodei.com/machines-of-loving-grace#basic-assumptions-and-framework

后记

贴一首Dario标题中引用的参考资料理查德·布劳蒂的诗歌。