Claude CEO的最新万字长文，比山姆奥特曼更理性实际！

关键部分：

强人工智能的潜力被低估： Amodei 认为，大多数人低估了强人工智能的潜在益处，就像他们低估其风险一样。他认为，强力人工智能将带来根本性的积极未来，而风险是实现这一未来的唯一障碍。"我认为，大多数人低估了强人工智能的潜在益处，就像他们低估其风险一样。"

强人工智能的定义和框架：Amodei 将强人工智能定义为一种类似于当今大型语言模型的 AI 系统，其智能水平超过诺贝尔奖获得者，并拥有与人类相当的接口和行动能力。他预测，强人工智能将在 2026 年或更早出现，并将以 “数据中心的天才之国” 的形式存在。"强人工智能，我指的是一种 AI 模型，很可能在形式上类似于当今的大型语言模型，尽管它可能基于不同的架构，可能涉及多个交互模型，并且可能以不同的方式训练——具有以下属性：

就纯粹的智能而言，它在大多数相关领域——生物学、编程、数学、工程、写作等——都比诺贝尔奖获得者更聪明。这意味着它可以证明未解决的数学定理，写出非常好的小说，从头开始编写困难的代码库等等。

人工智能进步的限制因素：Amodei 提出 “智能边际收益” 的概念，认为除了智能本身之外，还有其他因素会限制人工智能的进步速度，例如外部世界的速度、对数据的需求、内在复杂性、人类的限制以及物理定律。

"我认为，在人工智能时代，我们应该谈论的是智能的边际收益，并试图弄清楚与智能互补的其他因素是什么，以及当智能非常高时，哪些因素会成为限制因素。"

五个关键领域的变革：

1、生物学和健康： Amodei 预测，强人工智能将加速生物学研究的整个过程，将未来 50-100 年的生物学和医学进步压缩到 5-10 年内。这将导致几乎所有自然传染病的可靠预防和治疗、大多数癌症的消除、基因疾病的有效预防和治疗、阿尔茨海默病的预防以及人类寿命的延长。

"我的基本预测是，人工智能支持的生物学和医学将使我们能够将人类生物学家在未来 50-100 年内取得的进展压缩到 5-10 年内。我将其称为 “压缩的 21 世纪”：即在强人工智能发展之后，我们将在几年内取得我们在整个 21 世纪在生物学和医学方面取得的所有进展。"

2、神经科学和心理：Amodei 认为，强人工智能将通过加速神经科学工具和技术的发现，以及应用人工智能本身的见解（如可解释性和规模化假设），来彻底改变神经科学和心理健康领域。这将导致大多数精神疾病的治愈或预防，以及人类认知和情感能力的巨大扩展。

"我的猜测是，这四条进步路线共同作用，就像身体疾病一样，即使没有人工智能的参与，也可能在未来 100 年内治愈或预防大多数精神疾病——因此，在 5-10 年的人工智能加速下，这些疾病可能会得到治愈。"

3、经济发展和贫困： Amodei 承认，人工智能在解决不平等和促进经济增长方面的能力不如其在技术发明方面的能力那么确定。然而，他仍然乐观地认为，人工智能可以通过优化健康干预措施的分配、促进经济增长、保障粮食安全、缓解气候变化以及解决国家内部的不平等来帮助发展中国家赶上发达国家。

"总体而言，我乐观地认为，人工智能的生物学进步将很快惠及发展中国家人民。我抱有希望，但并不自信，人工智能也能带来前所未有的经济增长率，让发展中国家至少能赶上发达国家目前的水平。"

4、和平与治理： Amodei 认为，人工智能本身并不能保证民主与和平的进步，因为它可以被专制政权和民主政权利用。他主张民主国家采取 “协约战略”，通过确保强力人工智能的供应链、快速扩展以及阻止或延迟对手获得关键资源（如芯片和半导体设备）来获得优势。这将使民主国家能够在世界舞台上占据主导地位，并最终促进全球民主的传播。

"我认为，人工智能本身并不能保证民主与和平的进步，因为它可以被专制政权和民主政权利用。"

5、工作和意义： Amodei 认为，即使在人工智能执行大部分任务的世界中，人类仍然可以找到意义和目标。他认为，意义主要来自于人际关系和联系，而不是经济劳动。然而，他承认，人工智能驱动的经济可能会挑战我们当前的经济体系，需要进行更广泛的社会对话来探讨未来经济的组织方式。

"我认为，即使在人工智能执行大部分任务的世界中，人类仍然可以找到意义和目标。我认为，意义主要来自于人际关系和联系，而不是经济劳动。"

Amodei 相信，如果处理得当，强人工智能可以引领一个比今天更美好的世界，一个没有疾病、贫困和不平等的世界，一个以自由民主和人权为特征的世界。他承认，实现这一愿景需要巨大的努力和斗争，需要个人、人工智能公司和政策制定者的共同努力。

"如果这一切真的在 5 到 10 年内发生——大多数疾病的战胜、生物和认知自由的增长、数十亿人摆脱贫困并分享新技术、自由民主和人权的复兴——我认为每个看到这一切的人都将对它对他们的影响感到惊讶。"

结论： Amodei 在文章提供了一个令人信服的愿景，描绘了强人工智能如何重塑人类社会。他强调了强人工智能的巨大潜力，但也指出了伴随而来的挑战和风险。他呼吁采取积极的行动来引导人工智能的发展，确保其造福于全人类。

《Machines of Loving Grace》[01]

How AI Could Transform the World for the Better

——Dario Amodei

原文链接：https://darioamodei.com/machines-of-loving-grace

我经常思考和谈论强人工智能的风险。我担任首席执行官的公司 Anthropic 对如何降低这些风险进行了大量研究。正因为如此，人们有时会得出结论，认为我是一个悲观主义者或“末日论者”，认为人工智能主要是坏的或危险的。我根本不这么认为。事实上，我关注风险的主要原因之一是，风险是我们与我所看到的根本积极的未来之间的唯一障碍。我认为大多数人都低估了人工智能可能带来的巨大好处，就像我认为大多数人都低估了风险可能带来的严重性一样。

在本文中，我试图勾勒出这种好处的轮廓——如果一切顺利，一个拥有强大人工智能的世界会是什么样子。当然，没有人能够确切或准确地知道未来，而强人工智能的影响可能比过去的技术变革更加难以预测，因此，所有这些都不可避免地将由猜测组成。但我的目标是至少做出有根据的、有用的猜测，即使大多数细节最终都是错误的，这些猜测也能捕捉到将会发生什么。我之所以包含大量细节，主要是因为我认为具体的愿景比高度含糊和抽象的愿景更能推动讨论。

不过，首先我想简单解释一下为什么我和 Anthropic 没有过多谈论强大人工智能的优势，以及为什么我们总体上可能会继续谈论很多风险。具体来说，我做出这个选择是出于以下愿望：

- 最大限度地发挥杠杆作用。人工智能技术的基本发展及其许多（并非全部）好处似乎是不可避免的（除非风险破坏了一切），并且从根本上来说是由强大的市场力量驱动的。另一方面，风险并不是预先确定的，我们的行动可以极大地改变其发生的可能性。

- 避免被误认为是宣传。人工智能公司谈论人工智能的所有惊人好处，可能会让人觉得他们是在宣传，或者试图转移人们对其弊端的注意力。我还认为，从原则上讲，花太多时间“谈论自己的书”对你的灵魂是有害的。

- 避免夸大其词。许多 AI 风险公众人物（更不用说 AI 公司领导人）谈论后 AGI 世界的方式常常让我感到反感，就好像他们的使命就是像先知带领他们的人民走向救赎一样独自实现它。我认为将公司视为单方面塑造世界是危险的，将实际技术目标视为宗教术语也是危险的。

- 避免“科幻”包袱。虽然我认为大多数人都低估了强大人工智能的优势，但确实讨论激进人工智能未来的少数人经常以过度“科幻”的语气进行讨论（例如，上传思维、太空探索或一般的赛博朋克氛围）。我认为这会导致人们不太认真对待这些说法，并给它们注入一种不现实的感觉。需要明确的是，问题不在于所描述的技术是否可能或可能（主要文章详细讨论了这一点）——而更多的是“氛围”隐含着一堆文化包袱和未说明的假设，关于什么样的未来是理想的，各种社会问题将如何发展，等等。结果往往最终读起来像是狭隘亚文化的幻想，同时让大多数人感到反感。

尽管存在上述种种担忧，但我确实认为，在尽力避免上述陷阱的同时，讨论一个拥有强大人工智能的美好世界会是什么样子是很重要的。事实上，我认为，拥有一个真正鼓舞人心的未来愿景至关重要，而不仅仅是一个救火计划。强大人工智能的许多影响都是对抗性的或危险的，但归根结底，我们必须为之奋斗，为每个人都过得更好的正和结果而奋斗，为团结人们超越争吵、迎接未来挑战而奋斗。恐惧是一种激励因素，但这还不够：我们还需要希望。

强大人工智能的积极应用领域非常多（包括机器人、制造业、能源等），但我将重点介绍少数几个我认为最有可能直接改善人类生活质量的领域。我最感兴趣的五个类别是：

1. 生物学和身体健康

2. 神经科学和心理健康

3. 经济发展与贫困

4. 和平与治理

5. 工作与意义

按照大多数标准（科幻“奇点”愿景[02]除外）来判断，我的预测都将是激进的，但我是真心实意地说这些预测。我说的一切都很容易出错（重复我上面的观点），但我至少试图将我的观点建立在半分析性的评估上，即各个领域的进步可能会加快多少以及这在实践中意味着什么。我很幸运在生物学和神经科学方面都有专业经验，而且我是经济发展领域的博学业余人士，但我确信我会犯很多错误。写这篇文章让我意识到，召集一群领域专家（生物学、经济学、国际关系和其他领域）来撰写一份比我这里写的内容更好、更有见识的版本将是很有价值的。最好将我在这里的努力视为该小组的起点。

基本假设和框架

为了让整篇文章更精确、更有根据，明确我们所说的强大AI（即5-10年倒计时开始时）的含义，并为思考这种AI一旦存在的影响提供一个框架是有帮助的。

强大的AI（我不喜欢AGI这个术语）[03]将是什么样子，以及它何时（或是否）到来，本身就是一个巨大的话题。这是我公开讨论过的话题，也可能在某个时候会写一个完全独立的文章。显然，许多人对很快就会建造强大的AI持怀疑态度，一些人甚至怀疑它是否会被建造。我认为它可能早在2026年就会到来，尽管也有它可能需要更长的时间的方式。但就这篇文章而言，我想将这些问题放在一边，假设它会在合理的时间内到来，并专注于那之后的5-10年会发生什么。我还想假设这样一个系统将是什么样子，它的能力是什么，以及它如何互动，尽管在这方面存在分歧的余地。

通过《强大的AI》，我有一个AI模型——可能与今天的LLM在形式上相似，尽管它可能基于不同的架构，可能涉及几个相互作用的模型，并且可能以不同的方式进行训练——具有以下特性：

- 就纯粹的智能[04]而言，它比大多数相关领域的诺贝尔奖获得者更聪明——生物学、编程、数学、工程、写作等。这意味着它可以证明未解决的数学定理，写出非常好的小说，从头开始编写困难的代码库等。

- 除了只是一个“你与之交谈的智能事物”之外，它还拥有人类虚拟工作时可用的所有“接口”，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以执行任何由这个接口启用的操作、通信或远程操作，包括在互联网上采取行动，给人类提供或接受方向，订购材料，指导实验，观看视频，制作视频等。它再次以超过世界上最能干人类的技能执行所有这些任务。

- 它不仅仅是被动地回答问题；相反，它可以被赋予需要数小时、数天或数周才能完成的任务，然后像一个聪明的员工一样去做这些任务，必要时请求澄清。

- 它没有物理体现（除了生活在计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备。

- 用于训练模型的资源可以被重新用于运行它的数百万实例（这与2027年左右预测的集群大小相匹配），并且该模型可以以大约10倍-100倍于人类的速度吸收信息和生成操作[05]。然而，它可能受到物理世界响应时间或与之交互的软件的限制。

- 这些百万副本中的每一个都可以独立地进行不相关的任务，或者如果需要，可以像人类一样共同工作，也许不同的子群体可以微调以特别适合特定任务。

我们可以将此总结为“数据中心的天才国家”。

显然，这样的实体将能够非常快速地解决非常困难的问题，但要弄清楚它有多快并不容易。两个“极端”的立场在我看来都是错误的。首先，你可能会认为世界将在几秒钟或几天的时间内瞬间转变（“奇点”），因为优越的智能在此基础上构建并立即解决每个可能的科学、工程和操作任务。这个问题在于，有真正的物理和实际限制，例如在构建硬件或进行生物实验方面。即使是一个新的天才国家也会遇到这些限制。智能确实非常强大，但它并不是万能的魔法。

其次，反过来，你可能相信技术进步是饱和的或受到现实世界数据或社会因素的限制，以至于比人类更智能的智能将增加很少[06]。在我看来，这同样难以置信——我能想到数百个科学或甚至是社会问题，一群真正聪明的人将极大地加速进展，特别是如果他们不仅限于分析，并且可以在现实世界中让事情发生（我们假设的天才国家可以，包括指导或协助人类团队）。

我认为真相可能是这两种极端画面的某种混乱混合，根据任务和领域不同，以及非常微妙的细节。我认为我们需要新的框架来以一种生产性的方式思考这些细节。

经济学家经常谈论“生产要素”：像劳动力、土地和资本这样的事物。“劳动力/土地/资本的边际回报”这个短语捕捉了这样一个想法，即在给定情况下，一个给定因素可能或可能不是限制因素——例如，空军需要飞机和飞行员，如果你没有飞机，雇佣更多的飞行员并没有太多帮助。我相信在AI时代，我们应该谈论“智能的边际收益”[07]，并试图弄清楚其他因素是什么，这些因素是补充智能的，并在智能非常高时成为限制因素。我们不习惯以这种方式思考——问“变得更聪明对这个任务有多大帮助，以及在什么时间尺度上？”——但这似乎是概念化一个拥有非常强大AI的世界的正确方式。

我猜测的一份限制或补充智能的因素清单包括：

- 外部世界的速度。智能代理需要与世界互动才能完成事情，并且也需要学习[08]。但世界移动得这么慢。细胞和动物以固定速度运行，所以对它们的实验需要一定的时间，这可能是不可减少的。与人类沟通以及我们现有的软件基础设施也是如此。此外，在科学中，许多实验通常需要顺序进行，每个实验从上一个实验中学习或建立。所有这些都意味着一个主要项目——例如开发癌症治疗方法——的完成速度可能有一个不可减少的最低限度，即使智能继续增加，也无法进一步减少。

- 对数据的需求。有时原始数据缺乏，在缺乏数据的情况下，更多的智能并没有帮助。今天的粒子物理学家非常聪明，已经开发了一系列理论，但由于粒子加速器数据非常有限，他们缺乏选择它们之间的数据。他们如果拥有超智能，可能也不会做得大大更好——除了可能通过加速建造更大的加速器。

- 内在复杂性。有些事物本质上是不可预测的或混乱的，即使是最强大的AI也无法比今天的人类或计算机更好地预测或解开它们。例如，即使是非常强大的AI也只能在一般情况下比今天的人类和计算机稍微更长远地预测混沌系统（如三体问题）[09]。

- 来自人类的限制。许多事情不能在不违反法律、伤害人类或扰乱社会的情况下完成。一个对齐的AI不会想做这些事情（如果我们有一个未对齐的AI，我们又回到了谈论风险）。许多人类社会结构效率低下甚至积极有害，但很难在尊重法律要求、人们对改变习惯的意愿或政府行为等约束的同时改变。包括核能、超音速飞行甚至电梯在内的技术进步在技术方面运作良好，但其影响已受到法规或错误恐惧的大幅减少。

- 物理定律。这是第一点的一个更明显的版本。有一些物理定律似乎是不可打破的。不可能比光速旅行得更快。布丁不会自行搅拌。芯片在每平方厘米的晶体管数量上只能有这么多，否则它们就会变得不可靠。计算需要每个比特擦除的最低能量，限制了世界上计算的密度。

还有一个基于《时间尺度》的进一步区别。短期内难以约束的事物在长期内可能更容易受到智能的影响。例如，智能可能被用来开发一个新的实验范式，允许我们在体外学习以前需要活体动物实验的知识，或者建造所需的工具来收集新数据（例如更大的粒子加速器），或者（在伦理限制内）找到绕过基于人类约束的方法（例如帮助改进临床试验系统，帮助创建临床试验官僚主义较少的新司法管辖区，或改进科学本身，使人类临床试验不那么必要或更便宜）。

因此，我们应该想象一个画面，智能最初受到其他生产要素的严重瓶颈，但随着时间的推移，智能本身越来越多地绕过其他因素，即使它们永远不会完全消失（有些事物，如物理定律，是绝对的）[10]。关键问题是一切都发生得有多快，以及以什么顺序发生。

考虑到上述框架，我将尝试回答引言中提到的五个领域的问题。

1. 生物学和健康

生物学可能是科学进展最有可能直接和明确地提高人类生活质量的领域。在上个世纪，一些最古老的人类痛苦（如天花）终于被征服，但还有更多的痛苦仍然存在，战胜它们将是一个巨大的人道主义成就。甚至超越治愈疾病，生物学科学原则上可以提高人类健康的《基线》质量，通过延长健康人类寿命，增加对我们自己生物过程的控制和自由，以及解决我们目前认为是人类条件不变部分的日常问题。

在上一节的《限制因素》语言中，直接应用智能到生物学的主要挑战是数据、物理世界的速度和固有的复杂性（实际上，所有三个都相互关联）。人类限制在后期也发挥作用，当涉及到临床试验时。让我们一一解决这些问题。

对细胞、动物甚至化学过程的实验受到物理世界速度的限制：许多生物学协议涉及培养细菌或其他细胞，或者简单地等待化学反应发生，这有时需要几天甚至几周，没有明显的方法可以加速。动物实验可能需要数月（甚至更长时间），人类实验通常需要数年（甚至数十年用于长期结果研究）。与此有些相关的是，数据通常缺乏——不是数量，而是质量：总是缺乏清晰、明确的数据，这些数据将感兴趣的生物学效应与其他10000件正在发生的事情隔离开来，或者在给定过程中进行因果干预，或者直接测量某些效应（而不是以某种间接或嘈杂的方式推断其后果）。即使是像我在使用质谱技术工作时收集的蛋白质组学数据这样的大量、定量的分子数据，也是嘈杂的，遗漏了很多（这些蛋白质在哪些类型的细胞中？细胞的哪一部分？在细胞周期的哪个阶段？）。

数据问题的这部分责任在于固有的复杂性：如果你曾经看过显示人类新陈代谢生物化学的图表，你就会知道隔离这个复杂系统的任何部分的效应非常困难，更不用说以精确或可预测的方式进行干预了。最后，超出在人类身上进行实验所需的固有时间，实际的临床试验涉及很多官僚主义和监管要求，（包括我在内，许多人的看法）认为这些要求增加了不必要的额外时间和延迟。

鉴于此，许多生物学家一直对AI和“大数据”在生物学中的价值持怀疑态度。历史上，数学家、计算机科学家和物理学家在过去30年中将他们的技能应用于生物学，取得了相当的成功，但没有实现最初希望的真正变革性影响。一些怀疑因重大和革命性的突破而减少，如AlphaFold（它刚刚当之无愧地为其创造者赢得了诺贝尔化学奖）和AlphaProteo [11]，但仍有一种观念认为AI（并且将继续）只能在有限的情况下有用。一种常见的表述是“AI可以更好地完成数据分析工作，但它不能产生更多的数据或提高数据的质量。垃圾进，垃圾出”。

但我认为是悲观的观点以错误的方式思考AI。如果我们对AI进展的核心假设是正确的，那么思考AI的正确方式不是作为一种数据分析方法，而是作为一个虚拟生物学家，执行生物学家做的《所有》任务，包括设计和在现实世界中运行实验（通过控制实验室机器人或简单地告诉人类应该运行哪些实验——就像主要研究者对他们的研究生一样），发明新的生物学方法或测量技术等。正是通过加快《整个研究过程》，AI才能真正加速生物学。我想重复这一点，因为这是我在谈论AI改变生物学的能力时最常出现的误解：我不是在谈论AI作为仅仅分析数据的工具。根据文章开头对强大AI的定义，我谈论的是使用AI来执行、指导和改进生物学家做的几乎所有事情。

要更具体地说，我认为加速可能来自哪里，生物学的相当大一部分进展来自一个真正微小的发现数量，通常与允许精确但通用或可编程干预生物系统的工具或技术有关[12]。这些发现可能每年有大约1个，总体上它们可以说推动了超过50%的生物学进展。这些发现之所以如此强大，是因为它们削减了固有的复杂性和数据限制，直接增加了我们对生物过程的理解和控制。几十年来的一些发现使我们可以对生物学有基本的科学理解，并且推动了许多最强大的治疗方法。

一些例子包括：

- CRISPR：一种允许活体生物中任何基因进行实时编辑的技术（用任何其他任意序列替换任何任意基因序列）。自从原始技术开发以来，一直在不断改进以针对特定细胞类型，提高准确性，并减少错误基因的编辑——所有这些对于人类安全使用都是必要的。

- 各种类型的显微镜，用于观察精确层面上正在发生的事情：先进的光学显微镜（具有各种荧光技术、特殊光学等），电子显微镜，原子力显微镜等。

- 基因组测序和合成，在过去几十年中成本已经下降了几个数量级。

- 光遗传技术，通过照射光可以使神经元发射。

- mRNA疫苗，原则上允许我们设计针对任何事物的疫苗，然后快速适应它（mRNA疫苗当然在COVID期间变得出名）。

- 像CAR-T这样的细胞疗法，允许免疫细胞从体内取出并“重新编程”以攻击原则上的任何事物。

- 概念性洞察，如疾病细菌理论和免疫系统与癌症之间的联系[13]。

我之所以不厌其烦地列出所有这些技术，是因为我想就它们提出一个关键主张：我认为，如果有更多的有才华、有创造力的研究人员，这些发现的速率可以增加10倍或更多。或者换句话说，我认为这些发现对智能的回报很高，生物学和医学中的其他一切都基本上跟随它们。

为什么我这么认为？因为我们在试图确定“智能的回报”时应该习惯问一些问题的答案。首先，这些发现通常是由极少数研究人员做出的，通常是同一批人反复做出，这表明技能而不是随机搜索（后者可能表明漫长的实验是限制因素）。其次，它们通常“可以比它们早几年”被制造出来：例如，CRISPR是细菌中自然存在的免疫系统组成部分，自80年代就已经知道，但花了另外25年时间人们才意识到它可以被重新用于一般基因编辑。它们也因科学界对有前途的方向缺乏支持而被推迟了许多年（参见有关mRNA疫苗发明者的简介；类似的故事比比皆是）。第三，成功的项目通常是边缘或事后的想法，人们最初并不认为它们是有希望的，而不是大规模资助的努力。这表明，推动发现的不仅仅是大规模资源集中，而是聪明才智。

最后，尽管其中一些发现具有“串行依赖性”（你需要首先做出发现A，以便拥有工具或知识来做出发现B）——这可能会再次造成实验延迟——但许多，也许是大多数，是独立的，意味着许多可以同时进行。这两者，以及我作为生物学家的一般经验，强烈表明，如果科学家更聪明，更擅长在人类拥有的大量生物学知识之间建立联系（再次考虑CRISPR的例子），就有数百个这样的发现等待被制造。AlphaFold/AlphaProteo在解决比人类更有效地解决重要问题方面的成功，提供了一个原则证明（尽管是在狭窄领域中使用狭窄工具），应该指明前进的方向。

因此，我猜测强大的AI至少可以将这些发现的速率提高10倍，让我们在5-10年内获得未来50-100年的生物学进展。[14]为什么不100倍？也许这是可能的，但在这里串行

依赖和实验时间变得重要：在1年内获得100年的进展需要很多事情第一次就做对，包括动物实验和设计显微镜或昂贵的实验室设施等事情。我对（听起来可能荒谬的）想法持开放态度，即我们可能在5-10年内获得1000年的进展，但我非常怀疑我们能否在1年内获得100年。另一种说法是，我认为有一个不可避免的恒定延迟：实验和硬件设计有一定的“延迟”，并且需要一定数量的“不可约”的迭代次数，以便学习无法逻辑推断的事物。但在此[15]之上可能存在大规模的并行性。

关于临床试验呢？尽管与它们相关的官僚主义和放缓很多，事实是它们的很多缓慢最终源于需要严格评估几乎不工作或模糊工作的药物。这在今天的大多数疗法中是可悲的真理：平均癌症药物增加了几个月的生存期，同时有显著的副作用需要仔细测量（阿尔茨海默症药物也有类似的故事）。这导致了巨大的研究（为了获得统计能力）和困难的权衡，监管机构通常不擅长做出决策，再次是因为官僚主义和竞争利益的复杂性。

当某事物真正有效时，它会快得多：有加速批准轨道，当效果大时，批准的容易程度要大得多。COVID的mRNA疫苗在9个月内获得批准——比通常的速度要快得多。尽管如此，即使在这些条件下，临床试验仍然太慢——mRNA疫苗可能应该在大约2个月内获得批准。但这些延迟（对于药物来说，大约1年的总时间）与大规模并行性和需要一些但不是太多的迭代（“几次尝试”）非常兼容，可以在5-10年内实现根本性转变。更乐观地，AI驱动的生物学科学可能会通过开发更好的动物和细胞实验模型（甚至模拟）来减少临床试验中的迭代需求，这些模型在预测人类身上会发生什么方面更准确。这在开发针对衰老过程的药物时将特别重要，衰老过程需要数十年的时间，我们需要一个更快的迭代循环。

最后，关于临床试验和社会障碍的话题，值得明确指出的是，与其他一些技术相比，生物医学创新在某些方面有着异常强劲的成功部署记录[16]。如引言中所述，许多技术尽管在技术上运作良好，但受到社会因素的阻碍。这可能表明对AI可以完成什么的悲观看法。但生物医学是独特的，尽管开发药物的过程过于繁琐，一旦开发出来，它们通常被成功部署和使用。

综上所述，我的基本预测是，AI驱动的生物学和医学将使我们能够在5-10年内压缩人类生物学家在未来50-100年内将取得的进展。我将这称为“压缩的21世纪”：即在开发出强大的AI之后，我们将在几年内取得我们在整个21世纪将取得的所有生物学和医学进展的概念。

尽管预测强大的AI在未来几年可以做什么本质上是困难和推测性的，但询问“人类在下一个100年中可以不借助外力做些什么”有一定的具体性。简单地看看我们在20世纪取得的成就，或者从21世纪的前20年进行外推，或者问“10个CRISPR和50个CAR-T的”会给我们带来什么，都提供了实用的、有根据的方式来估计我们可能从强大的AI中期待的一般进展水平。

下面我尝试列出我们可能会期待什么。这不是基于任何严谨的方法，几乎肯定会在细节上被证明是错误的，但它试图传达我们应该期待的一般水平的激进主义：

- 可靠地预防和治疗几乎所有自然传染病[17]。鉴于20世纪在对抗传染病方面的巨大进步，想象我们能在压缩的21世纪“完成工作”并不激进。mRNA疫苗和类似技术已经指向了“针对任何事物的疫苗”。传染病是否在《完全》《根除》（而不是仅仅在某些地方）取决于贫困和不平等的问题，第3节中有所讨论。

- 消除大多数癌症。过去几十年来，癌症死亡率每年下降约2%；因此，我们正以人类科学当前的步伐走上在21世纪消除大多数癌症的轨道。一些亚型已经被大量治愈（例如，某些类型的白血病通过CAR-T疗法），我对非常选择性的药物感到更加兴奋，这些药物针对癌症的初期并阻止它生长。AI还将使治疗方案能够非常精细地适应癌症的个体化基因组——这些在今天可能是可能的，但在时间和人类专业知识方面都非常昂贵，AI应该使我们能够扩展。

- 非常有效的预防和有效的遗传病治疗方法。改进的胚胎筛查可能会使我们能够预防大多数遗传病，一些更安全、更可靠的CRISPR后代可能会治愈现有人群中的大多数遗传病。全身性疾病，影响大部分细胞的疾病可能是最后的顽固分子。

- 预防阿尔茨海默病。我们一直很难弄清楚阿尔茨海默病的原因是什么（它与β淀粉样蛋白有关，但实际细节似乎非常复杂）。它似乎是可以用更好的测量工具解决的问题，这些工具隔离了生物学效应；因此，我对AI解决它持乐观态度。一旦我们真正了解发生了什么，很有可能通过相对简单的干预措施来预防它。尽管如此，已经存在的阿尔茨海默病的损害可能很难逆转。

- 改善对大多数其他疾病的治疗。这是一个涵盖其他疾病的类别，包括糖尿病、肥胖症、心脏病、自身免疫疾病等。这些疾病中的大多数似乎比癌症和阿尔茨海默病“更容易”解决，在许多情况下，它们已经在急剧下降。例如，心脏病死亡率已经下降了50%以上，简单的干预措施，如GLP-1激动剂，已经对肥胖和糖尿病取得了巨大的进展。

- 生物学自由。在过去的70年中，我们在避孕、生育管理、体重管理等方面取得了进展，但我认为AI加速的生物学将极大地扩展可能的范围：体重、外貌、生殖和其他生物过程将完全受到人们的控制。我们将在“生物学自由”的标题下引用这些，即每个人都应该有权选择他们想成为什么样的人，以及以最吸引他们的方式生活。当然，关于全球平等获取的问题；第3节中讨论了这些问题。

- 人类寿命翻倍[18]。这可能看起来激进，但预期寿命在20世纪几乎增加了2倍（从大约40岁到大约75岁），所以“压缩的21世纪”再次翻倍到150岁是“趋势”。显然，减慢实际衰老过程所需的干预措施与上个世纪防止（主要是儿童）过早死于疾病所需的干预措施不同，但变化的幅度并非前所未有[19]。具体来说，已经存在一些药物，可以增加老鼠的最大寿命25-50%，副作用有限。一些动物（例如，某些类型的乌龟）已经活了200年，所以人类显然没有达到理论上的上限。至少，最需要的东西可能是可靠的、不易受操纵的人类衰老生物标志物，因为这将允许在实验和临床试验中快速迭代。一旦人类寿命达到150岁，我们可能能够达到“逃逸速度”，购买足够的时间，使今天活着的大多数人能够活他们想要的时间，尽管不能保证这在生物学上是可能的。

值得看看这个列表，反思一下如果所有这些都在7-12年后实现，世界将变得多么不同（这将符合AI时间表的积极版本）。毫无疑问，这将是一个难以想象的人文主义胜利，一次性消除了困扰人类数千年的大多数灾难。我的许多朋友和同事都在抚养孩子，当这些孩子长大后，我希望任何提到疾病的声音对他们来说就像我们听到坏血病、天花或鼠疫一样。那一代人还将从增加的生物学自由和自我表达中受益，并且幸运的话，也能够活他们想要的时间。

很难高估这些变化对每个人（除了预期强大AI的小社区）的惊讶程度。例如，在美国，成千上万的经济学家和政策专家目前正在辩论如何保持社会保障和医疗保险的偿付能力，更广泛地，如何降低医疗保健成本（这些成本主要由70岁以上的人和特别是那些患有绝症的人，如癌症）。如果所有这些都实现，这些计划的情况可能会根本改善[20]，因为工作年龄与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，例如如何确保广泛获取新技术，但值得反思即使生物学是唯一成功加速的领域，世界将发生多么大的变化。

2. 神经科学和心灵

在上一节中，我专注于《身体》疾病和生物学的一般情况，没有涵盖神经科学或心理健康。但神经科学是生物学的一个子学科，心理健康和身体健康一样重要。事实上，如果有什么的话，心理健康比身体健康更直接地影响人类的幸福感。数亿人由于成瘾、抑郁、精神分裂症、低功能自闭症、PTSD、精神病态[21]或智力残疾等问题，生活质量非常低。数十亿更多的人与日常问题作斗争，这些问题通常可以被解释为这些严重临床疾病的更温和版本。并且像一般生物学一样，可能有可能超越解决问题，提高人类体验的基线质量。

我为生物学概述的基本框架同样适用于神经科学。该领域是由少数与测量或精确干预工具相关的发现推动的——在上面的列表中，光遗传学是神经科学发现，最近CLARITY和扩张显微镜是同一方向的进步，此外还有许多通常的细胞生物学方法直接应用于神经科学。我认为这些进步的速率将受到AI的类似加速，因此“100年的进展在5-10年内”的框架以相同的方式适用于神经科学，就像它适用于生物学一样，原因也相同。正如在生物学中一样，20世纪神经科学的进展是巨大的——例如，直到20世纪50年代我们甚至不了解神经元是如何或为什么发射的。因此，似乎合理的是，AI加速的神经科学将在几年内产生快速进展。

我们应该在这个基本画面中添加一件事，即我们在过去几年中对AI的一些了解（或正在学习）可能会帮助推进神经科学，即使它继续只由人类完成。可解释性是显而易见的例子：尽管生物神经元在表面上与人工神经元的运作方式完全不同（它们通过尖峰和尖峰率进行通信，因此有一个时间元素不在人工神经元中，以及与细胞生理学和神经递质相关的许多细节大大修改了它们的操作），但“如何分布式、训练过的简单单元网络执行组合线性/非线性操作共同执行重要计算”的基本问题是一样的，我强烈怀疑个体神经元通信的细节将在大多数关于计算和电路的有趣问题中被抽象掉[22]。作为这一点的一个例子，AI系统可解释性研究人员最近在小鼠大脑中重新发现了计算机制。

在人工神经网络上进行实验比在真实网络上进行实验要容易得多（后者通常需要切割动物大脑），因此可解释性可能会成为提高我们对神经科学理解的工具。此外，强大的AI本身可能会比人类更好地开发和应用这个工具。

当然，除了可解释性之外，我们从AI中学到的关于智能系统是如何被《训练》的知识应该（尽管我不确定它是否已经）在神经科学中引起革命。

当我在神经科学领域工作时，很多人专注于我现在会认为是关于学习的错误问题，因为还没有出现规模假设/痛苦教训的概念。简单目标函数加上大量数据可以推动令人难以置信的复杂行为的想法，使得理解目标函数和架构偏见变得更有趣，而不是理解紧急计算的细节。我近年来没有密切关注这个领域，但我有一种模糊的感觉，计算神经科学家还没有完全吸收这个教训。我对规模假设的态度一直是“啊哈——这是对智能如何运作和它如何如此容易进化的高层次解释”，但我不认为这是普通神经科学家的观点，在AI领域内，规模假设作为“智能的秘密”甚至没有被完全接受。

我认为神经科学家应该将这种基本见解与人类大脑的特殊性（生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节）结合起来，试图解决神经科学的关键难题。一些可能是，但我认为还不够，AI神经科学家将能够更有效地利用这个角度来加速进展。

我预计AI将通过四个不同的路线加速神经科学进展，所有这些路线都可以一起工作，以治愈大多数精神疾病并改善功能：

- 传统的分子生物学、化学和遗传学。这基本上与第1节中的一般生物学相同，AI可能通过相同的机制加速它。

有许多药物可以调节神经递质以改变大脑功能、影响警觉性或感知、改变情绪等，AI可以帮助我们发明更多。AI也可能加速对精神疾病遗传基础的研究。

- 精细的神经测量和干预。这是测量许多单个神经元或神经回路正在做什么的能力，并干预以改变它们的行为。光遗传学和技术神经探针是能够同时进行测量和干预在活体生物中的技术，一些非常先进的方法（例如分子磁带读取大量单个神经元的发射模式）也已经提出并原则上看起来是可能的。

- 先进的计算神经科学。正如上文所述，现代AI的具体见解和《整体》可能可以被成功地应用于系统神经科学的问题，包括可能揭示复杂疾病如精神病或情绪障碍的真实原因和动态。

- 行为干预。鉴于对神经科学生物学方面的关注，我并没有太多提及它，但精神病学和心理学当然在20世纪开发了广泛的行为干预；AI无疑也可以加速这些干预措施，包括开发新方法和帮助患者坚持现有方法。更广泛地说，一个“人工智能教练”的概念，它总是帮助你成为最好的自己，研究你的互动并帮助你学会更有效，看起来非常promising.

我认为，这四个进展途径共同工作，将像对抗身体疾病一样，有望在未来100年内治愈或预防大多数心理疾病——因此，可能在AI加速的5-10年内完成。具体来说，我的猜测是：

- 大多数心理疾病可能被治愈。我不是精神病学疾病方面的专家（我在神经科学领域的时间花在构建用于研究小神经元群的探针上），但我猜测，像PTSD、抑郁、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合被弄清楚并非常有效地治疗。答案可能是“生化出了问题”（尽管可能非常复杂）和“神经网络出了问题，在高层次上”。那就是，它是一个系统神经科学问题——尽管这并不否认上文讨论的行为干预措施的影响。用于活体人类测量和干预的工具似乎可能导致快速迭代和进展。

- 非常“结构性”的状况可能更加困难，但并非不可能。有一些证据表明，精神病态与明显的神经解剖学差异有关——某些大脑区域在精神变态者中简单地变小或发育不良。精神变态者也被认为是从很小的时候起就缺乏同情心；无论他们的大脑有什么不同，可能一直都是这样。同样的情况可能也适用于某些智力残疾，也许还有其他状况。重塑大脑听起来很难，但这似乎是一个对智能有很高回报的任务。也许有办法诱导成人大脑进入早期或更有可塑性的状态，以便它可以被重塑。我对此非常不确定，但我的直觉是对AI在这方面可以发明的东西持乐观态度。

- 有效遗传预防精神病似乎是可能的。大多数精神病是部分遗传的，全基因组关联研究开始在识别相关因素方面取得进展，这些因素通常数量很多。通过胚胎筛查预防这些疾病中的大多数可能是可能的，类似于身体疾病的故事。一个区别是，精神疾病更可能是多基因的（许多基因贡献），因此由于复杂性，存在不知情地选择与疾病相关的积极特征的风险。奇怪的是，近年来GWAS研究似乎表明这些相关性可能被高估了。无论如何，AI加速的神经科学可能帮助我们解决这些问题。当然，对复杂特征的胚胎筛查引起了一些社会问题，并将是有争议的，尽管我猜大多数人会支持筛查严重或致残的精神病。

- 我们不认为临床疾病的日常问题也会得到解决。我们大多数人都有日常心理问题，通常不被认为是上升到临床疾病水平的。有些人容易发怒，其他人难以集中注意力或经常困倦，有些人害怕或焦虑，或对变化反应不佳。今天，已经存在帮助例如警觉性或专注力（咖啡因、莫达非尼、利他林）的药物，但像以前的许多领域一样，可能有更多的可能性。可能存在许多尚未发现的更多此类药物，也可能存在全新的干预方式，例如针对性的光刺激（见上文的光遗传学）或磁场。鉴于我们在20世纪开发了多少药物来调整认知功能和情绪状态，我对“压缩的21世纪”非常乐观，每个人都可以使他们的大脑表现得更好，拥有更充实的日常体验。

- 人类的基线体验可以变得更好。再进一步，许多人都经历过启示、创造性灵感、同情心、满足、超越、爱、美或冥想和平的非凡时刻。这些体验的特征和频率因人而异，在不同时间也有所不同，有时也可以通过各种药物触发（尽管通常有副作用）。所有这些都表明“可能体验的空间”是非常广泛的，更多的人的生活可能由这些非凡的时刻组成。它也可能改善各种认知功能。这可能是“生物学自由”或“延长寿命”的神经科学版本。

经常在科幻作品中出现的一个话题，但我在这里故意没有讨论的是“意识上传”，捕捉人脑的模式和动态并将它们实例化为软件的想法。这个话题本身就可以成为一篇论文的主题，但简而言之，尽管我认为原则上上传是可能的，但在实践中它面临着重大的技术和社会挑战，即使有强大的AI，也可能把它放在我们讨论的5-10年时间窗口之外。

总之，AI加速的神经科学可能会极大地改善治疗，甚至可能治愈大多数精神疾病，并极大地扩展“认知和精神自由”以及人类的认知和情感能力。它将和第1节中描述的身体健康改善一样激进。也许世界在外表上看起来不会有明显的不同，但人类体验的世界将是一个更好、更人道的地方，也是一个提供更多自我实现机会的地方。我还怀疑改善的心理健康将改善许多其他社会问题，包括那些看起来是政治或经济的问题。

3. 经济发展与贫困

前两节是关于《发展》新技术，治愈疾病和提高人类生活质量。然而，从人道主义的角度来看，一个明显的问题是：“每个人都能获得这些技术吗？”

开发一种治愈疾病的方法是一种事情，从世界上根除这种疾病是另一种事情。更广泛地说，许多现有的健康干预措施还没有在世界其他地方应用，同样，（非健康）技术改进通常也是如此。换句话说，世界上许多地区的生活水平仍然极度贫困：撒哈拉以南非洲的人均GDP约为2000美元，而美国约为75000美元。如果AI进一步增加发达国家的经济增长和生活质量，而对发展中世界几乎没有帮助，我们应该将其视为一个可怕的道德失败，以及对前两节中真正的人道主义胜利的污点。理想情况下，强大的AI应该帮助发展中世界《赶上》发达国家，即使它彻底改变了后者。

我不像对AI能够发明基本技术那样有信心，认为它能够解决不平等和经济增长问题，因为技术具有明显的高智能回报（包括能够绕过复杂性和缺乏数据），而经济涉及很多来自人类的限制，以及大量的固有复杂性。我有点怀疑AI能够解决著名的“社会主义计算问题”[23]，即使它可以这样做，我不认为政府（或应该）将它们的经济政策交给这样一个实体。还有如何说服人们接受有效但他们可能怀疑的待遇等问题。

发展中世界面临的挑战由于公共和私营部门普遍存在的腐败而变得更加复杂。腐败创造了一个恶性循环：它加剧了贫困，而贫困反过来又孕育了更多的腐败。AI驱动的经济发展计划需要考虑腐败、薄弱的机构和其他非常人类化的挑战。

尽管如此，我还是看到了明显的理由感到乐观。疾病《已经被根除》，许多国家《已经》从贫穷变为富裕，很明显，这些任务中涉及的决策表现出高智能回报（尽管受到人类限制和复杂性），因此，AI可能会比它们目前做得更好。也许还有针对性干预措施可以绕过人类限制，AI可以专注于这些。更重要的是，我们必须尝试。AI公司和发达国家的政策制定者都需要尽自己的一份力量，确保发展中世界不会被遗漏；道德要求太大了。所以在这一部分，我将继续做出乐观的案例，但请记住，成功不是有保证的，取决于我们集体的努力。

下面我猜测一下我认为在强大的AI开发后的5-10年内发展中世界可能会如何：

- 健康干预的分配。我可能最乐观的领域是将健康干预措施分配到世界各地。疾病实际上已经被自上而下的宣传活动根除：天花在20世纪70年代被完全消灭，脊髓灰质炎和几内亚线虫病几乎被根除，每年少于100例。数学上复杂的流行病学建模在疾病根除运动中发挥了积极作用，看起来非常有可能，比人类更聪明的AI系统可以比人类更好地完成这项工作。分配的物流也可能被大大优化。我从作为GiveWell的早期捐赠者那里学到的一件事是，一些健康慈善机构比其他机构更有效；希望AI加速的努力会更有效。此外，一些生物学进步实际上使分配的物流变得更容易：例如，疟疾很难根除，因为它需要每次疾病合同时都进行治疗；只需要接种一次的疫苗使物流变得更简单（事实上，针对疟疾的这种疫苗目前正在开发中）。更简单的分配机制是可能的：例如，通过针对它们的动物载体来根除一些疾病，例如释放感染了阻止它们携带疾病的细菌的蚊子（然后感染所有其他蚊子）或者简单地使用基因驱动器消灭蚊子。这需要一个或几个集中行动，而不是必须单独治疗数百万人的协调运动。总的来说，我认为5-10年是一个合理的时间表，届时AI驱动的健康益处的相当一部分（也许50%）将传播到世界上最贫穷的国家。一个好目标可能是发展中世界在强大的AI之后的5-10年内至少比今天发达国家更健康，即使它继续落后于发达国家。当然，实现这一目标将需要在全球卫生、慈善事业、政治倡导等许多方面的巨大努力，AI开发人员和政策制定者都应该帮助。

- 经济增长。发展中世界能否迅速赶上发达国家，不仅在健康方面，而且在经济各个方面？有先例：在20世纪最后几十年，几个东亚经济体实现了持续的约10%的年实际GDP增长率，使它们赶上了发达国家。人类经济规划者通过拉动几个关键杠杆（例如出口导向型增长的产业政策，以及抵制依赖自然资源财富的诱惑）而不是直接控制整个经济，做出了导致这一成功的决策；“人工智能财政部长和中央银行行长”可能会复制甚至超过这一10%的成就。一个重要的问题是，如何让发展中世界政府在尊重自决原则的同时采纳它们——一些可能对此感到热情，但其他可能持怀疑态度。从乐观的一面看，前一点中的许多健康干预措施可能会自然地增加经济增长：根除艾滋病/疟疾/寄生蠕虫将对生产力产生变革性影响，更不用说一些神经科学干预措施（例如改善情绪和专注力）将在发达国家和发展中世界都带来经济利益。最后，非健康AI加速技术（例如能源技术、运输无人机、改进的建筑材料、更好的物流和分销等）可能会自然地渗透到世界各地；例如，即使在撒哈拉以南非洲，手机也通过市场机制迅速普及，而不需要慈善努力。在更负面的一面，尽管AI和自动化有许多潜在的好处，但它们也对经济发展构成挑战，特别是对于那些尚未工业化的国家。找到确保这些国家在自动化时代仍能发展和改善其经济的方法，是经济学家和政策制定者需要解决的重要挑战。总的来说，一个梦想情景——也许是一个目标——将是发展中世界每年GDP增长率为20%，其中10%来自AI启用的经济决策，另外10%来自AI加速技术的自然传播，包括但不限于健康。如果实现，这将使撒哈拉以南非洲在5-10年内达到中国目前的人均GDP，同时使许多其他发展中世界达到高于当前美国GDP的水平。再次，这是一个梦想情景，不是默认会发生的事情：这是我们所有人都必须共同努力使更有可能的事情。

- 粮食安全[24]。像更好的肥料和农药、更多的自动化和更有效的土地利用这样的作物技术进步，在20世纪极大地提高了作物产量，使数百万人免于饥饿。遗传工程目前正在进一步提高许多作物。找到更多这样做的方法——以及使农业供应链更加高效——可能会给我们一个AI驱动的第二次绿色革命，帮助缩小发展中世界和发达国家之间的差距。

- 缓解气候变化。气候变化将在发展中世界感受到更强烈的影响，阻碍其发展。我们可以预期，AI将带来改善减缓或阻止气候变化的技术，从大气碳去除和清洁能源技术到减少我们对碳密集型工厂化农业依赖的实验室养殖肉类。当然，正如上文讨论的，技术不是限制气候变化进展的唯一事物——像文章中讨论的所有其他问题一样，人类社会因素也很重要。但有充分的理由认为，AI增强的研究将给我们提供使减缓气候变化的成本和破坏性更低的手段，使许多反对意见变得无关紧要，释放发展中国家进行更多经济发展的潜力。

- 国家内部的不平等。我主要讨论了不平等作为全球现象（我认为这是其最重要的表现），但当然，不平等也存在于国家内部。随着先进的健康干预措施特别是寿命或认知增强药物的大幅增加，肯定会有有效的担忧，即这些技术是“只针对富人”的。我对发达国家内部的不平等特别感到乐观，有两个原因。首先，市场在发达国家运作得更好，市场通常擅长随着时间的推移降低高价值技术的成本[25]。其次，发达国家的政治机构对公民更敏感，并且拥有更大的国家能力来执行普遍获取计划——我预计公民将要求获得如此根本改善生活质量的技术。当然，这并不是说这样的需求会成功——这里也是我们需要集体尽一切努力确保公平社会的地方。有一个单独的财富不平等问题（与获取救生和增强生命的技术的不平等相比），这个问题似乎更难解决，我在第5节中讨论了这个问题。

- 选择退出的问题。在发达国家和发展中国家都存在一个问题，即人们《选择退出》AI驱动的好处（类似于反疫苗运动或更普遍的卢德运动）。可能会有糟糕的反馈循环，例如，最不能做出好决策的人选择退出正是提高他们决策能力的技术开发，导致差距不断扩大，甚至创造出一个反乌托邦的下层阶级（一些研究人员认为这将破坏民主，我在下一节中进一步讨论了这个话题）。这将再次给AI的积极进展带来道德上的污点。这是一个难以解决的问题，因为我不认为在伦理上可以强迫人们，但我们至少可以尝试提高人们的科学理解——也许AI本身可以帮助我们解决这个问题。一个令人鼓舞的迹象是，历史上反技术运动往往比实际行动更响亮：反对现代技术很受欢迎，但大多数人最终还是采用了它，至少当它是个人选择的问题时。个人倾向于采纳大多数健康和消费技术，而真正受到阻碍的技术，如核能，往往是集体政治决策。

总的来说，我对将AI的生物学进步迅速带给发展中世界的人们感到乐观。我抱有希望，尽管不是有信心，AI也可以实现前所未有的经济增长速度，使发展中世界至少超过发达国家目前的水平。我担心在发达国家和发展中国家都存在的“选择退出”问题，但怀疑随着时间的推移它会逐渐消失，AI可以帮助加速这个过程。世界不会完美，落后的人不会完全赶上，至少在最初的几年内不会。但通过我们的努力，我们可以朝着正确的方向快速前进。如果这样做，我们可以至少为尊严和平等的承诺做出一些贡献，我们对地球上的每一个人都有这些承诺。

4. 和平与治理

假设前三个部分的一切都进展顺利：疾病、贫困和不平等显著减少，人类体验的基线大大提高。这并不意味着所有导致人类痛苦的主要原因都得到了解决。人类仍然是彼此的威胁。

尽管有技术进步和经济发展导致民主和和平的趋势，但这是一个非常松散的趋势，经常（并且最近）倒退。在20世纪初，人们认为他们已经将战争抛在了身后；然后就是两次世界大战。三十年前，弗朗西斯·福山写了关于“历史的终结”和自由民主的最终胜利；那还没有发生。二十年前，美国政策制定者相信，随着中国变得更富裕，与中国的自由贸易会导致其自由化；那根本没有发生，我们现在似乎正走向与复兴的威权集团的第二场冷战。可信的理论表明，互联网技术实际上可能有利于威权主义，而不是最初认为的民主（例如，在“阿拉伯之春”时期）。似乎重要的是要尝试理解强大的AI将如何与和平、民主和自由的问题交叉。

不幸然，我没有充分的理由相信AI会偏好性或结构性地推进民主和和平，就像我认为它将结构性地推进人类健康和减轻贫困一样。人类冲突是对抗性的，AI原则上可以帮助“好人”和“坏人”。如果有什么的话，一些结构性因素似乎是令人担忧的：AI可能会更好地促进宣传和监视，这两者都是威权统治者工具包中的主要工具。因此，我们作为个体行动者必须努力将事情推向正确的方向：如果我们希望AI倾向于民主和个人权利，我们将不得不为这一结果而战。我对这个问题的感觉比我对国际不平等的感觉更强：自由民主和政治稳定的胜利《不是》有保证的，也许甚至不是可能的，将需要我们所有人的巨大牺牲和承诺，就像过去经常发生的那样。

我认为问题有两个部分：国际冲突和国家内部的结构。在国际方面，当强大的AI被创造出来时，民主国家在世界舞台上占据上风似乎非常重要。AI驱动的威权主义看起来太可怕了，无法考虑，所以民主国家需要能够设定强大AI进入世界的条件，既要避免被威权主义者压倒，也要防止在威权国家内部发生人权侵犯。

我目前猜测，实现这一点的最佳方式是通过一个“协约战略”[26]，在这个策略中，民主国家的联盟寻求通过确保其供应链、快速扩展以及阻止或延迟对手获得关键资源（如芯片和半导体设备）来获得对强大AI的明确优势（即使是临时的）。这个联盟将一方面利用AI实现稳健的军事优势（大棒），同时提供将强大AI的好处分发给越来越多的国家（胡萝卜），以换取支持联盟的策略以促进民主（这将有点类似于“和平原子”）。该联盟的目标是获得越来越多世界的支持，孤立我们最糟糕的对手，最终使他们处于一种放弃与民主国家竞争以获得所有好处并且不与优越对手战斗的更好位置：放弃与民主国家竞争以获得所有好处并且不与优越对手战斗。

如果我们能做到这一切，我们将拥有一个民主国家在世界舞台上占据主导地位的世界，并拥有避免被威权国家破坏、征服或破坏的经济和军事实力，并且可能能够将它们的AI优势转化为持久的优势。这可能乐观地导致一个“永恒的1991年”——一个民主国家占据上风，福山的梦想得以实现的世界。再次，这将非常难以实现，特别是需要私营AI公司和民主政府之间的密切合作，以及关于胡萝卜和大棒平衡的极其明智的决策。

即使所有这些都顺利进行，它也留下了民主与威权在每个国家内部的斗争问题。显然很难预测这里会发生什么，但我确实有一些乐观，即《给定》一个民主国家控制最强大的AI的全球环境，那么AI实际上可能会在任何地方结构性地支持民主。特别是，在这种环境下，民主政府可以使用它们的超级AI赢得信息战：它们可以反击威权国家的影响和宣传行动，甚至可能通过提供信息和AI服务的渠道创建一个全球自由信息环境，威权国家缺乏技术能力来阻止或监控。它可能不是必要的传递宣传，只是反击恶意攻击和取消信息的自由流动。虽然不是立即的，但这样的公平竞争环境有很好的机会逐渐将全球治理转向民主，有几个原因。

首先，第1-3节中提高生活质量的进展应该，一切都相等，促进民主：历史上它们至少在一定程度上做到了。特别是我预计改善心理健康、幸福感和教育将增加民主，因为所有三个都与对威权领导人的支持负相关。一般来说，当其他需求得到满足时，人们希望有更多的自我表达，民主是自我表达的一种形式。相反，威权主义以恐惧和怨恨为生。

其次，有很大的机会自由信息确实会破坏威权主义，只要威权主义者不能审查它。未审查的AI也可以为个人提供强大的工具，以破坏压迫性政府。压迫性政府通过否认人们某种类型的共同知识而生存，阻止他们意识到“皇帝没有穿衣服”。例如，帮助推翻米洛舍维奇政府的斯尔贾·波波维奇，已经广泛地写了关于从心理上剥夺威权主义者权力、打破咒语和集结对独裁者的反对的技术。一个在每个人的口袋里的超人类有效的AI版本（其技能似乎对智能有很高的回报）可能为世界各地的异见者和改革者创造支持。再次说一遍，这将是一场漫长而艰苦的斗争，胜利不是有保证的，但如果我们以正确的方式设计和构建AI，它至少可能是一场自由的倡导者在任何地方都有优势的斗争。

像神经科学和生物学一样，我们也可以问事情如何能变得“比正常更好”——不仅仅是如何避免威权主义，而是如何使民主比今天更好。即使在民主国家，也时常发生不公正现象。法治社会向其公民承诺，每个人都将在法律面前平等，每个人都享有基本人权，但显然人们并不总是在实践中收到这些权利。这个承诺即使部分实现也是值得骄傲的，但AI能帮助我们做得更好吗？

例如，AI可以通过使决策和流程更加公正来改进我们的法律和司法系统吗？今天，人们主要担心在法律或司法背景下AI系统将成为歧视的《原因》，这些担忧是重要的，需要得到捍卫。与此同时，民主的活力取决于利用新技术来改进民主机构，而不仅仅是对风险做出反应。一个真正成熟和成功的AI实施有可能减少偏见，并对每个人都更公平。

几个世纪以来，法律系统面临着一个困境，即法律旨在是公正的，但本质上是主观的，因此必须由有偏见的人类来解释。试图使法律完全机械化没有奏效，因为现实世界是混乱的，不能总是用数学公式来描述。相反，法律系统依赖于臭名昭著的不精确标准，如“残忍和不寻常的惩罚”或“完全没有可挽回的社会价值”，然后由人类来解释——并且通常以表现出偏见、偏袒或任意性的方式这样做。“智能合约”在加密货币中并没有彻底改变法律，因为普通代码不足以裁决所有有趣的东西。但AI可能足够聪明：它是第一个能够以可重复和机械的方式进行广泛、模糊判断的技术。

我并不是建议我们用AI系统字面意义上取代法官，但公正性与理解和处理混乱的现实世界情况的能力的结合《感觉》应该有对法律和正义的一些严肃的积极应用。至少，这样的系统可以作为人类决策的辅助工具。在任何这样的系统中，透明度都很重要，成熟的AI科学可能提供它：可以对这些系统的培训过程进行广泛研究，并使用先进的可解释性技术查看最终模型内部并评估其是否有隐藏的偏见，这与人类是不可能的。这样的AI工具也可以用来监测司法或警察背景下的基本权利违规行为，使宪法更具自我执行性。

类似地，AI可以用来聚合意见并推动公民之间的共识，解决冲突，寻找共同点，并寻求妥协。在这方面的一些早期想法已经由计算民主项目采取，包括与Anthropic的合作。更了解和深思熟虑的公民当然会加强民主机构。

还有一个明确的机会，即使用AI帮助提供政府服务——例如健康福利或社会服务——这些服务原则上对每个人都可用，但实际上往往严重缺乏，并且在某些地方比其他地方更糟。这包括健康服务、车辆管理所、税收、社会保障、建筑法规执行等。拥有一个非常周到且了解情况的AI，其工作是让你以可以理解的方式获得政府应该提供的每一样东西——并且也帮助你遵守通常令人困惑的政府规则——将是一件大事。增加国家能力既有助于实现法律面前人人平等的承诺，也加强了对民主治理的尊重。执行不力的服务是目前对政府的愤世嫉俗的主要驱动因素[27]。

所有这些都是一些模糊的想法，正如我在本节开头所说的，我对他们可行性的信心远远不及我在生物学、神经科学和减轻贫困方面的进展。它们可能是不切实际的乌托邦式的想法。但重要的是要有一个雄心勃勃的愿景，愿意大胆梦想并尝试新事物。将AI视为自由、个人权利和法律面前平等的保证者的愿景是如此强大，不容忽视。一个21世纪的AI驱动的政治体既可以成为更强的个人自由保护者，也可以成为希望的灯塔，帮助使自由民主成为全世界都希望采纳的政府形式。

5. 工作与意义

即使前四部分的一切都进展顺利——不仅我们减轻了疾病、贫困和不平等，而且自由民主成为主导的政府形式，现有的自由民主国家也成为它们自己的更好版本——至少还有一个重要问题仍然存在。“我们生活在这样一个技术先进的世界，以及一个公平和体面的世界中，这很好，”有人可能会反对，“但是随着AI做所有事情，人类将如何拥有意义？顺便说一下，他们将如何经济上生存呢？”

我认为这个问题比其他问题更难。我的意思是，这个问题比其他地方的问题更难以预测，因为它涉及到社会如何组织的宏观问题，这些问题往往只有在时间和分散的方式中才能解决。例如，历史上的狩猎采集社会可能想象没有狩猎和各种与狩猎相关的宗教仪式，生活就没有意义，他们可能想象我们这个饱食的技术社会是没有目的的。他们也可能不理解我们的经济如何为每个人提供服务，或者在机械化社会中，人们可以有效地服务于什么功能。

尽管如此，还是值得至少说几句话，同时要记住这一节的简短绝不是说我不认真对待这些问题——相反，它是缺乏明确答案的标志。

关于意义的问题，我认为很可能一个错误的观点是，如果你从事的任务没有意义，仅仅因为AI可以做得更好。大多数人在任何事情上都不是世界上最好的，这似乎并不特别困扰他们。当然，今天他们仍然可以通过比较优势来贡献，并且可能从他们生产的经济价值中获得意义，但人们也非常喜欢不产生经济价值的活动。我花很多时间玩视频游戏、游泳、在外面走动和与朋友交谈，所有这些都不产生经济价值。我可能花一天时间试图在视频游戏中变得更好，或者在山上骑自行车更快，而且我真的不介意某个地方有人比我更擅长这些事情。无论如何，我认为意义主要来自人际关系和联系，而不是来自经济劳动。人们确实想要一种成就感，即使是竞争感，在AI之后的世界里，完全可以花几年时间尝试一些非常困难的任务，有复杂的策略，类似于人们今天开始研究项目、试图成为好莱坞演员或创立公司时所做的事情[28]。事实是（a）一个AI某处原则上可以做这个任务更好，以及（b）这个任务不再是全球经济中经济回报的元素，对我来说似乎并不重要。

实际上，在我看来，经济部分比意义部分更困难。在这一节中，我所说的“经济”是指可能的问题，即大多数或所有人类可能无法在足够先进的AI驱动的经济中有意义地贡献。这是一个比不平等的单独问题更宏观的问题，特别是不平等获取新技术的问题，我在第3节中讨论了这个问题。

首先，短期内我同意比较优势的论点，将继续使人类相关并实际上增加他们的生产力，甚至在某些方面使竞争环境变得平坦。只要AI只比某个工作的90%更好，其他10%就会导致人类变得高度杠杆化，增加报酬，实际上创造了许多新的人类工作，补充和放大AI擅长的事情，使“10%”扩展到继续雇佣几乎所有人。事实上，即使AI可以比人类更好地完成100%的事情，但如果它在某些任务上仍然效率低下或昂贵，或者如果人类和AI的资源输入显著不同，那么比较优势的逻辑继续适用。人类可能在一段时间内保持相对（甚至绝对）优势的一个领域是物理世界。因此，我认为即使在我们达到“数据中心的天才国家”之后，人类经济仍然可以继续有意义。

然而，我确实认为从长远来看，AI将变得如此广泛有效和便宜，以至于这将不再适用。在那个时候，我们目前的经济设置将不再有意义，将需要更广泛的社会对话，讨论经济应该如何组织。

虽然这听起来可能很疯狂，但事实是，文明已经成功地应对了过去的重大经济转变：从狩猎采集到农业，从农业到封建主义，从封建主义到工业主义。我怀疑一些新的、更奇怪的事情将是必需的，这是没有人今天做得很好的愿景。它可以像为每个人提供大型普遍基本收入，尽管我怀疑这只是解决方案的一小部分。它可以是一个由AI系统运行的资本主义经济，然后根据AI系统的判断（最终从人类价值观衍生）向人类分配资源（因为AI系统认为在人类中奖励什么有意义），基于某种次要经济。也许经济运行在Whuffie点上。或者也许人类最终在经济上仍然有价值，以某种未被通常经济模型预期的方式。所有这些解决方案都有大量可能的问题，而且不知道它们是否讲得通，除非进行大量的迭代和实验。像其他一些挑战一样，我们可能必须为之奋斗，以获得好的结果：剥削或反乌托邦的方向也是可能的，需要被阻止。关于这些问题，可以写更多，我希望将来能这样做。

总结

通过上述不同的主题，我试图提出一个世界愿景，如果AI一切都顺利，这个世界比今天的世界要好得多。我不知道这个世界是否现实，即使它是，它也不会在没有许多勇敢和敬业的人的大量努力和斗争中实现。每个人（包括AI公司！）都需要尽自己的一份力量，既要防止风险，也要充分实现好处。

但是，这是一个值得为之奋斗的世界。如果这一切真的在5到10年内发生——大多数疾病的失败，生物和认知自由的增长，数十亿人摆脱贫困，共享新技术，自由民主和人权的复兴——我怀疑每个人目睹这一切对他们的影响。我的意思是，目睹所有新技术的个人利益，当然这将是惊人的。我的意思是目睹我们长期以来一直持有的一系列理想在所有人面前同时实现的经验。我认为许多人会被它感动得热泪盈眶。

在写这篇文章的过程中，我注意到了一个有趣的紧张关系。在某种意义上，这里提出的愿景是极其激进的：它不是几乎每个人期望在未来十年内发生的事情，并且可能会让许多人觉得是一个荒谬的幻想。有些人甚至可能认为它是不可取的；它体现了不是每个人都会同意的价值观和政治选择。但与此同时，有一些非常明显——一些过度决定——关于它的东西，好像许多不同的尝试想象一个好世界不可避免地导致这里。

在Iain M. Banks的《游戏玩家》[29]中，主人公尽管如此，它仍然是一件超凡脱俗的美物。我们有机会为实现它贡献一点绵薄之力。尽管如此，它仍然是一件超凡脱俗的美物。我们有机会为实现它贡献一点绵薄之力。——一个名为文化的社会的成员，其基础与我在这里提出的不谋而合——前往一个压抑的、军国主义的帝国，其中领导权是由复杂的战斗游戏竞争决定的。然而，游戏足够复杂，以至于玩家在其中的战略倾向于反映他们自己的政治和哲学观点。主人公设法在游戏中击败了皇帝，表明他的价值观（文化的价值观）即使在由无情竞争和适者生存的社会设计的游戏规则中也代表了一种获胜策略。Scott Alexander的一个众所周知的帖子有同样的论点——竞争是自我毁灭的，并且倾向于导致一个基于同情和合作的社会。“道德宇宙的弧线”是另一个类似的概念。

我认为，文化的价值观是一种获胜策略，因为它们是一百万个小决策的总和，这些决策具有明确的道德力量，并且倾向于将每个人拉到同一边。基本的人类直觉，如公平、合作、好奇心和自主权，是很难争辩的，并且以一种我们的更具破坏性的冲动往往不具有的累积方式。很容易认为孩子们不应该死于我们可以预防的疾病，从那里开始，很容易认为《每个人的》孩子都应该享有那个权利。从那里开始，不难认为我们应该团结起来，应用我们的智慧来实现这一结果。很少有人不同意应该惩罚那些不必要地攻击或伤害他人的人，从那里开始，惩罚应该是一致和系统化的，跨越人们的想法并不难。同样，人们应该有自主权和对自己生活和选择的责任，这是类似的。这些简单的直觉，如果被推向它们的逻辑结论，最终会导致法治、民主和启蒙价值观。如果不一定是不可避免的，那么至少作为一个统计趋势，这是人类已经走向的方向。AI只是提供了一个让我们更快到达那里的机会——使逻辑更加鲜明，目的地更清晰。

尽管如此，它仍然是一件超凡脱俗的美物。我们有机会为实现它贡献一点绵薄之力。

感谢Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic的许多人审阅本文草稿。

感谢2024年诺贝尔化学奖得主，为我们指明了方向。

#脚注

01.https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩

02. 我预计有些人的反应会是“这太平淡了”。我认为那些人需要，用Twitter的说法，“触摸草地”。但更重要的是，平淡从社会角度来看是好的。我认为人们一次能处理的变化有限，我描述的速度可能接近社会能够吸收的极限，而不会出现极端的动荡。

03. 我觉得AGI是一个不精确的术语，积累了很多科幻包袱

和炒作。我更喜欢“强大的AI”或“专家级科学和工程”，它们在不炒作的情况下达到了我的意思。

04. 在这篇文章中，我使用“智能”来指代一种通用的问题解决能力可以跨不同领域应用。这包括像推理、学习、规划和创造力这样的能力。虽然我在整篇文章中使用“智能”作为简称，但我承认智能的本质是一个复杂且有争议的话题，在认知科学和AI研究中。一些研究人员认为智能不是单一的、统一的概念，而是一系列独立的认知能力。其他人认为有一个一般因素的智能（g因素）在各种认知技能之下。那是另一个时间的辩论。

05. 这大约是目前AI系统的速度——例如，它们可以在几秒钟内阅读一页文本，可能在20秒内写一页文本，这是比人类做这些事情的速度要快10-100倍。随着时间的推移，更大的模型倾向于使这个变慢，但更强大的芯片倾向于使它变快；到目前为止，这两种效果大致抵消了。

06. 这可能看起来像是一个稻草人立场，但像Tyler Cowen和Matt Yglesias这样的细心思考者提出了它作为一个严肃的问题（尽管我不认为他们完全持有这个观点），我不认为它是疯狂的。

07. 我了解到的经济学工作最接近解决这个问题的是关于“通用目的技术”和“无形投资”的工作，它们作为补充通用目的技术。

08. 这种学习可以包括临时的、上下文内的学习，或者传统的培训；两者都将受到物理世界的限制。

09. 在混沌系统中，小错误会随着时间的推移呈指数级复合，所以即使计算能力的大幅增加只会导致预测能力的小幅度提高，实际上测量误差可能进一步降低这一点。

10. 另一个因素当然是强大的AI本身可能被用来创造更强大的AI。我的假设是可能（事实上，很可能会）发生，但它的影响将比你想象的要小，正是因为“智能的边际回报递减”在这里讨论的。换句话说，AI将继续变得更聪明很快，但它的影响最终将受到非智能因素的限制，分析这些因素对科学进展的速度至关重要，超出AI。

11. 这些成就是对我的启发，也许是最有力的现有例子AI被用来转变生物学。↩

12. “科学进步取决于新技术、新发现和新想法，可能是按照那个顺序。” - Sydney Brenner

13. 感谢Parag Mallick提出这个观点。

14. 我不想在文本中充斥着关于什么特定的未来发现AI启用的科学可能做出的猜测，但这里是一个一些可能性的头脑风暴：- 设计更好的计算工具，如AlphaFold和AlphaProteo - 即，一个通用的AI系统加速我们制造专门的AI计算生物学工具的能力。- 更有效和选择性的CRISPR。- 更先进的细胞疗法。- 材料科学和微型化突破导致更好的植入设备。- 对干细胞、细胞分化和去分化的更好控制，以及随之产生的能力，重新生长或重塑组织。- 对免疫系统的更好控制：选择性地开启它以解决癌症和传染病，以及选择性地关闭它以解决自身免疫疾病。

15. 当然，AI也可以在更智能地选择运行哪些实验方面提供帮助：改进实验设计，从第一轮实验中学习更多，以便第二轮可以缩小关键问题，等等。

16. 感谢Matthew Yglesias提出这个观点。

17. 快速进化的疾病，如多重耐药菌株，基本上使用医院作为进化实验室，不断改进它们对治疗的抵抗力，可能特别难以处理，并且可能是那种 阻止我们达到100%的事情。

18. 注意，可能很难知道我们在5-10年内是否已经翻倍了人类寿命。虽然我们可能已经实现了它，但在研究时间范围内我们可能还不知道。

19. 这是我愿意，尽管明显的生物学差异在于治疗疾病和减慢衰老过程本身，而是从更大的距离看统计趋势说“即使细节不同，我认为人类科学可能会继续这个趋势；毕竟，复杂事物中的平滑趋势必然是由非常异质的组成部分构成的。

20. 例如，我被告知，生产率增长每年增加1%甚至0.5%将对这些计划的相关预测产生变革性影响。如果 本文中考虑的想法得以实现，生产率增长可能会比这大得多。

21. 媒体喜欢描绘高地位精神病态者，但平均精神病态者可能是一个经济前景不佳、冲动控制不佳的人，最终会在监狱中度过大量时间。

22. 我认为这在某种程度上类似于事实，即我们从可解释性中学到的许多结果，即使我们当前的人工神经网络的一些架构细节，如注意力机制，被改变或替换，也将继续保持相关性。

23. 我怀疑这有点像经典混沌系统——受到不可约复杂性的困扰，必须以大多数分散的方式进行管理。尽管正如我在后面的部分所说，更适度的干预措施可能是可能的。经济学家Erik Brynjolfsson向我提出的一个反论点是，大公司（例如沃尔玛或优步）开始拥有足够的集中知识，以比任何分散过程更好地了解消费者，也许迫使我们修改哈耶克的 洞察力，关于谁拥有最好的局部知识。

24. 感谢Kevin Esvelt提出这个观点。

25. 例如，手机最初是富人的技术，但很快变得非常便宜，年复一年的改进发生得如此之快，以至于购买“豪华”手机的优势不复存在，今天大多数人拥有的手机质量相似。

26. 这是即将发表的RAND论文的标题，它大致概述了我描述的策略。

27. 当普通人想到公共机构时，他们可能会想到他们与DMV、IRS、医疗保险或类似功能的经验。使这些经历比现在更积极似乎是对抗过度愤世嫉俗的强大方式。

28. 事实上，在AI驱动的世界中，这些可能的挑战和项目的范围将比今天大得多。

29. 我打破了自己不把它变成科幻小说的规则，但我发现至少提到它很难。事实是，科幻小说是我们仅有的关于未来的广阔思想实验的来源之一；我认为它与一个非常狭窄的亚文化如此纠缠不清，这是一件坏事。