关注AI必读！Anthropic CEO 万字长文-预测强人工智能的积极未来

Anthropic CEO Dario Amodei 在 Claude opus 3.5 发布前写了一篇非常长的文章来介绍未来强人工智能（他不愿意把这个叫AGI）对人类的积极影响。

在文章中他描述了自己思考中的强人工智能的定义，而且在详细介绍了强人工智能可能在五个核心方面对未来人类的积极作用。

不像 Sam 那篇文章，他这叙述极为严谨在每个领域都有严密详细的推理过程，值得所有人关注 AI 的人看一下。

由于内容非常长我整理了一些我觉得重要的部分，后面有全文翻译：

•大多数人都低估了 AI 可能带来的巨大积极影响,就像他们低估了潜在风险的严重性一样。•Dario Amodei经常对许多 AI 风险领域的公众人物(更不用说 AI 公司领导人（说你呢 Sam）)谈论后通用人工智能 (AGI) 世界的方式感到不适。•Dario Amodei认为强人工智能可能最早会在 2026 年出现,尽管也有可能需要更长的时间。•强人工智能在形式上可能类似于今天的大型语言模型 (LLM),但可能采用不同的架构,可能涉及多个相互作用的模型,并可能以不同的方式进行训练。强人工智能具体的特点有：

•在纯粹的智力方面,它比大多数相关领域的顶尖专家更聪明。•除了作为一个"聪明的对话伙伴",它还具备虚拟工作环境中人类可用的所有"接口",包括文字、语音、视频、鼠标键盘控制和互联网访问。•它不只是被动回答问题,而是可以接受需要数小时、数天甚至数周才能完成的任务。•它没有物理实体(除了存在于计算机系统中),但可以通过计算机控制现有的物理工具、机器人或实验室设备。•用于训练这个模型的计算资源可以重新用于同时运行数百万个实例。这个模型可以以比人类快 10-100 倍的速度吸收信息和产生行动。•这数百万个副本中的每一个都可以独立执行不同的任务,或者在需要时像人类团队一样协作工作。

•可能与强人工智能互补的因素和限制性因素：

•外部世界的速度。智能体需要在现实世界中互动才能完成任务和学习。但现实世界的运转速度是有限的。•数据需求。有时候,原始数据的缺乏会成为瓶颈,在这种情况下,再高的智能也无济于事。•内在复杂性。有些系统本质上是不可预测或混沌的,即使是最强大的 AI 也无法比现有的人类或计算机做出更好的预测或解析。•人为限制。很多事情不能在不违法、不伤害他人或不破坏社会秩序的前提下完成。一个经过良好调校的 AI 不会想要做这些事。•物理定律。这是对第一点的进一步强调。有些物理定律似乎是不可违背的。

整理和校对非常不易，先提前感谢各位的三连和赞赏。

正文

我经常思考并讨论强大人工智能 (powerful AI) 可能带来的风险。我担任 CEO 的公司 Anthropic 进行了大量研究,致力于降低这些潜在风险。因此,有些人可能会认为我是个悲观主义者或"末日预言家",认为 AI 主要会带来负面影响或危险。但事实并非如此。恰恰相反,我之所以关注风险,是因为这些风险是我们通往美好未来的唯一障碍。我认为大多数人都低估了 AI 可能带来的巨大积极影响,就像他们低估了潜在风险的严重性一样。

在这篇文章中,我试图描绘出一幅美好的图景 —— 如果一切都朝着好的方向发展,拥有强大 AI 的世界会是什么样子。当然,没有人能够确切地预知未来,强大 AI 的影响可能比过去的任何技术变革都更难预测,所以这里难免会有一些猜测的成分。但我的目标是至少提供一些有根据且有价值的猜想,即使大多数细节最终可能有误,也能捕捉到未来的大致轮廓。我在文中包含了大量细节,主要是因为我认为一个具体的愿景比一个高度保守和抽象的愿景更能推动讨论。

首先,我想简要解释一下为什么我和 Anthropic 没有过多谈论强大 AI 的好处,以及为什么我们可能会继续主要关注风险。特别是,我做出这个选择是基于以下考虑:

•最大化影响力。AI 技术的基本发展和许多(不是全部)好处似乎是不可避免的(除非风险导致一切偏离轨道),并且主要由强大的市场力量驱动。另一方面,风险并非注定发生,我们的行动可以极大地改变它们出现的可能性。•避免被视为宣传。如果 AI 公司总是谈论 AI 的惊人好处,可能会给人一种在做宣传的感觉,或者像是在试图转移人们对缺点的注意力。我也认为,作为一个原则问题,过多地"自吹自擂"对一个人的品格是有害的。•避免自大。我经常对许多 AI 风险领域的公众人物(更不用说 AI 公司领导人)谈论后通用人工智能 (AGI) 世界的方式感到不适,好像他们的使命是像先知引导人民走向救赎一样单枪匹马地实现它。我认为将公司视为单方面塑造世界是危险的,将实际的技术目标等同于宗教使命也是危险的。•避免"科幻"标签。尽管我认为大多数人低估了强大 AI 的好处,但讨论激进 AI 未来的小圈子经常以过于"科幻"的口吻进行讨论(包括例如思维上传、太空探索或一般的赛博朋克风格场景)。我认为这会导致人们不太认真对待这些观点,并给它们蒙上一层不真实的色彩。需要说明的是,问题不在于所描述的技术是否可能实现(主文章会详细讨论这一点) —— 更多的是这种"氛围"隐含地带来了一堆文化包袱和未明确说明的假设,比如什么样的未来是理想的,各种社会问题将如何发展等。这种讨论往往最终读起来像是一个小众群体的幻想,同时让大多数人感到不适。

然而,尽管有上述所有担忧,我真的认为讨论一个拥有强大 AI 的美好世界可能是什么样子很重要,同时我们要尽最大努力避免上述陷阱。事实上,我认为有一个真正鼓舞人心的未来愿景是至关重要的,而不仅仅是一个应对危机的计划。强大 AI 的许多影响可能是具有挑战性或危险的,但在最后,我们必须有我们为之奋斗的目标,一个每个人都能受益的共赢结果,一些能让人们团结起来,超越分歧,共同面对未来挑战的愿景。恐惧是一种动力,但还不够:我们也需要希望。

强大 AI 的积极应用领域非常广泛(包括机器人技术、制造业、能源等),但我将重点关注少数几个我认为最有可能直接改善人类生活质量的领域。我最感兴趣的五个类别是:

1.生物学和身体健康2.神经科学和心理健康3.经济发展和减贫4.和平与治理5.工作和人生意义

按照大多数标准(除了科幻"奇点"愿景2^[2]),我的预测可能会显得激进,但我是认真和诚恳地提出它们的。我所说的一切很可能是错的(再次强调我之前的观点),但我至少试图将我的观点建立在对各个领域可能加速发展的程度以及这在实践中可能意味着什么的半分析性评估的基础上。我很幸运在生物学和神经科学^[3]方面都有专业经验,我也是经济发展领域的一名了解情况的业余爱好者,但我肯定会在很多方面有所疏漏。写这篇文章让我意识到,把一群领域专家(生物学、经济学、国际关系和其他领域的专家)召集在一起,写出比我在这里提供的更全面、更有见地的版本将是非常有价值的。最好将我在这里的努力视为对该小组的一个起始提示。

基本假设和框架

为了使整篇文章更加精确和有根据,我们需要明确定义什么是强大的人工智能 (AI),即什么样的 AI 能力标志着未来 5-10 年重大变革的开始。同时,我们还需要建立一个框架,来思考这种 AI 一旦出现后会带来哪些影响。

强大的 AI (我更喜欢用这个词,而不是通用人工智能 AGI)3^[4]究竟会是什么样子,何时(或是否)会出现,本身就是一个巨大的话题。我曾公开讨论过这个问题,也许将来会专门写一篇文章来探讨。显然,许多人对强大的 AI 能否在短期内实现持怀疑态度,一些人甚至质疑它是否能被创造出来。我个人认为它可能最早会在 2026 年出现,尽管也有可能需要更长的时间。但在本文中,我想暂且搁置这些争议,假设它会在可预见的未来出现,并集中讨论在那之后的 5-10 年内可能发生的变革。我还想假设这样一个系统的基本特征,包括它的能力和互动方式,尽管这些假设可能存在争议。

我心目中的"强大 AI"是一种人工智能模型 —— 在形式上可能类似于今天的大型语言模型 (LLM),但可能采用不同的架构,可能涉及多个相互作用的模型,并可能以不同的方式进行训练。它具有以下特性:

•在纯粹的智力方面,它比大多数相关领域的顶尖专家更聪明 —— 无论是生物学、编程、数学、工程还是写作等。这意味着它可以证明尚未解决的数学定理,创作出色的小说,从零开始编写复杂的程序等。 4^[5]•除了作为一个"聪明的对话伙伴",它还具备虚拟工作环境中人类可用的所有"接口",包括文字、语音、视频、鼠标键盘控制和互联网访问。它可以通过这些接口执行各种操作、进行通信或远程操作,比如在网上活动,给人类指令或接受指令,订购材料,指导实验,观看或制作视频等。在所有这些任务中,它的表现都超越了世界上最优秀的人类专家。•它不只是被动回答问题,而是可以接受需要数小时、数天甚至数周才能完成的任务,然后像一个聪明的员工那样自主地完成这些任务,必要时会主动寻求澄清。•它没有物理实体(除了存在于计算机系统中),但可以通过计算机控制现有的物理工具、机器人或实验室设备。理论上,它甚至可以为自己设计新的机器人或设备来使用。•用于训练这个模型的计算资源可以重新用于同时运行数百万个实例(这与 2027 年左右的预计计算集群规模相匹配)。这个模型可以以比人类快 10-100 倍的速度吸收信息和产生行动。不过,它可能会受到物理世界或与之交互的软件响应速度的限制。 5^[6]•这数百万个副本中的每一个都可以独立执行不同的任务,或者在需要时像人类团队一样协作工作。某些子群体可能会被特别优化,以擅长特定类型的任务。

我们可以将这种 AI 概括为"数据中心里的天才国度"。

显然,这样一个系统能够非常快速地解决极其困难的问题,但具体有多快并不容易确定。我认为两种"极端"观点都是错误的。首先,有人可能认为世界会在几秒或几天内发生彻底转变(即所谓的"技术奇点^[7]")。按照这种观点,超级智能会不断自我提升,几乎立即解决所有可能的科学、工程和操作问题。这种观点的问题在于,现实世界存在真实的物理和实际限制,比如硬件制造或生物实验方面的限制。即使是一个"天才国度"也无法完全突破这些限制。智能确实非常强大,但它并不是万能的魔法。

第二种极端观点则认为,技术进步已经达到饱和,或者受到现实世界数据或社会因素的限制,超人类智能几乎不会带来什么额外的进步6^[8]。这种观点在我看来同样不可信。我能想到数百个科学甚至社会问题,在这些领域,一大群真正聪明的智能体会大大加快进展。特别是如果它们不仅能进行分析,还能在现实世界中实施行动(我们假设的"天才国度"能做到这一点,包括指导或协助人类团队)。

我认为真实情况可能是这两种极端观点的某种混合,在不同任务和领域中表现不同,细节上会非常复杂。我们需要新的思维框架来有效地思考这些细节。

经济学家经常谈论"生产要素",比如劳动力、土地和资本。"劳动力/土地/资本的边际收益"这个概念捕捉了这样一个思想:在特定情况下,某个因素可能是也可能不是限制性因素。举个例子,空军需要飞机和飞行员,如果飞机数量已经用尽,那么增加飞行员数量并不会带来太大帮助。我认为在 AI 时代,我们应该讨论智能的边际收益7^[9],并试图找出哪些因素与智能是互补的,以及当智能水平非常高时,哪些因素会成为新的限制因素。我们还不习惯这样思考 —— 去问"在这项任务中,更高的智能能带来多大帮助,在什么时间尺度上?" —— 但这似乎是理解一个拥有超级 AI 的世界的正确方式。

我认为,限制或与智能互补的因素可能包括:

•外部世界的速度。智能体需要在现实世界中互动才能完成任务和学习。但现实世界的运转速度是有限的。细胞和动物以固定的速度运作,所以对它们的实验需要一定的时间,这个时间可能是无法缩短的。硬件、材料科学、人际交流,甚至我们现有的软件基础设施也都有类似的限制。此外,在科学研究中,often需要进行一系列相互依赖的实验,每个实验都基于前一个实验的结果。所有这些因素意味着,完成一个重大项目 —— 比如开发癌症治疗方法 —— 可能存在一个不可突破的最短时间,即使智能继续提高,也无法进一步缩短这个时间。 8^[10]•数据需求。有时候,原始数据的缺乏会成为瓶颈,在这种情况下,再高的智能也无济于事。比如,今天的粒子物理学家已经非常聪明,提出了各种理论,但由于粒子加速器数据非常有限^[11],他们缺乏数据来验证这些理论。即使他们拥有超级智能,也不清楚能否做得更好 —— 除非这种智能能帮助更快地建造更大的加速器。•内在复杂性。有些系统本质上是不可预测或混沌的,即使是最强大的 AI 也无法比现有的人类或计算机做出更好的预测或解析。例如,对于一个混沌系统(如三体问题^[12]),即使是超级 AI 也只能比现在的人类和计算机稍微多预测一点点未来。 9^[13]•人为限制。很多事情不能在不违法、不伤害他人或不破坏社会秩序的前提下完成。一个经过良好调校的 AI 不会想要做这些事(如果我们的 AI 没有经过良好调校,那我们就要回到讨论风险了)。许多人类社会结构虽然效率低下甚至有害,但要在尊重临床试验法规、人们改变习惯的意愿或政府行为等限制的同时改变它们并不容易。有些技术进步在技术层面运作良好,但其影响却因为法规或不当的恐惧而大大受限,例子包括核能、超音速客机^[14],甚至电梯^[15]。•物理定律。这是对第一点的进一步强调。有些物理定律似乎是不可违背的。我们不可能超光速移动。搅拌过的布丁不会自动回到未搅拌状态^[16]。芯片每平方厘米只能容纳一定数量的晶体管,否则就会变得不可靠^[17](这里指的是量子隧穿效应,它会导致电子在高密度芯片中"泄漏")。计算过程中每擦除一个比特至少需要消耗一定的能量^[18],这限制了世界上计算密度的上限。

还有一个基于时间尺度的重要区分。短期内看似坚不可摧的限制,长期来看可能会被智能逐渐突破。例如,智能可能被用来开发新的实验方法,让我们能在实验室里学到以前只能通过活体动物实验才能获得的知识。或者,它可以帮助我们建造收集新数据所需的工具(比如更大的粒子加速器)。在道德和伦理允许的范围内,它甚至可能找到绕过人为限制的方法,比如帮助改进临床试验系统,在监管更宽松的地方建立新的临床试验中心,或者改进科学本身,使人体临床试验变得不那么必要或更加经济。

因此,我们应该想象这样一个场景:最初,智能的发展会受到其他因素的严重制约,但随着时间推移,智能本身会越来越多地找到绕过这些限制的方法。尽管有些限制(比如基本物理定律)可能永远无法完全突破,但智能会不断拓展可能性的边界10^[19]。关键问题是:这个过程会有多快?各个领域的突破会以什么顺序发生?

基于上述框架,我将尝试回答引言中提到的五个关键领域的这些问题。

1. 生物学和健康

生物学可能是科学进步最有潜力直接和明确改善人类生活质量的领域。在上个世纪，一些最古老的人类疾病 (如天花) 终于被征服，但还有更多疾病仍然存在，击败它们将是一项巨大的人道主义成就。除了治愈疾病，生物科学原则上可以通过延长健康的人类寿命、增加对我们自身生物过程的控制和自由，以及解决我们目前认为是人类状况不可改变部分的日常问题，来改善人类健康的基线质量。

用前一节的"限制因素"语言来说，直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性 (实际上，这三者都是相互关联的)。人类的限制也在后期阶段发挥作用，特别是涉及临床试验时。让我们逐一讨论这些因素。

对细胞、动物甚至化学过程的实验受到物理世界速度的限制：许多生物学协议涉及培养细菌或其他细胞，或者只是等待化学反应发生，这有时可能需要数天甚至数周的时间，而且没有明显的方法可以加快速度。动物实验可能需要数月 (或更长时间)，人类实验通常需要数年 (长期结果研究甚至可能需要数十年)。与此有些相关的是，数据往往缺乏 - 不是数量，而是质量：总是缺乏清晰、明确的数据来将感兴趣的生物效应与其他 10,000 个混杂因素隔离开来，或者在给定过程中进行因果干预，或者直接测量某些效应 (而不是以某种间接或嘈杂的方式推断其结果)。即使是大规模的、定量的分子数据，比如我在研究质谱技术时收集的蛋白质组学数据，也是嘈杂的，而且遗漏了很多 (这些蛋白质在哪些类型的细胞中？在细胞的哪个部分？在细胞周期的哪个阶段？)。

部分导致这些数据问题的是内在复杂性：如果你曾经见过展示人类代谢生物化学的图表，你就会知道很难隔离这个复杂系统的任何部分的效应，更难以精确或可预测的方式干预系统。最后，除了在人类身上进行实验所需的固有时间之外，实际的临床试验还涉及大量的官僚主义和监管要求，这些要求 (在包括我在内的许多人看来) 增加了不必要的额外时间并延缓了进展。

鉴于这一切，许多生物学家长期以来一直怀疑 AI 和更广泛的"大数据"在生物学中的价值。从历史上看，在过去 30 年里将自己的技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功，但并没有产生最初希望的那种真正变革性的影响。一些怀疑已经被 AlphaFold (刚刚为其创造者赢得了应得的诺贝尔化学奖) 和 AlphaProteo [11] 等重大和革命性的突破所减少，但仍然存在一种观点认为 AI 在现在和将来只在有限的情况下有用。一个常见的说法是"AI 可以更好地分析你的数据，但它不能产生更多的数据或改善数据的质量。垃圾进，垃圾出"。

但我认为这种悲观的观点是以错误的方式看待 AI。如果我们关于 AI 进展的核心假设是正确的，那么正确的思考 AI 的方式不是作为一种数据分析方法，而是作为一个虚拟的生物学家，执行生物学家所做的所有任务，包括设计和在真实世界中进行实验 (通过控制实验室机器人或简单地告诉人类进行哪些实验 - 就像主要研究员对他们的研究生所做的那样)，发明新的生物学方法或测量技术，等等。正是通过加速整个研究过程，AI 才能真正加速生物学。我想重复这一点，因为这是我谈到 AI 能力转变生物学时最常见的误解：我说的不是 AI 仅仅是一个分析数据的工具。根据本文开头对强大 AI 的定义，我说的是使用 AI 来执行、指导和改进生物学家所做的几乎所有事情。

为了更具体地说明我认为加速可能来自哪里，令人惊讶的是，生物学的进展中有相当大一部分来自于真正少量的发现，通常与广泛的测量工具或技术 [12] 有关，这些工具或技术允许精确但通用或可编程的生物系统干预。这些重大发现每年可能只有约 1 个，但它们共同推动了生物学进展的 >50%。这些发现如此强大，正是因为它们突破了内在复杂性和数据限制，直接增加了我们对生物过程的理解和控制。每十年的几个发现既推动了我们对生物学的基本科学理解的大部分，也推动了许多最强大的医疗治疗。

一些例子包括：

CRISPR：一种允许在活体生物中实时编辑任何基因的技术 (将任意基因序列替换为任何其他任意序列)。自原始技术开发以来，已经不断改进以针对特定细胞类型，提高准确性，并减少错误基因的编辑 - 这些都是在人类身上安全使用所需的。

各种类型的显微镜技术，用于精确观察正在发生的事情：先进的光学显微镜 (具有各种荧光技术、特殊光学等)、电子显微镜、原子力显微镜等。

基因组测序和合成，在过去几十年里成本下降了几个数量级。

光遗传学技术，允许通过照射光线来使神经元发射。

mRNA 疫苗，原则上允许我们设计针对任何东西的疫苗，然后快速适应 (mRNA 疫苗当然在 COVID 期间变得著名)。

细胞疗法，如 CAR-T，允许将免疫细胞从体内取出并"重新编程"以攻击原则上任何东西。

概念性洞察，如疾病的微生物理论或认识到免疫系统与癌症之间的联系。

我费尽心思列出所有这些技术，是因为我想对它们提出一个关键的主张：如果有更多有才华、有创造力的研究人员，我认为它们的发现率可能会增加 10 倍或更多。或者换句话说，我认为这些发现的智力回报很高，生物学和医学中的其他一切主要都源于它们。

为什么我这么认为？因为当我们试图确定"智力回报"时，我们应该养成习惯问的一些问题的答案。首先，这些发现通常是由极少数研究人员做出的，往往是同一批人反复做出，这表明是技能而不是随机搜索 (后者可能表明冗长的实验是限制因素)。其次，它们往往"可能"比实际早几年被发现：例如，CRISPR 是细菌免疫系统中自然存在的组成部分，自 80 年代就已知晓，但人们花了 25 年才意识到它可以被重新用于通用基因编辑。它们也经常因为科学界缺乏对有前途方向的支持而延迟多年 (参见这篇关于 mRNA 疫苗发明者的简介；类似的故事比比皆是)。第三，成功的项目往往是草率的或最初被认为不太有前途的后思，而不是大规模资金支持的努力。这表明不仅仅是大规模资源集中推动发现，而是创造力。

最后，尽管这些发现中的一些有"串行依赖性"(你需要先做出发现 A，才能有工具或知识来做出发现 B) - 这再次可能造成实验延迟 - 但许多，也许是大多数，是独立的，意味着可以同时并行工作许多发现。这些事实，以及我作为生物学家的一般经验，强烈表明，如果科学家更聪明，更善于在人类拥有的大量生物学知识之间建立联系，就有数百个这样的发现等待被发现 (再次考虑 CRISPR 的例子)。AlphaFold/AlphaProteo 在解决重要问题方面比人类更有效的成功，尽管经过数十年精心设计的物理建模，提供了一个原则证明 (尽管是在狭窄领域的狭窄工具)，应该指明前进的方向。

因此，我猜测强大的 AI 至少可以将这些发现的速度提高 10 倍，使我们在 5-10 年内获得未来 50-100 年的生物学进展 [14]。为什么不是 100 倍？也许是可能的，但这里串行依赖性和实验时间变得重要：在 1 年内获得 100 年的进展需要很多事情第一次就做对，包括动物实验和设计显微镜或昂贵的实验室设施等事情。我实际上对 (也许听起来荒谬的) 想法持开放态度，即我们可能在 5-10 年内获得 1000 年的进展，但非常怀疑我们能在 1 年内获得 100 年的进展。另一种说法是，我认为有一个不可避免的恒定延迟：实验和硬件设计有一定的"延迟"，需要迭代一定"不可减少"的次数，以了解无法逻辑推导的事情。但在此基础上可能实现大规模并行 [15]。

临床试验呢？虽然与之相关的官僚主义和减速很多，但事实是，大部分 (虽然绝不是全部！) 的缓慢最终源于需要严格评估那些几乎不起作用或模糊起作用的药物。这可悲地适用于今天的大多数疗法：平均的癌症药物只能增加几个月的生存期，同时有显著的副作用需要仔细测量 (阿尔茨海默氏症药物也有类似的情况)。这导致了巨大的研究 (为了实现统计能力) 和困难的权衡，监管机构通常不擅长处理这些权衡，这又是因为官僚主义和利益冲突的复杂性。

当某些东西真的很有效时，它会进行得更快：有一个加速批准的通道，当效果大小更大时，批准的容易程度也更大。COVID 的 mRNA 疫苗在 9 个月内就获得了批准 - 比通常的速度快得多。也就是说，即使在这些条件下，临床试验仍然太慢 - mRNA 疫苗可以说应该在约 2 个月内获得批准。但这种延迟 (药物端到端约 1 年) 结合大规模并行化和需要一些但不是太多迭代 ("几次尝试") 与 5-10 年内的根本转变是非常兼容的。更乐观的是，AI 支持的生物科学可能会通过开发更好的动物和细胞实验模型 (甚至是模拟) 来减少临床试验中迭代的需要，这些模型在预测人类会发生什么方面更准确。这在开发针对衰老过程的药物时尤为重要，因为衰老过程持续数十年，我们需要更快的迭代循环。

最后，关于临床试验和社会障碍的话题，值得明确指出的是，在某些方面，生物医学创新在成功部署方面有着异常强大的记录，与一些其他技术相比 [16]。正如在引言中提到的，尽管在技术上运作良好，许多技术仍受到社会因素的阻碍。这可能会对 AI 能够实现的成就持悲观态度。但生物医学是独特的，因为尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常会成功部署和使用。

总结上述内容，我的基本预测是，AI 支持的生物学和医学将允许我们将人类生物学家在未来 50-100 年内可能实现的进展压缩到 5-10 年内。我将这称为"压缩的 21 世纪"：即在强大的 AI 开发出来后，我们将在几年内实现我们在整个 21 世纪可能实现的所有生物学和医学进展。

虽然预测强大的 AI 在几年内能做什么本质上仍然是困难和推测性的，但询问"人类在未来 100 年内不借助外力能做什么"有一些具体性。简单地看看我们在 20 世纪取得的成就，或者从 21 世纪的前 20 年推断，或者询问"10 个 CRISPR 和 50 个 CAR-T"会给我们带来什么，都提供了实际的、扎实的方法来估计我们可能从强大的 AI 中期望的总体进展水平。

下面我试图列出我们可能期望的内容。这并不基于任何严格的方法，而且在细节上几乎肯定会被证明是错误的，但它试图传达我们应该期望的总体激进水平：

•几乎所有自然传染病的可靠预防和治疗。考虑到 20 世纪对传染病的巨大进展，想象我们可以在压缩的 21 世纪内"完成工作"并不激进。mRNA 疫苗和类似技术已经为"任何疾病的疫苗"指明了方向。传染病是否从世界上完全根除（而不仅仅是在某些地方）取决于贫困和不平等的问题，这些在第 3 节中讨论。•消除大多数癌症。过去几十年，癌症死亡率每年下降约 2%；因此，按照目前人类科学的速度，我们有望在 21 世纪消除大多数癌症。一些亚型已经基本被治愈（例如，使用 CAR-T 疗法的某些类型的白血病），我对非常选择性的药物更加兴奋，这些药物可以在癌症早期阶段靶向治疗并防止其生长。AI 还将使非常精细地适应癌症个体化基因组的治疗方案成为可能 - 这些今天是可能的，但在时间和人类专业知识方面非常昂贵，AI 应该允许我们扩大规模。死亡率和发病率都可能降低 95% 或更多。也就是说，癌症极其多样化和适应性强，可能是这些疾病中最难完全消灭的。如果一些罕见、困难的恶性肿瘤仍然存在，也不会令人惊讶。•非常有效的预防和有效治疗遗传疾病。大大改进的胚胎筛查可能使预防大多数遗传疾病成为可能，一些更安全、更可靠的 CRISPR 后代可能治愈大多数现有人群的遗传疾病。然而，影响大部分细胞的全身性疾病可能是最后的堡垒。•预防阿尔茨海默病。我们在弄清楚阿尔茨海默病的原因方面遇到了很大困难（它与 β-淀粉样蛋白有某种关系，但实际细节似乎非常复杂）。这似乎正是可以通过更好的测量工具来解决的问题类型，这些工具可以隔离生物效应；因此，我对 AI 解决这个问题的能力持乐观态度。一旦我们真正了解发生了什么，很有可能最终可以通过相对简单的干预来预防它。也就是说，已经存在的阿尔茨海默病造成的损害可能很难逆转。•改善大多数其他疾病的治疗。这是一个包括糖尿病、肥胖、心脏病、自身免疫疾病等其他疾病的统称类别。这些疾病中的大多数似乎"更容易"解决，比癌症和阿尔茨海默病更容易，而且在许多情况下已经在急剧下降。例如，心脏病死亡率已经下降超过 50%，像 GLP-1 激动剂这样的简单干预已经在对抗肥胖和糖尿病方面取得了巨大进展。•生物自由。过去 70 年里，在避孕、生育、体重管理等方面取得了进展。但我怀疑 AI 加速的生物学将大大扩展可能性：体重、外貌、生殖和其他生物过程将完全在人们的控制之下。我们将这些归类为生物自由：即每个人都应该有权选择他们想成为什么样的人，并以最吸引他们的方式生活。当然，关于全球平等获取的重要问题将会出现；请参见第 3 节。•人类寿命翻倍 [18]。这可能看起来很激进，但在 20 世纪，预期寿命几乎增加了 2 倍（从约 40 岁到约 75 岁），所以"压缩的 21 世纪"再次将其翻倍到 150 岁是"符合趋势的"。显然，减缓实际衰老过程所涉及的干预措施将与上个世纪预防（主要是儿童）过早死于疾病所需的干预措施不同，但变化的幅度并非前所未有。具体来说，已经存在一些药物可以将大鼠的最大寿命增加 25-50%，且副作用有限。而且一些动物（例如某些类型的乌龟）已经活到 200 岁，所以人类显然没有达到某个理论上限。猜测一下，最重要的可能需要的是可靠的、不会产生古德哈特效应的人类衰老生物标志物，因为这将允许快速迭代实验和临床试验。一旦人类寿命达到 150 岁，我们可能能够达到"逃逸速度"，争取足够的时间，使得今天大多数活着的人能够活到他们想活的时间，尽管当然没有保证这在生物学上是可能的。

值得看看这个列表并反思，如果所有这些在 7-12 年内实现（这将符合积极的 AI 时间表），世界将会有多么不同。不用说，这将是一个难以想象的人道主义胜利，一次性消除了千年来困扰人类的大多数祸害。我的许多朋友和同事正在抚养孩子，当这些孩子长大时，我希望任何对疾病的提及对他们来说都会像坏血病、天花或黑死病对我们一样。那一代人还将受益于增加的生物自由和自我表达，运气好的话，他们也可能能够活到他们想活的时间。

很难高估这些变化对除了少数预期强大 AI 的人之外的每个人来说会有多么令人惊讶。例如，目前美国有数千名经济学家和政策专家在辩论如何保持社会保障和医疗保险的偿付能力，更广泛地说，如何降低医疗保健的成本（主要由 70 岁以上的人消耗，特别是那些患有癌症等终末期疾病的人）。如果所有这些都实现了，这些计划的情况可能会得到根本改善 [20]，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，例如如何确保广泛获得新技术，但值得反思即使生物学是唯一被 AI 成功加速的领域，世界将会发生多大的变化。

2. 神经科学与心智

在上一节中,我主要关注了身体疾病和一般生物学,没有涉及神经科学或心理健康。但神经科学是生物学的一个分支学科,心理健康与身体健康同等重要。事实上,如果说有什么不同的话,心理健康对人类福祉的影响甚至比身体健康更直接。数亿人由于成瘾、抑郁、精神分裂症、低功能自闭症、PTSD、精神病 [21] 或智力障碍等问题而生活质量极低。还有数十亿人在日常生活中挣扎于一些可以被解释为这些严重临床障碍的较轻微版本的问题。与一般生物学一样,除了解决问题外,可能还能够改善人类体验的基线质量。

我为生物学制定的基本框架同样适用于神经科学。该领域由少数发现推动前进,这些发现通常与测量或精确干预的工具有关 - 在上述清单中,光遗传学 (optogenetics) 是一项神经科学发现,最近 CLARITY^[20] 和 扩展显微镜技术^[21] 是同一方向的进展,此外许多通用细胞生物学方法也直接应用于神经科学。我认为,这些进展的速度将同样被 AI 加速,因此"100年的进展在5-10年内完成"的框架以同样的方式适用于神经科学,原因也相同。就像在生物学中一样,20世纪神经科学的进展是巨大的 - 例如,我们直到 1950年代^[22] 才理解神经元如何以及为什么会发放。因此,可以合理地预期,AI 加速的神经科学将在几年内产生快速进展。

我们应该在这个基本图景中添加一点,那就是我们在过去几年中从 AI 本身学到的一些东西 (或正在学习的) 可能有助于推进神经科学,即使它仍然只由人类完成。可解释性^[23] 是一个明显的例子:尽管生物神经元表面上以完全不同于人工神经元的方式运作 (它们通过尖峰和通常是尖峰频率进行通信,因此存在人工神经元中不存在的时间元素,并且一系列与细胞生理学和神经递质相关的细节大大修改了它们的运作),但"简单单元的分布式、训练过的网络如何协同工作以执行重要计算"这个基本问题是相同的,我强烈怀疑在大多数关于计算和电路的有趣问题中,单个神经元通信的细节将被抽象化 [22]。作为一个例子,AI 系统的可解释性研究人员最近发现的一种 计算机制^[24] 在老鼠大脑中被 重新发现^[25]。

对人工神经网络进行实验比对真实神经网络进行实验要容易得多 (后者通常需要切开动物大脑),因此可解释性可能成为提高我们对神经科学理解的工具。此外,强大的 AI 本身可能能够比人类更好地开发和应用这个工具。

除了可解释性之外,我们从 AI 中学到的关于智能系统如何训练的知识应该 (尽管我不确定是否已经) 引起神经科学的革命。当我在从事神经科学工作时,很多人关注我现在认为是错误的学习问题,因为 尺度假说^[26] / 苦涩教训^[27] 的概念还不存在。简单的目标函数加上大量数据可以驱动incredibly复杂行为的想法使得理解目标函数和架构偏差变得更有趣,而理解涌现计算的细节变得不那么有趣。我近年来没有密切关注这个领域,但我有一种模糊的感觉,计算神经科学家仍然没有完全吸收这个教训。我对尺度假说的态度一直是"啊哈 - 这在高层次上解释了智能是如何工作的,以及它是如何如此容易进化的",但我认为这不是普通神经科学家的观点,部分原因是尺度假说作为"智能的秘密"甚至在 AI 内部也没有被完全接受。

我认为神经科学家应该尝试将这个基本洞见与人脑的特殊性 (生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节) 结合起来,以试图解决神经科学的一些关键谜题。可能有些人正在这样做,但我怀疑还不够,AI 神经科学家将能够更有效地利用这个角度来加速进展。

我预计 AI 将通过四个不同的路线加速神经科学进展,所有这些路线都有望共同努力治愈精神疾病并改善功能:

•传统分子生物学、化学和遗传学。这基本上与第1节中的一般生物学相同,AI 可能通过相同的机制加速它。有许多药物通过调节神经递质来改变大脑功能、影响警觉性或知觉、改变情绪等,AI 可以 帮助我们发明^[28] 更多。AI 可能也能加速对精神疾病遗传基础的研究。•精细神经测量和干预。这是能够测量大量单个神经元或神经元电路正在做什么,并干预改变它们的行为的能力。光遗传学和神经探针是能够在活体生物中进行测量和干预的技术,一些非常先进的方法 (如分子计时器来读取大量单个神经元的发放模式) 也已被 提出^[29] 并在原则上似乎是可能的。•先进的计算神经科学。如上所述,现代 AI 的具体洞见和整体思路可能都能够有效地应用于 系统神经科学^[30] 的问题,包括可能揭示精神病或情绪障碍等复杂疾病的真正原因和动态。•行为干预。考虑到对神经科学生物学方面的关注,我没有太多提到,但精神病学和心理学在20世纪当然已经开发了 广泛的行为干预repertoire^[31];可以推理,AI 也可以加速这些,包括新方法的开发和帮助患者坚持现有方法。更广泛地说,一个总是帮助你成为最好的自己、研究你的互动并帮助你学会更有效的"AI 教练"的想法似乎很有前途。

我的猜测是,这四条进展路线共同努力,即使不涉及 AI,也将像身体疾病一样,在未来100年内有望治愈或预防大多数精神疾病 - 因此可能会在5-10年的 AI 加速年内合理完成。具体来说,我猜测将发生的情况是这样的:

•大多数精神疾病可能可以被治愈。我不是精神病学疾病的专家 (我在神经科学领域的时间用于构建探针来研究小群神经元),但我猜测像 PTSD、抑郁症、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合得到解决和非常有效的治疗。答案可能是"生物化学上出了问题" (虽然可能非常复杂) 和"神经网络在高层次上出了问题"的某种组合。也就是说,这是一个系统神经科学问题 - 尽管这并不否认上面讨论的行为干预的影响。测量和干预的工具,特别是在活人身上,似乎可能导致快速迭代和进展。•非常"结构性"的条件可能更难,但并非不可能。有 一些证据^[32] 表明,精神病与明显的神经解剖学差异有关 - 精神病患者的一些脑区simply更小或发育不良。精神病患者也被认为从小就缺乏empathy;无论他们的大脑有什么不同,可能一直如此。这可能也适用于一些智力障碍,也许还有其他条件。重构大脑听起来很难,但它也似乎是一项对智力回报高的任务。也许有某种方法可以诱导成年大脑进入更早或更具可塑性的状态,在那里它可以被重塑。我非常不确定这有多可能,但我的直觉是对 AI 在这里可以发明的东西持乐观态度。•有效地通过基因预防精神疾病似乎是可能的。大多数精神疾病是 部分遗传的^[33],全基因组关联研究在识别相关因素方面 开始取得进展^[34],这些因素通常数量很多。通过胚胎筛选可能预防大多数这些疾病,类似于身体疾病的story。一个不同之处是,精神病更可能是多基因的 (许多基因贡献),因此由于复杂性,存在unknowingly选择against 与疾病相关的积极特征^[35] 的风险增加。奇怪的是,近年来 GWAS 研究似乎表明,这些 相关性可能被夸大了^[36]。无论如何,AI 加速的神经科学可能帮助我们弄清楚这些事情。当然,对复杂特征进行胚胎筛选会引起一些社会问题并引起争议,尽管我猜大多数人会支持筛查严重或致残的精神疾病。•我们不认为是临床疾病的日常问题也将得到解决。我们大多数人都有日常心理问题,通常不被认为达到临床疾病的水平。有些人容易生气,有些人难以集中注意力或经常昏昏欲睡,有些人害怕或焦虑,或对变化反应不好。今天,已经存在一些药物来帮助提高警觉性或注意力 (咖啡因、莫达非尼、利他林),但与许多其他以前的领域一样,可能还有更多可能。可能还存在许多尚未发现的此类药物,也可能存在完全新的干预方式,如靶向光刺激 (见上面的光遗传学) 或磁场。考虑到我们在20世纪开发了多少调节认知功能和情绪状态的药物,我对"压缩的21世纪"非常乐观,在那里每个人都可以让自己的大脑表现得更好一些,并拥有更充实的日常体验。•人类基线体验可以更好。更进一步,许多人经历过非凡的启示、创造性灵感、同情、fulfillment、超越、爱、美或冥想平静的时刻。这些体验的特征和频率因人而异,同一个人在不同时间也有很大差异,有时也可以由各种药物触发 (尽管往往伴有副作用)。所有这些都表明,"可能体验的空间"非常广泛,人们生活中可以包含更大比例的这些非凡时刻。可能也可以全面提高各种认知功能。这也许是"生物自由"或"延长寿命"的神经科学版本。

一个经常在 AI 的科幻描述中出现的话题,但我在这里故意没有讨论的,是"大脑上传",即捕捉人类大脑的模式和动态并在软件中实例化它们的想法。这个话题本身就可以成为一篇文章的主题,但简单地说,

虽然我认为上传在原则上几乎肯定是 可能的^[37],但在实践中,即使有强大的 AI,它也面临着重大的技术和社会挑战,这可能使它超出我们正在讨论的5-10年窗口。

总之,AI 加速的神经科学可能会大大改善大多数精神疾病的治疗,甚至治愈它们,并极大地扩展"认知和心理自由"以及人类的认知和情感能力。它将与前一节描述的身体健康改善一样彻底。也许从外部看,世界不会有明显的不同,但人类体验的世界将是一个更好、更人道的地方,同时也是一个提供更多自我实现机会的地方。我还怀疑,改善心理健康将减轻许多其他社会问题,包括那些看似政治或经济的问题。

3. 经济发展与贫困问题

前两节讨论了开发新技术来治愈疾病和提高人类生活质量。然而,从人道主义角度来看,一个显而易见的问题是:"这些技术能惠及所有人吗?"

开发出治愈疾病的方法是一回事,而从全球范围内根除疾病则是另一回事。更广泛地说,许多现有的健康干预措施尚未在全球范围内得到应用,同样的情况也适用于一般的(非健康)技术进步。换句话说,世界上许多地方的生活水平仍然极度贫困:根据世界银行数据,撒哈拉以南非洲的人均 GDP^[38] 约为 2,000 美元,而美国约为 75,000 美元。如果人工智能 (AI) 进一步提高了发达国家的经济增长和生活质量,却对发展中国家几乎没有帮助,我们应该将其视为一个严重的道德失败,这将玷污前两节中提到的真正的人道主义成就。理想情况下,强大的 AI 应该帮助发展中国家赶上发达国家,同时推动后者的革新。

我对 AI 能解决不平等和促进经济增长的信心,不如它能发明基础技术那么强。这是因为技术对智能有明显的高回报(包括绕过复杂性和数据缺乏的能力),而经济涉及许多来自人类的约束,以及大量的内在复杂性。我有些怀疑 AI 是否能解决著名的"社会主义计算问题^[39]"23^[40]。我不认为政府会(或应该)将其经济政策交给这样一个实体,即使它能做到。还有一些问题,比如如何说服人们接受有效但他们可能怀疑的治疗方法。

发展中国家面临的挑战因公私部门的普遍腐败^[41]而变得更加复杂。腐败造成恶性循环:它加剧贫困^[42],而贫困反过来又滋生更多腐败。AI 驱动的经济发展计划需要应对腐败、薄弱的制度和其他非常人性化的挑战。

尽管如此,我确实看到了一些乐观的理由。疾病已经被根除,许多国家已经从贫穷变得富裕,很明显,这些任务中涉及的决策对智能有高回报(尽管存在人类的约束和复杂性)。因此,AI 可能比当前做得更好。也可能有一些针对性的干预措施可以绕过人类的约束,AI 可以专注于这些。更重要的是,我们必须尝试。AI 公司和发达国家的政策制定者都需要尽自己的一份力,确保发展中国家不被排除在外;这是一个重大的道德责任。因此,在本节中,我将继续提出乐观的观点,但请记住,成功并不是有保证的,需要我们共同努力。

以下是我对强大 AI 开发后 5-10 年内发展中国家可能发生的情况的一些猜测:

•健康干预措施的普及。我最乐观的领域可能是在全球范围内普及健康干预措施。事实上,一些疾病已经通过自上而下的运动被根除:天花在 20 世纪 70 年代被完全消除^[43],脊髓灰质炎和麦地那龙线虫病每年的病例不到 100 例,几乎被根除。数学上复杂的流行病学建模^[44]在疾病根除运动中发挥着积极作用,智能超过人类的 AI 系统很可能能够比人类做得更好。分配的物流也可能得到极大的优化。作为 GiveWell^[45] (一个评估慈善机构效果的组织)的早期捐助者,我了解到一些健康慈善机构比其他机构更有效;我们希望 AI 加速的努力会更加有效。此外,一些生物学进展实际上使分配的物流变得更加容易:例如,疟疾一直难以根除,因为它需要每次感染时进行治疗;只需要接种一次的疫苗使物流变得更加简单(事实上,这种疟疾疫苗目前正在开发中^[46])。甚至可能有更简单的分配机制:原则上,一些疾病可以通过针对其动物载体来根除,例如释放被感染了阻止其携带疾病能力^[47]的细菌的蚊子(然后感染所有其他蚊子),或者简单地使用基因驱动^[48]技术来消灭蚊子。这需要一个或几个集中的行动,而不是必须单独处理数百万人的协调运动。总的来说,我认为 5-10 年是一个合理的时间表,可以让相当大一部分(可能 50%)的 AI 驱动的健康益处传播到世界上最贫穷的国家。一个好的目标可能是,在强大 AI 出现 5-10 年后,发展中国家至少在健康方面比今天的发达国家有实质性改善,即使它继续落后于发达国家。当然,实现这一目标将需要在全球健康、慈善、政治倡导和许多其他方面付出巨大努力,AI 开发者和政策制定者都应该提供帮助。•经济增长。发展中国家能否快速赶上发达国家,不仅在健康方面,而且在整个经济领域?这方面有一些先例:在 20 世纪的最后几十年,几个东亚经济体^[49](被称为"亚洲四小龙")实现了持续约 10% 的年度实际 GDP 增长率,使他们能够赶上发达世界。人类经济规划者做出了导致这一成功的决策,不是通过直接控制整个经济,而是通过拉动几个关键杠杆(如以出口为导向的增长的产业政策,以及抵制依赖自然资源财富的诱惑);"AI 财政部长和中央银行家"可能复制或超过这 10% 的成就是可信的。一个重要的问题是如何让发展中国家政府在尊重自决原则的同时采用它们 - 一些可能会热情接受,但其他可能会持怀疑态度。乐观的一面是,前面提到的许多健康干预措施可能会自然地促进经济增长:根除艾滋病、疟疾和寄生虫病将对生产力产生变革性影响,更不用说一些神经科学干预措施(如改善情绪和注意力)在发达国家和发展中国家都会带来的经济效益。最后,非健康领域的 AI 加速技术(如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等)可能会自然地渗透到世界各地;例如,即使是手机也通过市场机制快速渗透到撒哈拉以南非洲,而不需要慈善努力。在更负面的一面,虽然 AI 和自动化有许多潜在的好处,但它们也给经济发展带来了挑战,特别是对那些尚未工业化的国家。找到确保这些国家在自动化日益增加的时代仍能发展和改善经济的方法,是经济学家和政策制定者需要解决的一个重要挑战。总的来说,一个理想的情景 - 可能是一个值得追求的目标 - 是发展中国家每年 20% 的 GDP 增长率,其中 10% 来自 AI 支持的经济决策,10% 来自 AI 加速技术的自然传播,包括但不限于健康领域。如果实现,这将使撒哈拉以南非洲在 5-10 年内达到中国目前的人均 GDP 水平,同时将大部分其他发展中国家提高到高于目前美国 GDP 的水平。再次强调,这是一个理想情景,不是默认发生的:这是我们所有人必须共同努力使之更有可能实现的目标。•粮食安全 24^[50]。作物技术的进步,如更好的肥料和农药、更多的自动化和更有效的土地利用,大大提高了整个 20 世纪的作物产量^[51],使数百万人免于饥饿。基因工程目前正在改进^[52]许多作物。找到更多方法来做到这一点 - 以及使农业供应链更加高效 - 可能会给我们带来 AI 驱动的第二次绿色革命^[53],帮助缩小发展中国家和发达国家之间的差距。•减缓气候变化。气候变化在发展中国家的影响将更加强烈,阻碍其发展。我们可以预期 AI 将带来减缓或防止气候变化的技术改进,从大气碳移除^[54]和清洁能源技术到实验室培育肉^[55],减少我们对碳密集型工厂养殖的依赖。当然,如上所述,技术并不是限制气候变化进展的唯一因素 - 与本文讨论的所有其他问题一样,人类社会因素很重要。但有充分理由认为,AI 增强的研究将为我们提供使减缓气候变化的成本和破坏性大大降低的手段,使许多反对意见变得毫无意义,并释放发展中国家进行更多经济进步的空间。•国家内部的不平等。我主要讨论了不平等作为一个全球现象(我确实认为这是它最重要的表现),但当然不平等也存在于国家内部。随着先进的健康干预措施,尤其是寿命的大幅增加或认知增强药物,肯定会有人担心这些技术"只为富人服务"。我对发达国家内部的不平等更加乐观,有两个原因。首先,市场在发达国家运作得更好,市场通常善于随着时间的推移降低高成本技术的价值。其次,发达国家的政治制度对公民更加负责,并且有更大的国家能力来执行普及获取计划 - 我预计公民会要求获得如此大幅改善生活质量的技术。当然,这种要求的成功并不是预定的 - 这里是我们集体必须尽一切努力确保公平社会的另一个地方。财富不平等(与获取拯救生命和提高生命质量的技术的不平等相对)是一个单独的问题,似乎更难解决,我在第 5 节讨论了这个问题。 25^[56]•选择退出问题。在发达国家和发展中国家,一个同样令人担忧的问题是人们选择退出 AI 支持的益处(类似于反疫苗运动,或更普遍的卢德主义运动)。可能会出现糟糕的反馈循环,例如,那些最不能做出良好决策的人选择退出改善他们决策能力的技术,导致差距不断扩大,甚至创造出一个反乌托邦的底层阶级(一些研究人员认为这将破坏民主^[57],我在下一节进一步讨论这个主题)。这将再次给 AI 的积极进步蒙上道德污点。这是一个难以解决的问题,因为我不认为在道德上强迫人们是正确的,但我们至少可以尝试增加人们的科学理解 - 也许 AI 本身可以帮助我们做到这一点。一个令人希望的迹象是,历史上反技术运动的声音大于行动：反对现代技术很流行,但最终大多数人都会采用它,至少在个人选择的情况下是这样。个人倾向于采用大多数健康和消费技术,而真正受阻的技术,如核能,往往是集体政治决策。

总的来说,我对快速将 AI 的生物学进展带给发展中国家的人们持乐观态度。我希望,尽管并不确定,AI 也能实现前所未有的经济增长率,并让发展中国家至少超越发达国家现在的水平。我担心发达国家和发展中国家的"选择退出"问题,但怀疑这种情况会随着时间的推移而消失,AI 可以帮助加速这一过程。这不会是一个完美的世界,落后的人不会完全赶上,至少在最初的几年里不会。但通过我们的努力,我们可能能够让事情朝着正确的方向发展 - 而且速度很快。如果我们这样做,我们至少可以兑现我们对地球上每个人应尽的尊严和平等的承诺。

4. 和平与治理

假设前三节中的一切都进展顺利：疾病、贫困和不平等显著减少，人类生活质量得到大幅提升。但这并不意味着所有主要的人类苦难都得到解决。人类仍然是彼此的威胁。尽管技术进步和经济发展有助于促进民主和和平，但这种趋势并不稳定，经常出现倒退，最近也不例外。

20世纪初，人们以为战争已成为历史，然而随之而来的是两次世界大战。30年前，Francis Fukuyama 提出了"历史的终结"和自由民主的最终胜利；但现实并非如此。20年前，美国决策者认为与中国的自由贸易会促进中国的自由化；然而事实证明这完全是一厢情愿，我们现在似乎正走向与一个复兴的威权主义集团的第二次冷战。

更令人担忧的是，有理论表明，互联网技术可能实际上有利于威权主义，而非最初预期的民主（如 "阿拉伯之春" 时期所期望的那样）。因此，我们必须深入思考：强大的人工智能 (AI) 将如何影响和平、民主和自由这些关键问题。 遗憾的是，我并不认为 AI 会自然而然地推动民主和和平，就像它可能在结构上推进人类健康和减少贫困一样。人类冲突是对抗性的，AI 原则上可以帮助 "好人" 也可以帮助 "坏人"。事实上，一些结构性因素令人担忧：AI 很可能会改进宣传和监视技术，这两者都是独裁者工具箱中的主要工具。 因此，如果我们希望 AI 有利于民主和个人权利，我们必须主动争取这一结果。我对此的感受比对国际不平等问题更加强烈：自由民主的胜利和政治稳定并非必然，甚至可能性不大。这需要我们所有人做出巨大的牺牲和承诺，就像历史上多次发生的那样。 我认为这个问题可以分为两个方面：国际冲突和国家内部结构。在国际方面，当强大的 AI 被创造出来时，民主国家在世界舞台上占据上风至关重要。AI 驱动的威权主义令人不寒而栗，因此民主国家需要能够主导强大 AI 被引入世界的方式，既要避免被威权主义者压倒，又要防止威权国家内部的人权侵犯。

我目前认为最佳策略是采用 "协商一致策略" [26]。在这种策略中，民主国家联盟寻求在强大的 AI 上获得明显优势（即使只是暂时的）。具体做法包括确保 AI 供应链安全，快速扩大 AI 应用规模，并阻止或延缓对手获取关键资源，如芯片和半导体设备。

这个联盟将采取双管齐下的方法：一方面利用 AI 实现强大的军事优势（大棒），同时提供分享强大 AI 好处的机会（胡萝卜）给越来越多的国家，以换取它们支持联盟推进民主的战略。这有点类似于历史上的 "和平利用原子能" 计划。联盟的目标是获得越来越多国家的支持，孤立最顽固的对手，最终使这些对手别无选择，只能接受与世界其他国家相同的条件：放弃与民主国家竞争，以获得所有好处，而不是与一个优势明显的对手作战。

如果我们能实现这一切，我们将创造一个民主国家引领世界的局面。在这个世界里，民主国家拥有足够的经济和军事实力，能够抵御威权政体的破坏、征服或破坏，并可能将他们的 AI 优势转化为持久的优势。这可能乐观地导向一个 "永恒的 1991 年" 的局面——一个民主国家占据主导地位，Fukuyama 的梦想得以实现的世界。

然而，我必须再次强调，这将是一项艰巨的任务。它特别需要私营 AI 公司和民主政府之间的密切合作，以及在使用 "胡萝卜" 和 "大棒" 之间取得微妙平衡的智慧决策。 即使国际局势一切顺利，我们仍然面临每个国家内部民主与威权主义之间的斗争。虽然难以预测具体情况，但我对此持谨慎乐观态度。在民主国家控制最强大 AI 的全球环境下，AI 可能在各地都会结构性地有利于民主发展。

特别是，在这种环境下，民主政府可以利用他们优越的 AI 技术赢得信息战。他们可以有效地反制威权政体的影响和宣传行动，甚至可能创造一个全球自由信息环境。在这个环境中，威权政体将缺乏技术能力来阻止或监控信息流动。重要的是，我们可能不需要主动传播宣传，只需要反制恶意攻击并保证信息自由流动。虽然这种变化不会立竿见影，但这样的公平竞争环境很可能逐渐将全球治理推向民主，原因有以下几点：

首先，正如我们在前几节中讨论的生活质量提高，应该会在一定程度上促进民主。历史上已经有这样的先例。特别是，我预计心理健康、幸福感和教育水平的提高将增加对民主的支持，因为这些因素与对威权领导人的支持呈负相关。一般来说，当人们的基本需求得到满足时，他们会更渴望自我表达，而民主恰恰是一种自我表达的形式。相反，威权主义往往在恐惧和怨恨的土壤中茁壮成长。

其次，只要威权主义者无法进行有效审查，自由信息流动确实有很大可能削弱威权主义。未经审查的 AI 可能为个人提供强大的工具来抵制压制性政府。压制性政府之所以能够存续，往往是通过阻止人们获得某种共同认知，防止他们意识到 "皇帝没有穿衣服"。

例如，曾帮助推翻塞尔维亚 Milošević 政府的 Srđa Popović 详细描述了如何从心理上瓦解威权主义者的权力，打破他们施加的魔咒，并凝聚反对独裁者的力量。设想一下，如果每个人的口袋里都有一个超人类智能的 AI 版 Popović（这种技能似乎在 AI 加持下会有显著提升），而且独裁者无力阻止或审查它，这将为全世界的异议人士和改革者创造多么有利的局面。 我必须再次强调，这将是一场漫长而艰苦的斗争，胜利并非必然。但如果我们以正确的方式设计和构建 AI，它至少可能成为一种工具，使自由的倡导者在各地都占据优势。

除了防范威权主义，我们还应该思考如何让民主国家变得更好。即使在民主国家，不公正的事情也时有发生。法治社会向其公民承诺，每个人在法律面前都是平等的，每个人都享有基本人权。但显然，这些承诺在实践中并不总能得到完全兑现。即使部分实现这些承诺也是值得骄傲的成就，但我们不

要问：AI 能否帮助我们做得更好？

例如，AI 能否通过提高决策和流程的公正性来改善我们的法律和司法系统？目前，人们在法律或司法环境中主要担心 AI 系统可能成为新的歧视源头，这些担忧确实很重要，需要认真对待。但同时，民主的活力取决于我们能否利用新技术来改善民主制度，而不仅仅是应对风险。一个真正成熟和成功的 AI 系统有潜力减少偏见，为每个人提供更加公平的对待。

几个世纪以来，法律系统一直面临着一个困境：法律旨在保持公正，但本质上是主观的，因此必须由可能存在偏见的人来解释。试图使法律完全机械化并不奏效，因为现实世界是复杂的，不能总是用简单的数学公式来描述。因此，法律系统不得不依赖一些不够精确的标准，如 "残酷和不寻常的惩罚" 或 "完全没有社会价值"，然后由人类来解释——而这种解释往往会表现出偏见、偏袒或随意性。 加密货币中的 "智能合约" 之所以没有彻底革新法律，是因为普通的代码不够智能，无法处理太多复杂的情况。但 AI 可能足够聪明来应对这种挑战：它是第一个能够以可重复和系统的方式对复杂、模糊的情况做出判断的技术。

我并不是建议用 AI 系统完全取代法官，但将 AI 的公正性与理解和处理复杂现实世界情况的能力相结合，可能会对法律和司法产生积极影响。至少，这样的系统可以作为决策辅助工具与人类法官一起工作。在任何这样的系统中，透明度都至关重要。随着 AI 科学的成熟，我们可以期待：这些系统的训练过程可以得到广泛研究，先进的可解释性技术可以用来深入了解模型的内部运作，评估是否存在隐藏的偏见——这是对人类决策者很难做到的。这样的 AI 工具还可以用来监控司法或执法过程中是否存在侵犯基本权利的行为，使宪法更具自我执行力。

同样，AI 可以用来汇总不同意见，推动公民之间达成共识，解决冲突，寻找共同点，促进妥协。计算民主项目已经在这个方向上进行了一些初步尝试，包括与 Anthropic 公司的合作。一个更加知情和深思熟虑的公民群体显然会增强民主制度的力量。

AI 还有一个明显的应用领域，那就是帮助提供政府服务。这些服务原则上应该惠及每个人，但实际上往往存在严重不足，而且在某些地方比其他地方更糟糕。这包括健康服务、机动车管理、税收、社会保障、建筑规范执行等。想象一下，如果每个人都能获得一个非常周到和知情的 AI 助手，它能以你能理解的方式告诉你所有你在法律上有权从政府那里得到的服务，并帮助你遵守那些往往令人困惑的政府规定——这将是一个巨大的进步。

增强国家提供服务的能力不仅有助于实现法律面前人人平等的承诺，还能增强公民对民主治理的信心和尊重。目前，政府服务质量低下是导致公民对政府产生犬儒主义态度的主要原因之一 [27]。 所有这些想法都还比较模糊，正如我在本节开头所说，我对它们的可行性的信心远不如对生物学、神经科学和减少贫困的进展。它们可能看起来像是不切实际的乌托邦。但重要的是要有一个雄心勃勃的愿景，敢于梦想并勇于尝试。将 AI 视为自由、个人权利和法律面前平等的守护者，这个愿景太过强大，值得我们为之奋斗。

21世纪，在 AI 的支持下，我们有机会创造一种新型的政治体制。这种体制可能成为个人自由更强有力的保护者，也可能成为一盏希望的灯塔，激励全世界都想采用真正的自由民主制度。这是一个宏大的目标，但也是一个值得我们为之奋斗的目标。

5. 工作与人生意义

即使前面四个部分的一切都进展顺利——我们不仅缓解了疾病、消除了贫困和缩小了差距,而且自由民主制度成为了主流政体,现有的民主国家也变得更加完善——至少还有一个重要问题仍然存在。有人可能会质疑:"我们生活在这样一个技术先进且公平正义的世界固然很好,但是当 AI (人工智能) 包揽一切时,人类如何找到人生的意义呢?更现实地说,人类如何维持生计?"

我认为这个问题比其他问题更加棘手。并非说我对此必然比对其他问题更悲观 (尽管我确实看到了挑战),而是因为它更加模糊,更难提前预测。这涉及到社会如何组织的宏观问题,这类问题往往只能随着时间推移,以分散的方式逐步解决。举个例子,历史上的狩猎采集社会 (hunter-gatherer societies) 可能会认为,没有狩猎和与之相关的各种宗教仪式,生活就毫无意义,他们可能会觉得我们这个衣食无忧的技术社会是毫无目标的。他们也可能无法理解我们的经济如何能够养活所有人,或者人们在一个高度自动化的社会中能够发挥什么作用。

尽管如此,对这个问题说几句话还是值得的。同时要记住,这一部分的简短绝不意味着我不重视这些问题——恰恰相反,这反映了我们目前缺乏明确答案。

关于意义的问题,我认为仅仅因为 AI 可以做得更好就认为自己承担的任务毫无意义,这很可能是一个错误的想法。大多数人并不是世界上任何事情的最佳,这似乎并不特别困扰他们。当然,如今人们仍然可以通过比较优势 (comparative advantage) 做出贡献,并可能从他们创造的经济价值中获得意义感,但人们也非常享受那些不产生经济价值的活动。我自己就花了大量时间玩电子游戏、游泳、户外散步和与朋友聊天,所有这些都不会产生经济价值。我可能会花一整天时间试图提高自己在某个视频游戏中的水平,或者提高骑自行车上山的速度,而我并不真的在意世界上某个地方有人在这些事情上比我强得多。无论如何,我认为人生的意义主要来自人际关系和社交联系,而不是来自经济劳动。人们确实渴望成就感,甚至是竞争感,在后 AI 时代,花几年时间尝试一些非常困难的任务并制定复杂的策略仍然是完全可能的,这类似于今天人们开始研究项目、尝试成为好莱坞演员或创办公司时所做的事情 [28]。事实上,即便某处的 AI 原则上可以更好地完成这些任务,即便这些任务不再是全球经济中能够获得经济回报的活动,这些似乎都不那么重要。

在我看来,经济问题实际上比意义问题更加棘手。这里所说的"经济"问题,指的是在一个足够先进的 AI 驱动经济中,大多数或所有人类可能无法做出有意义贡献的潜在问题。这是一个更宏观的问题,不同于我在第 3 节讨论的不平等问题,特别是获取新技术机会的不平等问题。

首先,就短期而言,我同意比较优势理论的观点,即这将继续保持人类的相关性并实际上提高他们的生产力,甚至可能在某些方面使人类之间的竞争环境变得更加公平。只要 AI 只在某项工作的 90% 方面表现更好,剩下的 10% 将使人类的作用得到极大发挥,提高薪酬,实际上创造出一批新的人类工作来补充和放大 AI 擅长的领域,使得这个"10%"扩大到继续雇用几乎所有人。事实上,即使 AI 可以在所有方面都比人类做得更好,但如果它在某些任务上仍然效率低下或成本高昂,或者如果人类和 AI 的资源投入有明显不同,那么比较优势的逻辑仍然适用。在相当长一段时间内,人类可能在物理世界中保持相对 (甚至绝对) 优势。因此,我认为即使在我们达到"数据中心里的天才国度"(即 AI 能够执行大多数智力任务) 之后的一段时间,人类经济可能仍然是有意义的。

然而,我确实认为从长远来看,AI 将变得如此广泛有效和廉价,以至于这种情况将不再适用。到那时,我们当前的经济模式将不再有意义,需要进行更广泛的社会对话,讨论经济应该如何重新组织。

虽然这可能听起来很疯狂,但事实是,人类文明在过去已经成功地度过了几次重大的经济转型:从狩猎采集到农业,从农业到封建制,从封建制到工业化。

我怀疑需要一些新的、更奇怪的东西,而这是今天没有人做得很好的设想。它可能简单到为每个人提供大规模的全民基本收入,尽管我怀疑这只会是解决方案的一小部分。它可能是 AI 系统的资本主义经济,然后根据某种次级经济 (基于 AI 系统认为在人类中有意义奖励的判断,最终源于人类价值观) 向人类分配资源 (大量资源,因为总体经济蛋糕将会巨大)。

也许经济运行在 Whuffie 积分上。或者也许人类最终仍将具有经济价值,以某种通常经济模型未预料到的方式。所有这些解决方案都有大量可能的问题,没有大量的迭代和实验就不可能知道它们是否合理。而且与其他一些挑战一样,我们可能必须努力争取获得一个好的结果:剥削性或反乌托邦的方向显然也是可能的,必须加以阻止。关于这些问题可以写更多内容,我希望在以后的某个时候这样做。

总结与展望

通过上述各种主题的探讨,我试图描绘出一幅世界愿景。这个愿景在人工智能 (AI) 一切顺利发展的情况下是可能实现的,而且会比当今世界好得多。我不确定这个世界是否能够真正实现,即使可以实现,也需要许多勇敢和富有奉献精神的人付出巨大努力和不懈奋斗。每个人 (包括 AI 公司!) 都需要尽自己的一份力量,既要防范风险,又要充分实现 AI 带来的利益。

但这是一个值得为之奋斗的世界。如果这一切真的在 5 到 10 年内发生 —— 战胜大多数疾病,生物和认知自由的增长,让数十亿人摆脱贫困并共享新技术,自由民主和人权的复兴 —— 我相信每个见证这一切的人都会对它产生的影响感到惊讶。我指的不仅是亲身体验所有新技术带来的好处,尽管那肯定会让人惊叹。我更多地是指亲眼目睹一套长期以来的理想同时在我们面前实现的体验。我认为许多人会被这一幕感动得流下热泪。

在写这篇文章的过程中,我注意到一个有趣的矛盾。从某种意义上说,这里描绘的愿景是极其激进的:这不是几乎任何人都期望在未来十年内发生的事情,很可能会被许多人认为是一个荒谬的幻想。有些人甚至可能不认为它是可取的;它体现了并非每个人都认同的价值观和政治选择。但与此同时,这又有一种显而易见的合理性 —— 一种必然性 —— 仿佛许多不同的尝试设想一个美好世界最终都会大致指向这里。

在 Iain M. Banks 的《游戏玩家》 The Player of Games^[58] [29] 中,主人公是一个名为"文化"的社会的成员,该社会基于与我在这里描述的原则相似的理念。他前往一个专制的、军国主义的帝国,在那里,领导权由复杂战斗游戏的竞争决定。然而,这个游戏复杂到玩家在游戏中的策略往往反映了他们自己的政治和哲学观点。主人公成功击败了皇帝,表明他的价值观 (文化的价值观) 即使在一个由基于无情竞争和适者生存的社会设计的游戏中也代表了一种制胜策略。Scott Alexander 的一篇著名文章^[59]也有相同的论点 —— 竞争是自我挫败的,并倾向于导向一个基于同情和合作的社会。"道德宇宙的弧线^[60]"是另一个类似的概念。

我认为文化的价值观是一种制胜策略,因为它们是无数小决定的总和,这些决定具有明确的道德力量,并倾向于将每个人团结到同一阵营。基本的人类公平、合作、好奇心和自主性的直觉很难反驳,并且以一种我们更具破坏性的冲动往往不具备的方式累积。很容易主张如果我们能够预防,儿童就不应该死于疾病,从那里很容易进一步主张每个人的孩子都平等地拥有这项权利。从那里不难认为我们应该共同努力,运用我们的智慧来实现这一目标。很少有人不同意应该惩罚那些无端攻击或伤害他人的人,从那里到认为惩罚应该在人与人之间保持一致和系统性也不是一个很大的飞跃。人们应该对自己的生活和选择拥有自主权和责任,这同样直观。这些简单的直觉,如果推到逻辑结论,最终会导向法治、民主和启蒙价值观。如果不是必然,那么至少作为一种统计趋势,这就是人类已经前进的方向。AI 只是提供了一个机会,让我们更快地到达那里 —— 使逻辑更加明晰,目的地更加清晰。

尽管如此,这是一件具有超越性美的事物。我们有机会在使它成为现实的过程中发挥一些微小但重要的作用。

来源：https://darioamodei.com/machines-of-loving-grace^[61]

References

[1] 绿色革命: https://en.wikipedia.org/wiki/Green_Revolution
[2] 2: https://darioamodei.com/machines-of-loving-grace#fn:2
[3] 生物学和神经科学: https://scholar.google.com/citations?user=6-e-ZBEAAAAJ
[4] 3: https://darioamodei.com/machines-of-loving-grace#fn:3
[5] 4: https://darioamodei.com/machines-of-loving-grace#fn:4
[6] 5: https://darioamodei.com/machines-of-loving-grace#fn:5
[7] 技术奇点: https://en.wikipedia.org/wiki/Technological_singularity#:~:text=The%20technological%20singularity%E2%80%94or%20simply,unforeseeable%20consequences%20for%20Human%20civilization.
[8] 6: https://darioamodei.com/machines-of-loving-grace#fn:6
[9] 7: https://darioamodei.com/machines-of-loving-grace#fn:7
[10] 8: https://darioamodei.com/machines-of-loving-grace#fn:8
[11] 非常有限: https://www.technologyreview.com/2024/02/20/1088002/higgs-boson-physics-particle-collider-large-hadron-collider/
[12] 三体问题: https://en.wikipedia.org/wiki/Three-body_problem
[13] 9: https://darioamodei.com/machines-of-loving-grace#fn:9
[14] 超音速客机: https://en.wikipedia.org/wiki/Concorde
[15] 电梯: https://www.nytimes.com/2024/07/08/opinion/elevator-construction-regulation-labor-immigration.html
[16] 搅拌过的布丁不会自动回到未搅拌状态: https://en.wikipedia.org/wiki/Arcadia_(play)
[17] 否则就会变得不可靠: https://en.wikipedia.org/wiki/Quantum_tunnelling
[18] 每擦除一个比特至少需要消耗一定的能量: https://en.wikipedia.org/wiki/Landauer%27s_principle
[19] 10: https://darioamodei.com/machines-of-loving-grace#fn:10
[20] CLARITY: https://en.wikipedia.org/wiki/CLARITY
[21] 扩展显微镜技术: https://en.wikipedia.org/wiki/Expansion_microscopy#:~:text=Expansion%20microscopy%20(ExM)%20is%20a,them%20using%20a%20polymer%20system.
[22] 1950年代: https://en.wikipedia.org/wiki/Hodgkin%E2%80%93Huxley_model
[23] 可解释性: https://www.anthropic.com/research/mapping-mind-language-model
[24] 计算机制: https://distill.pub/2020/circuits/frequency-edges/
[25] 重新发现: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10055119/
[26] 尺度假说: https://arxiv.org/abs/2001.08361
[27] 苦涩教训: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf
[28] 帮助我们发明: https://www.science.org/doi/10.1126/sciadv.adn1524
[29] 提出: https://arxiv.org/abs/1306.5709
[30] 系统神经科学: https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(23)00099-2
[31] 广泛的行为干预repertoire: https://onlinelibrary.wiley.com/doi/full/10.1002/wps.21203
[32] 一些证据: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7016047/
[33] 部分遗传的: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9840515/
[34] 开始取得进展: https://onlinelibrary.wiley.com/doi/full/10.1002/wps.21034
[35] 与疾病相关的积极特征: https://en.wikipedia.org/wiki/Antagonistic_pleiotropy_hypothesis
[36] 相关性可能被夸大了: https://academic.oup.com/humupd/advance-article/doi/10.1093/humupd/dmae012/7684172
[37] 可能的: https://www.fhi.ox.ac.uk/brain-emulation-roadmap-report.pdf
[38] 人均 GDP: https://data.worldbank.org/indicator/NY.GDP.PCAP.CD
[39] 社会主义计算问题: https://en.wikipedia.org/wiki/Socialist_calculation_debate#:~:text=The%20socialist%20calculation%20debate%2C%20sometimes,of%20the%20means%20of%20production.
[40] 23: https://darioamodei.com/machines-of-loving-grace#fn:23
[41] 普遍腐败: https://economics.mit.edu/sites/default/files/publications/120224%20Corruption%20Review%20Final.pdf
[42] 加剧贫困: https://pdf.usaid.gov/pdf_docs/pnacw645.pdf
[43] 被完全消除: https://www.who.int/news-room/spotlight/history-of-vaccination/history-of-smallpox-vaccination
[44] 数学上复杂的流行病学建模: https://en.wikipedia.org/wiki/Institute_for_Disease_Modeling
[45] GiveWell: https://www.givewell.org/
[46] 目前正在开发中: https://en.wikipedia.org/wiki/Malaria_vaccine
[47] 阻止其携带疾病能力: https://www.gavi.org/vaccineswork/south-american-cities-release-mosquitoes-stem-disease
[48] 基因驱动: https://www.nature.com/articles/s41576-021-00386-0
[49] 几个东亚经济体: https://en.wikipedia.org/wiki/Four_Asian_Tigers
[50] 24: https://darioamodei.com/machines-of-loving-grace#fn:24
[51] 作物产量: https://ourworldindata.org/crop-yields
[52] 目前正在改进: https://www.science.org/content/article/new-genetic-tricks-boosting-crop-yield-take-clues-ancient-farmers
[53] 绿色革命: https://en.wikipedia.org/wiki/Green_Revolution
[54] 碳移除: https://www.nature.com/articles/s41558-023-01604-9
[55] 实验室培育肉: https://www.annualreviews.org/content/journals/10.1146/annurev-animal-021022-055132
[56] 25: https://darioamodei.com/machines-of-loving-grace#fn:25
[57] 破坏民主: https://benmgarfinkel.blog/2021/02/26/is-democracy-a-fad/
[58] The Player of Games: https://www.hachettebookgroup.com/titles/iain-m-banks/the-player-of-games/9780316005401/
[59] 一篇著名文章: https://slatestarcodex.com/2015/08/17/the-goddess-of-everything-else-2/
[60] 道德宇宙的弧线: https://www.si.edu/spotlight/mlk?page=4&iframe=true
[61]: https://darioamodei.com/machines-of-loving-grace