“2026年就可能开发出强人工智能。”
随便举几个例子：
2026年就可能开发出强人工智能（≈AGI）。此后，短短5~10年，人类寿命将翻倍
如果愿意，半永久性的，大部分精神障碍可以治愈，体重得到控制，健康福利迅速蔓延到世界上最贫穷的国家。大多数传染病和癌症将被根除，老年痴呆症将被预防
强人工智能（AGI）的影响是将把 21 世纪 50-100 年的生物医学进步压缩到 5-10 年
这将是一场'难以想象的人道主义胜利'，而这一结论'在并不太科幻的假设下'，强大的人工智能能力将一举消除困扰人类数千年的大多数弊病
Dario Amodei本身在生物学和神经科学方面都有专业经验，Dario Amodei （出生于 1983 年）是一位意大利裔美国人工智能研究员和企业家。他是Anthropic的联合创始人兼首席执行官，该公司是大型语言模型系列Claude AI 背后的公司。他曾担任OpenAI 研究副总裁
本科从加州理工转学到了斯在普林斯顿大学拿到了物理学博士，期间又研究了神经科学，博士后在斯坦福大学医学院
强烈推荐大家阅读这篇2万字的雄文，读完就会知道为什么这篇文章严谨而又激进了
以下是全文（有删减）
人工智能如何让世界变得更美好
Dario Amodei
2024 年 10 月
我经常思考并谈论强大的人工智能的风险。我担任 CEO 的公司 Anthropic，在如何降低这些风险方面做了大量研究。正因如此，人们有时会得出结论，认为我是一个悲观主义者或“末日论者”，认为人工智能大多是坏的或危险的。我完全不这么认为。事实上，我关注风险的主要原因之一是，它们是我们与我所看到的根本性积极未来之间唯一的障碍。我认为，大多数人低估了人工智能的积极方面可能带来的巨大变革，正如我认为大多数人低估了风险可能带来的严重程度一样
在这篇文章中，我试图勾勒出这种积极方面可能是什么样子——如果一切顺利，一个拥有强大的人工智能的世界会是什么样子。当然，没有人能够确定地或精确地知道未来，而强大的人工智能的影响可能比过去的技术变革更不可预测，所以这一切都不可避免地会包含一些猜测。但我至少力求做出有根据的、有用的猜测，即使大多数细节最终是错误的，也能抓住将会发生的事情的本质。我之所以加入很多细节，主要是因为我认为一个具体的愿景比一个高度模糊的抽象愿景更有利于推进讨论
然而，首先，我想简要解释一下为什么我和 Anthropic 没有过多谈论强大的人工智能的积极方面，以及为什么我们总体上可能会继续更多地谈论风险。具体来说，我做出这个选择是出于以下愿望：
最大化影响力。 人工智能技术的基本发展及其许多（并非全部）好处似乎是不可避免的（除非风险破坏了一切），并且从根本上是由强大的市场力量驱动的。另一方面，风险并非预先确定的，我们的行动可以极大地改变它们的可能性
避免被认为是宣传。 人工智能公司谈论人工智能的所有惊人好处，可能会让人觉得像是在宣传，或者像是在试图掩盖负面影响。我也认为，原则上，把太多时间花在“自吹自擂”上对你的灵魂有害
避免夸大其词。 我经常对许多人工智能风险公众人物（更不用说人工智能公司领导人）谈论后通用人工智能世界的方式感到反感，就好像这是他们单枪匹马地像先知带领人民走向救赎一样带来的使命。我认为将公司视为单方面塑造世界是危险的，将实际的技术目标本质上视为宗教目标也是危险的
避免“科幻”包袱。 虽然我认为大多数人低估了强大的人工智能的积极方面，但确实讨论激进的人工智能未来的人群往往以过度的“科幻”语气来讨论（例如，上传意识、太空探索或一般的赛博朋克氛围）。我认为这会导致人们不太认真地对待这些说法，并赋予它们一种不真实感。需要明确的是，问题不在于所描述的技术是否可能或是否可能发生（主要文章会详细讨论这一点）——更多的是“氛围”隐含地夹杂了一堆文化包袱和关于什么样的未来是可取的、各种社会问题将如何发展等等的未说明的假设。结果往往读起来像是针对一个小众亚文化的幻想，同时让大多数人感到反感
尽管有上述所有担忧，但我确实认为，在尽力避免上述陷阱的同时，讨论一个拥有强大的人工智能的良好世界可能是什么样子是很重要的。事实上，我认为拥有一个真正鼓舞人心的未来愿景至关重要，而不仅仅是一个救火的计划。强大的人工智能的许多影响都具有对抗性或危险性，但归根结底，我们必须有一些为之奋斗的东西，一些积极的总和结果，让每个人都过得更好，一些能够团结人们克服争吵并迎接未来挑战的东西。恐惧是一种激励因素，但这还不够：我们也需要希望
强大的人工智能的积极应用列表非常长（包括机器人、制造、能源等等），但我将重点关注少数几个似乎最有可能直接改善人类生活质量的领域。我最兴奋的五个类别是：
1. 生物学和身体健康
2. 神经科学和心理健康
3. 经济发展和消除贫困
4. 和平和治理
5. 工作和意义
按照大多数标准（科幻“奇点”愿景除外），我的预测将是激进的，但我真诚而认真地表达它们。我所说的所有内容都可能很容易出错（重复我上面提到的观点），但我至少试图根据对各个领域可能取得多大进展以及这在实践中可能意味着什么的半分析评估来支持我的观点。我很幸运拥有生物学和神经科学方面的专业经验，并且我对经济发展领域略知一二，但我肯定会在很多事情上犯错。写这篇文章让我意识到的一件事是，将一群领域专家（在生物学、经济学、国际关系和其他领域）聚集在一起，写一个比我在这里写出的版本更好、更详细的版本将是有价值的。最好将我在这里的努力视为该小组的初始提示
基本假设和框架
为了使整篇文章更精确、更有根有据，我们需要明确强大的人工智能的含义（即 5-10 年倒计时开始的阈值），以及阐述一个框架来思考这种人工智能出现后的影响。
强大的人工智能（我不喜欢 AGI 这个术语）会是什么样子，以及何时（或是否）会到来，本身就是一个巨大的话题。我曾经公开讨论过这个问题，并且可以写一篇完全独立的文章（我可能以后会写）。显然，许多人对强大的人工智能是否会很快建成持怀疑态度，有些人甚至怀疑它是否会建成。我认为它最早可能在 2026 年出现，尽管也有可能需要更长的时间。但在本文中，我想把这些问题放在一边，假设它很快就会到来，并重点关注此后 5-10 年内会发生什么。我还想对这样一个系统的样子、它的功能以及它如何交互做出定义，即使在这个问题上存在争议的余地。
我所想的强大的人工智能是一个人工智能模型——其形式可能类似于今天的 LLM，尽管它可能基于不同的架构，可能涉及几个交互模型，并且可能以不同的方式进行训练——具有以下属性：
在纯粹的智力方面，它比大多数相关领域的诺贝尔奖获得者都更聪明——生物学、编程、数学、工程、写作等等。这意味着它可以证明未解决的数学定理，写出非常优秀的小说，从头开始编写复杂的代码库等等
除了仅仅是一个“可以与之交谈的聪明东西”之外，它还拥有一个人在虚拟环境中工作的所有 “接口”，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以参与任何由这个接口支持的操作、通信或远程操作，包括在互联网上采取行动，向人类发出或接收指示，订购材料，指导实验，观看视频，制作视频等等。它完成所有这些任务的技能都超过了世界上最能干的人
它不只是被动地回答问题；相反，它可以被分配需要数小时、数天或数周才能完成的任务，然后它会以一个聪明的员工的方式自主地完成这些任务，并在必要时要求澄清
它没有物理实体（除了在电脑屏幕上显示之外），但它可以通过电脑控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备
用于训练模型的资源可以重新利用来运行数百万个实例（这与~2027 年的预计集群大小相符），并且模型可以吸收信息并以大约 10 倍-100 倍于人类的速度生成动作。然而，它可能会受到物理世界或与其交互的软件的响应时间的限制
这数百万个副本中的每一个都可以在不相关的任务上独立行动，或者如果需要，可以像人类协作一样一起工作，可能不同的子群体经过微调以特别擅长特定任务
我们可以将其概括为“数据中心里的天才之国”。
显然，这样的实体能够非常快速地解决非常困难的问题，但要弄清楚有多快并非易事。在我看来，两种“极端”立场都是错误的。首先，你可能会认为世界会在几秒钟或几天的时间尺度上瞬间改变（“奇点”），因为卓越的智能会建立在自身之上，几乎立即解决所有可能的科学、工程和运营任务。这个问题在于存在真正的物理和实践限制，例如围绕构建硬件或进行生物实验。即使是一个新的天才之国也会遇到这些限制。智能可能非常强大，但它不是魔法仙尘
其次，相反，你可能会认为技术进步已经饱和或受到现实世界数据或社会因素的限制，而优于人类的智能只会增加很少的东西。这在我看来同样难以置信——我能想到数百个科学甚至社会问题，如果有一大群真正聪明的人，他们会大大加快进步，特别是如果他们不局限于分析，并且可以让事情在现实世界中发生（我们假设的天才之国可以做到，包括通过指导或协助人类团队）
我认为真相可能是这两种极端情况的某种混乱混合，因任务和领域而异，并且在细节上非常微妙。我相信我们需要新的框架来以富有成效的方式思考这些细节
经济学家经常谈论“生产要素”：诸如劳动力、土地和资本之类的东西。“劳动力/土地/资本的边际收益”这句话抓住了这样一个想法，即在给定情况下，给定要素可能是也可能不是限制因素——例如，空军需要飞机和飞行员，如果飞机用完了，雇用更多飞行员也无济于事。我相信在人工智能时代，我们应该讨论智能的边际收益，并试图弄清楚哪些其他因素与智能互补，哪些因素在智能非常高时成为限制因素。我们不习惯以这种方式思考——问“变得更聪明对这项任务有多大帮助，在什么时间尺度上？”——但这似乎是在一个拥有非常强大的人工智能的世界中概念化的正确方式
我猜测限制或与智能互补的因素列表包括：
外部世界的速度。 智能代理需要在世界上进行交互操作才能完成任务，也需要学习。但是世界移动的速度只有这么快。细胞和动物以固定的速度运行，因此对它们进行实验需要一定的时间，这可能是不可减少的。硬件、材料科学、任何涉及与人交流的事情，甚至我们现有的软件基础设施也是如此。此外，在科学中，许多实验通常需要按顺序进行，每个实验都从上一个实验中学习或建立在上一个实验的基础上。所有这些都意味着一个主要项目（例如开发一种治疗癌症的方法）的完成速度可能有一个不可减少的最低限度，即使智能持续增加，也不能进一步降低
对数据的需求。 有时缺乏原始数据，在没有原始数据的情况下，更多的智能也无济于事。今天的粒子物理学家非常聪明，并且已经发展了一系列广泛的理论，但由于粒子加速器数据非常有限，因此缺乏在它们之间进行选择的数据。目前尚不清楚，如果他们是超级智能的，他们是否会做得更好——除了也许通过加快建造更大的加速器之外
内在复杂性。 有些事情本质上是不可预测的或混沌的，即使是最强大的人工智能也无法比今天的人类或计算机更准确地预测或解开它们。例如，即使是极其强大的人工智能，与今天的人类和计算机相比，也只能在一般情况下对混沌系统（例如三体问题）中的未来做出略微更远的预测
来自人类的限制。 许多事情在不违反法律、不伤害人类或不扰乱社会的情况下是无法完成的。一个对齐的人工智能不会想要做这些事情（如果我们有一个不对齐的人工智能，我们又回到了讨论风险的问题）。许多人类社会结构效率低下，甚至积极有害，但很难在尊重诸如临床试验的法律要求、人们改变习惯的意愿或政府行为等限制的同时改变它们。在技术意义上运作良好，但其影响因法规或错误的恐惧而大大降低的进步的例子包括核能、超音速飞行，甚至电梯
物理定律。 这是第一点的更严格版本。有一些物理定律似乎是牢不可破的。不可能比光速更快地旅行。布丁不会自动搅拌。芯片每平方厘米只能有这么多晶体管，否则它们就会变得不可靠。计算需要每个被擦除的比特一定的最小能量，从而限制了世界上计算的密度
还有另一个基于时间尺度的区别。短期内难以约束的事情，从长远来看可能会变得更容易被智能所改变。例如，智能可以用来开发一种新的实验范例，使我们能够在体外学习过去需要活体动物实验的东西，或者建造收集新数据所需的工具（例如更大的粒子加速器），或者（在道德范围内）找到绕过基于人类的限制的方法（例如，帮助改进临床试验系统，帮助创建临床试验官僚机构较少的新司法管辖区，或者改进科学本身以使人类临床试验变得不必要或更便宜）
因此，我们应该设想这样一幅图景：智能最初受到其他生产要素的严重瓶颈，但随着时间的推移，智能本身越来越多地绕过其他要素，即使它们从未完全消失（而像物理定律这样的东西是绝对的）。关键问题是这一切发生的速度有多快，以及以什么顺序发生
考虑到上述框架，我将尝试回答导言中提到的五个领域的问题
1. 生物学和健康
生物学可能是科学进步最有可能直接且明确地改善人类生活质量的领域。在上个世纪，一些最古老的人类疾病（例如天花）终于被根除，但许多疾病仍然存在，战胜它们将是一项巨大的人道主义成就。除了治愈疾病之外，生物科学原则上还可以通过延长人类的健康寿命、增强对自身生物过程的控制和自由，以及解决我们目前认为是人类状况不可改变部分的日常问题，来提高人类健康的基线质量
在前一节的“限制因素”语言中，将智能直接应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（实际上，这三者相互关联）。当涉及临床试验时，人类的限制也会在后期发挥作用。让我们逐一分析这些因素
对细胞、动物甚至化学过程的实验受到物理世界速度的限制：许多生物学方案涉及培养细菌或其他细胞，或者只是等待化学反应发生，这有时可能需要几天甚至几周的时间，而且没有明显的方法可以加快速度。动物实验可能需要几个月（或更长时间），而人体实验通常需要几年时间（长期结果研究甚至需要几十年）。与此有点相关的是，数据通常很缺乏——数量上并非如此，而是质量上：总是缺乏清晰、明确的数据，将感兴趣的生物学效应与其他 10,000 个混杂因素隔离开来，或者因果地干预给定过程，或者直接测量某些效应（而不是以某种间接或嘈杂的方式推断其后果）。即使是大量的定量分子数据，例如我在研究质谱技术时收集的蛋白质组学数据，也是嘈杂的，并且遗漏了很多（这些蛋白质位于哪种类型的细胞中？细胞的哪个部分？在细胞周期的哪个阶段？）
这些数据问题部分原因在于内在的复杂性：如果您曾经见过显示人类新陈代谢生物化学的图表，您就会知道很难隔离这个复杂系统的任何部分的影响，更难以精确或可预测的方式干预系统。最后，除了在人类身上进行实验所需的时间之外，实际的临床试验还涉及大量的官僚主义和监管要求（在许多人看来，包括我），这些要求增加了不必要的时间并延误了进度
鉴于所有这些，许多生物学家长期以来一直对人工智能和更广泛的“大数据”在生物学中的价值持怀疑态度。从历史上看，在过去 30 年中将自己的技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功，但并没有像最初希望的那样产生真正的变革性影响。一些怀疑主义因 AlphaFold（其创造者刚刚应得地获得了诺贝尔化学奖）和 AlphaProteo 等重大和革命性突破而减少，但仍然存在这样一种看法，即人工智能在有限的情况下是有用的（并将继续如此）。一个常见的表述是“人工智能可以更好地分析你的数据，但它不能产生更多的数据或提高数据的质量。垃圾进，垃圾出”
但我认为这种悲观的观点是以错误的方式思考人工智能。如果我们关于人工智能进步的核心假设是正确的，那么思考人工智能的正确方法不是将其视为一种数据分析方法，而是将其视为一个虚拟生物学家，执行生物学家所做的所有任务，包括在现实世界中设计和运行实验（通过控制实验室机器人或简单地告诉人类要运行哪些实验，就像首席研究员对他们的研究生一样），发明新的生物学方法或测量技术，等等。正是通过加快整个研究过程，人工智能才能真正加速生物学。我想重复这一点，因为这是我谈到人工智能改变生物学的能力时出现的最常见的误解：我不是在谈论人工智能仅仅是分析数据的工具。根据本文开头对强大的人工智能的定义，我所说的指的是使用人工智能来执行、指导和改进生物学家所做的几乎所有事情。
为了更具体地说明我认为加速可能来自哪里，生物学中很大一部分进展来自数量极少的一些发现，这些发现通常与广泛的测量工具或技术有关，这些工具或技术允许对生物系统进行精确但通用的或可编程的干预。每年可能有~1 个这样的重大发现，它们共同推动了生物学中 >50% 的进展。这些发现如此强大的原因恰恰在于它们克服了内在的复杂性和数据限制，直接增加了我们对生物过程的理解和控制。几十年来的少数发现使我们能够对生物学有基本的科学理解，并推动了许多最强大的医学治疗方法。
一些例子包括：
CRISPR： 一种允许对活生物体中的任何基因进行实时编辑的技术（用任何任意基因序列替换任何任意基因序列）。自最初的技术开发以来，一直在不断改进以靶向特定细胞类型、提高准确性和减少对错误基因的编辑——所有这些都是安全用于人类所需的
各种显微镜技术，用于精确地观察正在发生的事情： 先进的光学显微镜（具有各种荧光技术、特殊光学器件等）、电子显微镜、原子力显微镜等
基因组测序和合成， 在过去的几十年中，其成本下降了几个数量级
光遗传学技术， 允许您通过照射光线来触发神经元放电
mRNA 疫苗， 原则上，它允许我们设计针对任何事物的疫苗，然后快速对其进行调整（mRNA 疫苗当然在 COVID 期间成名）
细胞疗法，如 CAR-T， 允许将免疫细胞从体内取出并“重新编程”以攻击原则上任何东西
概念性见解，如疾病的细菌理论或免疫系统与癌症之间联系的认识。
我之所以不厌其烦地列出所有这些技术，是因为我想对它们提出一个关键的主张：我认为如果有很多更有才华、更有创造力的研究人员，它们的发现速度可以提高 10 倍或更多。或者，换句话说，我认为这些发现的智能回报率很高，生物学和医学中的其他一切主要都源于它们
为什么我这么认为？因为当我们试图确定“智能回报率”时，我们应该养成问一些问题的习惯，这些问题的答案可以解释这一点。首先，这些发现通常是由少数研究人员做出的，通常是同一个人反复做出，这表明是技能而不是随机搜索（后者可能表明冗长的实验是限制因素）。其次，它们通常“本来可以在”比实际发生时间早几年就完成：例如，CRISPR 是细菌免疫系统中自 80 年代以来就已知的天然成分，但又花了 25 年人们才意识到它可以重新用于一般基因编辑。它们也经常因为缺乏科学界对有希望方向的支持而被推迟多年（请参阅这篇关于 mRNA 疫苗发明者的简介；类似的故事比比皆是）。第三，成功的项目通常是零散的，或者是人们最初不认为有希望的想法，而不是资金雄厚的项目。这表明，推动发现的不仅仅是大规模的资源集中，还有独创性。最后，尽管其中一些发现具有“序列依赖性”（您需要先进行发现 A 才能拥有进行发现 B 的工具或知识）——这可能会再次造成实验延迟——但许多发现（也许是大多数）是独立的，这意味着可以同时进行许多发现。所有这些事实，以及我作为生物学家的总体经验，都强烈地表明，如果科学家更聪明，更善于在人类拥有的海量生物学知识之间建立联系，那么还有数百个这样的发现等待着被发现（再次考虑 CRISPR 的例子）。尽管经过了数十年精心设计的物理模型，AlphaFold/AlphaProteo 在解决重要问题方面仍然比人类更有效，这提供了一个原理证明（尽管是在一个狭窄的领域中使用一个狭窄的工具），它应该为我们指明前进的方向
因此，我猜测强大的人工智能至少可以将这些发现的速度提高 10 倍，使我们在 5-10 年内获得未来 50-100 年的生物学进展。为什么不是 100 倍？也许有可能，但这里的序列依赖性和实验时间变得很重要：在 1 年内获得 100 年的进展需要很多事情第一次就做对，包括动物实验和设计显微镜或昂贵的实验室设施之类的事情。我实际上对（也许听起来很荒谬的）想法持开放态度，即我们可以在 5-10 年内获得 1000 年的进展，但非常怀疑我们可以在 1 年内获得 100 年的进展。换句话说，我认为存在一个不可避免的恒定延迟：实验和硬件设计具有一定的“延迟”，并且需要迭代一定数量的“不可约”次数，才能学习无法通过逻辑推导出来的事情。但是，在此基础上可能可以进行大规模并行化
临床试验呢？虽然它们存在大量的官僚主义和拖延，但事实是，很多（尽管绝非全部！）它们的缓慢最终源于需要严格评估几乎不起作用或作用不明确的药物。遗憾的是，今天大多数疗法都是如此：平均而言，癌症药物会使生存期延长几个月，同时会产生需要仔细测量的重大副作用（阿尔茨海默氏症药物也有类似的故事）。这导致了大型研究（为了获得统计功效）和难以权衡的取舍，而监管机构通常不擅长做出这些取舍，这又是因为官僚主义和相互竞争的利益的复杂性
当某些东西真的有效时，它的速度会快得多：有一个加速审批程序，当效应量较大时，审批更容易。COVID 的 mRNA 疫苗在 9 个月内获得批准——比通常的速度快得多。也就是说，即使在这种情况下，临床试验仍然太慢——mRNA 疫苗可以说应该在2 个月内获得批准。但是，这些类型的延迟（药物从头到尾1 年）加上大规模并行化以及需要一些但不是太多迭代（“几次尝试”）与 5-10 年内的根本性变革非常兼容。更乐观的是，人工智能支持的生物科学可以通过开发更好的动物和细胞实验模型（甚至模拟）来减少对临床试验迭代的需求，这些模型可以更准确地预测人类会发生什么。这在开发抗衰老药物时尤其重要，抗衰老药物会在几十年中发挥作用，我们需要一个更快的迭代循环
最后，关于临床试验和社会障碍的话题，值得明确指出的是，在某些方面，生物医学创新在成功部署方面有着非常强大的记录，这与其他一些技术形成了对比。如导言中所述，许多技术尽管在技术上运作良好，但仍受到社会因素的阻碍。这可能表明对人工智能可以实现的目标持悲观看法。但生物医学的独特之处在于，尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常会成功部署和使用
综上所述，我的基本预测是，人工智能支持的生物学和医学将使我们能够将人类生物学家在未来 50-100 年内取得的进展压缩到 5-10 年内。我将称之为“压缩的 21 世纪”：这个想法是，在强大的 AI 发展之后，我们将在几年内在生物学和医学领域取得所有我们在整个 21 世纪取得的进展
尽管预测强大的人工智能在几年内可以做什么仍然很困难，而且具有推测性，但问“人类在接下来的 100 年里在没有帮助的情况下能做什么？”有一些具体性。简单地看看我们在 20 世纪取得的成就，或者从 21 世纪的头 20 年推断，或者问“10 个 CRISPR 和 50 个 CAR-T”会给我们带来什么，都提供了一种实用、有根据的方法来估计我们可能期望从强大的人工智能中获得的总体进展水平
下面我试着列出我们可能期望的内容。这不是基于任何严格的方法，并且几乎肯定会在细节上被证明是错误的，但它试图传达我们应该期望的总体激进程度：
可靠地预防和治疗几乎所有自然传染病。 鉴于 20 世纪在传染病方面取得的巨大进步，不难想象我们或多或少可以在压缩的 21 世纪“完成这项工作”。mRNA 疫苗和类似技术已经指明了“针对任何事物的疫苗”的方向。传染病是否会从世界上完全根除（而不是仅仅在某些地方根除）取决于贫困和不平等的问题，这些问题将在第 3 节中讨论
消除大多数癌症。 过去几十年来，癌症死亡率每年下降约 2%；因此，按照目前人类科学的步伐，我们有望在 21 世纪消除大多数癌症。某些亚型已经基本治愈（例如，某些类型的白血病通过 CAR-T 疗法治愈），我对针对婴儿期癌症并防止其生长的非常有选择性的药物可能更感兴趣。人工智能还将使针对癌症的个体化基因组的治疗方案变得非常精细——这在今天是可能的，但在时间和人力专业知识方面成本巨大，人工智能应该使我们能够扩大规模。死亡率和发病率降低 95% 或更多似乎是可能的。话虽如此，癌症变化多端，适应性强，可能是这些疾病中最难完全根除的。如果仍然存在各种罕见、难以治疗的恶性肿瘤，也就不足为奇了
非常有效的预防和有效的基因疾病治疗方法。 大大改进的胚胎筛查可能会使预防大多数基因疾病成为可能，而 CRISPR 的某些更安全、更可靠的后代可能会治愈大多数现有患者的基因疾病。影响大部分细胞的全身性疾病可能是最后的障碍
预防阿尔茨海默氏症。 我们很难弄清楚是什么导致了阿尔茨海默氏症（它与β-淀粉样蛋白有关，但实际的细节似乎非常复杂）。这似乎正是可以用更好的测量工具来解决的问题类型，这些测量工具可以隔离生物学效应；因此，我看好人工智能解决这个问题的能力。一旦我们真正了解发生了什么，就有很大的机会可以通过相对简单的干预措施来预防它。话虽如此，由已经存在的阿尔茨海默氏症造成的损害可能很难逆转
改进大多数其他疾病的治疗。 这是一个包罗万象的类别，涵盖其他疾病，包括糖尿病、肥胖症、心脏病、自身免疫性疾病等等。其中大多数似乎比癌症和阿尔茨海默氏症“更容易”解决，并且在许多情况下已经急剧下降。例如，心脏病死亡人数已经下降了 50% 以上，而 GLP-1 激动剂等简单干预措施已经使肥胖症和糖尿病取得了巨大进展
生物自由。 过去 70 年见证了节育、生育、体重管理等方面的进步。但我怀疑人工智能加速的生物学将极大地扩展可能的范围：体重、外貌、生殖和其他生物过程将完全由人们控制。我们将把这些称为生物自由：每个人都应该有权选择自己想成为什么样的人，并以最吸引他们的方式生活。当然，关于全球平等获取的问题将非常重要；请参阅第 3 节中的这些内容
人类寿命翻一番。 这看起来可能很激进，但预期寿命在 20 世纪几乎翻了一番（从40 岁到75 岁），因此“压缩的 21 世纪”再次翻一番达到 150 岁是“顺理成章的”。显然，减缓实际衰老过程所需的干预措施将与上个世纪为预防（主要是儿童）疾病过早死亡所需的干预措施不同，但变化的幅度并非史无前例。具体来说，已经存在一些药物，可以在有限的不良影响的情况下将大鼠的最大寿命延长 25-50%。有些动物（例如某些类型的龟）已经活了 200 年，因此人类显然没有达到某个理论上限。我猜想，最需要的东西可能是可靠的、非古德哈特定律的人类衰老生物标志物，因为这将允许对实验和临床试验进行快速迭代。一旦人类的寿命达到 150 岁，我们或许就能达到“逃逸速度”，为现在活着的大多数人赢得足够的时间，让他们能够想活多久就活多久，尽管当然不能保证这在生物学上是可能的
值得一看这份清单，并思考如果所有这些都在 7-12 年后实现（这与激进的人工智能时间表一致），世界将会多么不同。毫无疑问，这将是一场难以想象的人道主义胜利，一举消除困扰人类数千年的多数灾难。我的许多朋友和同事正在抚养孩子，当这些孩子长大后，我希望他们听到任何关于疾病的提及，都会像我们听到坏血病、天花或鼠疫一样。这一代人还将受益于日益增长的生物自由和自我表达，并且幸运的话，他们也许还能活到自己想要的年龄
很难高估这些变化对除了少数期待强大人工智能的人之外的所有人来说是多么令人惊讶。例如，目前美国有数千名经济学家和政策专家正在辩论如何保持社会保障和医疗保险的偿付能力，以及更广泛地说，如何降低医疗保健成本（医疗保健主要由 70 岁以上的人以及尤其是患有癌症等绝症的人消费）。如果所有这些都实现，这些项目的处境可能会得到根本改善，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，例如如何确保广泛获得新技术，但值得反思的是，即使生物学是唯一一个被人工智能成功加速的领域，世界也将发生多大的变化
2. 神经科学和心智
在上一节中，我重点介绍了身体疾病和一般生物学，没有涵盖神经科学或心理健康。但神经科学是生物学的一个分支学科，心理健康与身体健康同等重要。事实上，如果说有什么不同的话，那就是心理健康比身体健康更直接地影响人类的福祉
数亿人由于成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍、精神变态或智力残疾等问题而生活质量非常低。还有数十亿人与日常问题作斗争，这些问题通常可以解释为这些严重临床疾病的一种更轻微的表现形式。与一般生物学一样，我们或许可以超越解决问题，提高人类体验的基线质量
我为生物学制定的基本框架同样适用于神经科学。该领域是由少量发现推动的，这些发现通常与用于测量或精确干预的工具有关——在上面的列表中，光遗传学是一项神经科学发现，最近 CLARITY 和扩展显微镜是同一领域的进展，此外还有许多一般的细胞生物学方法直接应用于神经科学。我认为这些进展的速度将同样被人工智能加速，因此“5-10 年内取得 100 年的进展”的框架以同样的方式适用于神经科学，原因也相同。与生物学一样，20 世纪神经科学的进步是巨大的——例如，我们直到 1950 年代才了解神经元如何以及为什么放电。因此，期望人工智能加速的神经科学在几年内取得快速进展似乎是合理的
有一件事我们应该添加到这个基本图景中，那就是我们在过去几年中了解到（或正在了解）的关于人工智能本身的一些事情可能会帮助推进神经科学，即使它继续只由人类完成。可解释性是一个明显的例子：尽管生物神经元在表面上以与人工神经元完全不同的方式运作（它们通过尖峰和通常的尖峰率进行通信，因此存在人工神经元中不存在的时间元素，以及一堆与细胞生理学和神经递质相关的细节会显着改变它们的运作），但“执行组合线性/非线性运算的简单单元的分布式、训练有素的网络如何协同工作以执行重要计算”的基本问题是相同的，我强烈怀疑单个神经元通信的细节将在大多数关于计算和电路的有趣问题中被抽象出来。作为一个例子，人工智能系统中的可解释性研究人员发现的一种计算机制最近在小鼠的大脑中被重新发现
在人工神经网络上做实验比在真实神经网络上做实验要容易得多（后者通常需要切入动物大脑），因此可解释性很可能成为改进我们对神经科学理解的工具。此外，强大的人工智能本身可能能够比人类更好地开发和应用此工具
但是，除了可解释性之外，我们从人工智能中学到的关于智能系统如何训练的知识应该（尽管我不确定它是否已经）在神经科学领域引起一场革命。当我在神经科学领域工作时，很多人专注于我现在认为是关于学习的错误问题，因为缩放假设/痛苦教训的概念还不存在。简单的目标函数加上大量数据可以驱动极其复杂的行为的想法使得理解目标函数和架构偏差变得更有趣，而理解涌现计算的细节则变得不那么有趣。近年来，我没有密切关注这个领域，但我隐约觉得计算神经科学家还没有完全吸取教训。我一直对缩放假设的态度是“啊哈——这是对智能如何工作以及它如何如此容易地进化的高级解释”，但我认为这不是普通神经科学家的观点，部分原因是缩放假设作为“智能的秘诀”甚至在人工智能领域也没有被完全接受
我认为神经科学家应该尝试将这种基本见解与人脑的特殊性（生物物理限制、进化史、拓扑结构、运动和感觉输入/输出的细节）结合起来，试图弄清神经科学的一些关键难题。有些人可能会这样做，但我怀疑这还不够，而且人工智能神经科学家将能够更有效地利用这个角度来加速进展
我预计人工智能将通过四种不同的途径加速神经科学的进展，所有这些途径都有望协同作用，以治愈精神疾病并改善功能：
传统的分子生物学、化学和遗传学。 这与第 1 节中的一般生物学基本相同，人工智能可以通过相同的机制加快它的速度。有许多药物可以调节神经递质以改变大脑功能、影响警觉性或感知、改变情绪等，人工智能可以帮助我们发明更多药物。人工智能也可能加速对精神疾病遗传基础的研究
精细的神经测量和干预。 这是指测量许多单个神经元或神经元回路正在做什么，并干预以改变它们的行为的能力。光遗传学和神经探针是能够在活生物体中进行测量和干预的技术，并且已经提出并原则上似乎可能的一些非常先进的方法（例如分子定时带，用于读出大量单个神经元的放电模式）
高级计算神经科学。 如上所述，现代人工智能的具体见解和整体情况可能可以有效地应用于系统神经科学中的问题，包括可能揭示复杂疾病（如精神病或情绪障碍）的真正原因和动态
行为干预。 鉴于对神经科学生物学方面的关注，我没有过多提及它，但精神病学和心理学当然在 20 世纪发展了广泛的行为干预措施；理所当然地认为，人工智能也可以加速这些干预措施，既可以开发新方法，也可以帮助患者遵守现有方法。更广泛地说，“人工智能教练”的想法似乎很有希望，人工智能教练总是帮助你成为最好的自己，研究你的互动并帮助你学会更有效率
我猜测，与身体疾病一样，这四种进步途径的共同作用将有望在未来 100 年内治愈或预防大多数精神疾病，即使没有人工智能的参与——因此可能在 5-10 个人工智能加速的年份内完成。具体来说，我猜测会发生的事情是这样的：
大多数精神疾病可能可以治愈。 我不是精神疾病方面的专家（我在神经科学领域的时间花在了构建探针来研究小群神经元上），但我猜测像 PTSD、抑郁症、精神分裂症、成瘾等疾病可以通过上述四种方向的某种组合来弄清楚并得到非常有效的治疗。答案可能是“生物化学方面出了问题”（尽管它可能非常复杂）和“神经网络出了问题（在高层次上）”的某种组合。也就是说，这是一个系统神经科学问题——尽管这并没有否定上述行为干预的影响。测量和干预工具，尤其是在活人身上，似乎可能会导致快速迭代和进步
非常“结构性”的疾病可能更难治疗，但并非不可能。 有一些证据表明，精神变态与明显的神经解剖学差异有关——精神变态者的一些大脑区域 simplemente 更小或发育不足。人们还认为，精神变态者从小就缺乏同理心；无论他们的大脑有什么不同，它可能一直都是那样的。某些智力障碍也可能是如此，也许其他情况也是如此。重塑大脑听起来很难，但它也像是一项对智力回报很高的任务。也许有什么方法可以让成年人的大脑回到更早或更具可塑性的状态，在那里它可以被重塑。我不太确定这有多大可能，但我的直觉是对人工智能能发明的东西持乐观态度
有效预防精神疾病的基因似乎是可能的。 大多数精神疾病部分是遗传的，全基因组关联研究开始在识别相关因素方面取得进展，这些因素通常数量众多。通过胚胎筛查预防大多数此类疾病可能是可能的，类似于身体疾病的故事。一个区别是精神疾病更有可能是多基因的（许多基因都有贡献），因此由于复杂性，存在不知不觉地选择对抗与疾病相关的积极特征的风险。然而奇怪的是，近年来 GWAS 研究似乎表明这些相关性可能被高估了。无论如何，人工智能加速的神经科学可能会帮助我们弄清楚这些事情。当然，对复杂性状进行胚胎筛查会引发许多社会问题，并且会引起争议，尽管我猜想大多数人会支持对严重或使人衰弱的精神疾病进行筛查
我们认为不是临床疾病的日常问题也将得到解决。 我们大多数人都有日常的心理问题，这些问题通常不被认为上升到临床疾病的水平。有些人很容易生气，另一些人难以集中注意力或经常昏昏欲睡，有些人恐惧或焦虑，或者对变化反应不好。如今，已经存在药物可以帮助提高警觉性或注意力（咖啡因、莫达非尼、利他林），但与之前的许多其他领域一样，更多的事情可能是可能的。可能存在更多此类药物，但尚未被发现，并且也可能存在全新的干预方式，例如靶向光刺激（参见上面的光遗传学）或磁场。鉴于我们在 20 世纪开发了多少种调节认知功能和情绪状态的药物，我非常乐观地认为在“压缩的 21 世纪”，每个人都可以让自己的大脑表现得更好，拥有更充实的日常生活
人类的基线体验可以变得更好。 更进一步，许多人经历过非凡的顿悟、创造性灵感、同情心、满足感、超越感、爱、美或冥想般的平静时刻。这些经历的性质和频率因人而异，在不同时间段同一个人也可能不同，有时还可以由各种药物引发（尽管通常伴有副作用）。所有这些都表明，“可以体验到的空间”非常广阔，并且人们生活中更大一部分可以由这些非凡的时刻组成。提高各种认知功能也可能是可能的。这也许是“生物自由”或“延长寿命”的神经科学版本
科幻小说中经常出现的一个话题，但我在这里故意没有讨论，那就是“意识上传”，即将人脑的模式和动态捕获并实例化到软件中的想法。这个话题本身就可以写一篇文章，但我只想说，虽然我认为上传原则上几乎肯定可以实现，但在实践中，即使有强大的人工智能，它也面临着重大的技术和社会挑战，这可能使它不在我们讨论的 5-10 年窗口之内
总之，人工智能加速的神经科学可能会极大地改善甚至治愈大多数精神疾病的治疗方法，并极大地扩展“认知和精神自由”以及人类的认知和情感能力。它将与上一节中描述的身体健康方面的改进一样具有根本性。也许世界从外部看起来不会有明显的不同，但人类体验的世界将是一个更好、更人性化的地方，以及一个提供更多自我实现机会的地方。我还怀疑改善的心理健康将改善许多其他社会问题，包括那些看起来是政治或经济的问题
3. 经济发展和贫困
前两节是关于开发能够治愈疾病和提高人类生活质量的新技术。然而，从人道主义的角度来看，一个显而易见的问题是：“每个人都能获得这些技术吗？”
开发一种疾病的治疗方法是一回事，将这种疾病从世界上根除是另一回事。更广泛地说，许多现有的健康干预措施尚未在世界各地应用，就此而言，（非健康）技术的改进也是如此。换句话说，世界许多地方的生活水平仍然非常低：撒哈拉以南非洲的人均 GDP 约为 2,000 美元，而美国为 75,000 美元。如果人工智能进一步提高发达国家的经济增长和生活质量，而对发展中国家几乎没有帮助，我们应该将其视为严重的道德败坏，以及前两节中真正人道主义胜利的污点。理想情况下，强大的人工智能应该帮助发展中国家赶上发达国家，即使它正在彻底改变后者
我不像相信人工智能可以发明基础技术那样相信人工智能可以解决不平等和经济增长问题，因为技术对智能的回报如此明显（包括绕过复杂性和缺乏数据的能力），而经济涉及来自人类的许多限制，以及大量的内在复杂性。我有点怀疑人工智能能否解决著名的“社会主义计算问题”，而且我不认为政府会（或应该）将其经济政策交给这样一个实体，即使它可以这样做。还有一些问题，比如如何说服人们接受有效的治疗方法，但他们可能会对此表示怀疑
发展中国家面临的挑战由于公共和私营部门普遍存在的腐败而变得更加复杂。腐败造成了一个恶性循环：它加剧了贫困，而贫困又滋生了更多的腐败。人工智能驱动的经济发展计划需要考虑到腐败、薄弱的机构和其他非常人为的挑战。
然而，我确实看到了重要的乐观理由。疾病已被根除，许多国家已从贫穷走向富裕，很明显，这些任务中涉及的决策对智能的回报很高（尽管存在人为限制和复杂性）。因此，人工智能可能会比目前做得更好。也可能有一些有针对性的干预措施可以绕过人类的限制，而人工智能可以专注于这些干预措施。但更重要的是，我们必须尝试。人工智能公司和发达国家的政策制定者都需要尽自己的一份力量，以确保发展中国家不会被落下；道义上的当务之急太大了。因此，在本节中，我将继续做出乐观的假设，但请记住，成功并非有保障，而且取决于我们共同的努力
下面我对我认为在强大人工智能发展后的 5-10 年内发展中国家可能会发生的事情进行一些猜测：
健康干预措施的分配。 我最乐观的地方也许是在世界范围内推广健康干预措施。疾病实际上已被自上而下的运动根除：天花在 1970 年代被完全消灭，脊髓灰质炎和麦地那龙线虫病也即将被根除，每年病例不到 100 例。数学上复杂的流行病学模型在疾病根除运动中发挥着积极作用，而且看起来很有可能，更智能的人工智能系统可以比人类做得更好。分配的物流可能也可以得到极大的优化。我作为 GiveWell 的早期捐赠者了解到的一件事是，一些健康慈善机构比其他慈善机构有效得多；希望人工智能加速的努力会更有效。此外，一些生物学上的进步实际上使分配的物流变得更加容易：例如，疟疾一直难以根除，因为它需要在每次感染时进行治疗；只需接种一次的疫苗会使物流变得更加简单（事实上，目前正在开发这种疟疾疫苗）。甚至更简单的分配机制也是可能的：原则上，某些疾病可以通过针对其动物载体来根除，例如释放感染了阻断其传播疾病能力的细菌的蚊子（然后这些蚊子会感染所有其他蚊子），或者简单地使用基因驱动来消灭蚊子。这需要一个或几个集中的行动，而不是必须单独治疗数百万人的协调一致的运动。总的来说，我认为 5-10 年是一个合理的时间表，可以让很大一部分（也许是 50%）的人工智能驱动的健康益处传播到世界上最贫穷的国家。一个好的目标可能是，在强大的 AI 出现 5-10 年后，发展中国家的健康状况至少要大大优于现在的发达国家，即使它继续落后于发达国家。实现这一目标当然需要在全球卫生、慈善事业、政治宣传和许多其他方面做出巨大努力，人工智能开发者和政策制定者都应该为此提供帮助
经济增长。 发展中国家能否迅速赶上发达国家，不仅在健康方面，而且在经济方面全面赶上？这方面有一些先例：在 20 世纪的最后几十年，几个东亚经济体实现了持续约 10% 的实际 GDP 增长率，使它们能够赶上发达国家。人类经济规划者做出了导致这一成功的决定，不是通过直接控制整个经济体，而是通过拉动几个关键杠杆（例如出口导向型增长的产业政策，以及抵制依赖自然资源财富的诱惑）；“人工智能财政部长和央行行长”复制或超过这一 10% 的成就是有可能的。一个重要的问题是如何让发展中国家政府在尊重自决原则的同时采用它们——有些人可能会对此充满热情，但其他人可能会持怀疑态度。从乐观的一面来看，前一点中提到的许多健康干预措施可能会自然地促进经济增长：根除艾滋病/疟疾/寄生虫将对生产力产生变革性影响，更不用说一些神经科学干预措施（例如改善情绪和注意力）对发达国家和发展中国家的经济效益。最后，非健康人工智能加速的技术（例如能源技术、运输无人机、改进的建筑材料、更好的物流和配送等等）可能只是自然地渗透到世界各地；例如，即使是手机也通过市场机制迅速渗透到撒哈拉以南非洲地区，而无需慈善努力。更消极的是，虽然人工智能和自动化有很多潜在的好处，但它们也对经济发展构成挑战，特别是对尚未工业化的国家而言。在自动化程度日益提高的时代，找到确保这些国家仍然可以发展和改善其经济的方法是经济学家和政策制定者面临的一项重要挑战。总的来说，一个理想的设想——也许是一个值得追求的目标——是发展中国家的 GDP 年增长率达到 20%，其中人工智能支持的经济决策和人工智能加速技术的自然传播各占 10%，包括但不限于健康。如果实现这一目标，这将在 5-10 年内使撒哈拉以南非洲地区的人均 GDP 达到中国的水平，同时使其他大多数发展中国家的人均 GDP 超过目前的美国水平。再说一次，这是一个理想的设想，而不是默认会发生的事情：这是我们所有人都必须共同努力才能更有可能实现的事情
粮食安全。 作物技术的进步，如更好的肥料和杀虫剂、更多的自动化和更有效的土地利用，在 20 世纪极大地提高了作物产量，使数百万人免于饥饿。基因工程目前正在进一步改善许多作物。找到更多的方法来做到这一点——以及提高农业供应链的效率——可以给我们带来人工智能驱动的第二次绿色革命，帮助缩小发展中国家和发达国家之间的差距
减缓气候变化。 气候变化在发展中国家的感受将更加强烈，从而阻碍其发展。我们可以预期，人工智能将改进减缓或阻止气候变化的技术，从大气碳清除和清洁能源技术到减少我们对碳密集型工厂化养殖依赖的实验室培养肉。当然，如上所述，技术并不是限制气候变化进展的唯一因素——与本文讨论的所有其他问题一样，人类社会因素也很重要。但我们有充分的理由认为，人工智能增强的研究将使我们能够以更低的成本和更少的破坏性来减缓气候变化，从而使许多反对意见变得毫无意义，并使发展中国家能够腾出精力来取得更大的经济进步。
国家内部的不平等。 我主要讨论的是作为全球现象的不平等（我确实认为这是其最重要的表现），但当然，不平等也存在于国家内部。随着先进的健康干预措施，尤其是寿命的根本性延长或认知增强药物的出现，肯定会有人担心这些技术“只适用于富人”。我对国家内部的不平等，尤其是在发达国家，更为乐观，原因有两个。首先，市场在发达国家运作得更好，而市场通常擅长随着时间的推移降低高价值技术的成本。其次，发达国家的政治机构对公民的反应更灵敏，并且拥有更大的国家能力来执行普遍准入计划——而且我预计公民会要求获得能够从根本上改善生活质量的技术。当然，这些要求是否成功并非预先确定的——这里又是我们集体必须尽一切努力确保公平社会的地方。财富不平等（而不是获得拯救生命和改善生活的技术的不平等）是一个单独的问题，这似乎更难解决，我将在第 5 节中讨论。
选择退出问题。 发达国家和发展中国家的一个担忧是人们选择退出人工智能带来的好处（类似于反疫苗运动或更普遍的勒德运动）。最终可能会出现恶性循环，例如，最不善于做出良好决策的人选择退出能够提高其决策能力的技术，从而导致差距越来越大，甚至创造出一个反乌托邦式的底层阶级（一些研究人员认为这将破坏民主，我将在下一节中进一步讨论这个话题）。这将再次给人工智能的积极进步带来道德污点。这是一个难以解决的问题，因为我认为在伦理上强迫人们是不对的，但我们至少可以尝试提高人们的科学理解——也许人工智能本身可以帮助我们做到这一点。一个充满希望的迹象是，从历史上看，反技术运动雷声大雨点小：抨击现代技术很流行，但大多数人最终都会采用它，至少在个人选择的问题上是这样。个人倾向于采用大多数健康和消费技术，而真正受阻的技术（如核能）往往是集体政治决策。
总的来说，我对迅速将人工智能的生物学进步带给发展中国家的人民持乐观态度。我充满希望，但不确定，人工智能还可以带来前所未有的经济增长率，并使发展中国家至少超过发达国家目前的水平。我担心发达国家和发展中国家的“选择退出”问题，但我怀疑它会随着时间的推移而逐渐消失，并且人工智能可以帮助加速这一进程。这不会是一个完美的世界，落后的人不会完全赶上来，至少在最初的几年里不会。但只要我们做出巨大的努力，我们或许能够让事情朝着正确的方向发展——而且速度很快。如果我们做到了，我们至少可以为我们欠地球上每个人的尊严和平等的承诺支付首付。
4. 和平和治理
假设前三节中的所有事情都进展顺利：疾病、贫困和不平等显着减少，人类体验的基线大幅提高。这并不意味着所有造成人类苦难的主要原因都得到了解决。人类仍然是彼此的威胁。尽管存在技术进步和经济发展导致民主与和平的趋势，但这只是一种非常松散的趋势，而且经常（以及最近）出现倒退。在 20 世纪初，人们认为他们已经把战争抛在身后；然后是两次世界大战。三十年前，弗朗西斯·福山写了关于“历史的终结”和自由民主的最终胜利；这还没有发生。试图理解强大的人工智能将如何与和平、民主和自由这些问题相交似乎很重要
不幸的是，我看不到有充分的理由相信人工智能会优先或结构性地促进民主与和平，就像我认为它会结构性地促进人类健康和减轻贫困一样。人类冲突是对抗性的，人工智能原则上可以帮助“好人”和“坏人”。因此，作为个体行为者，我们有责任让事情朝着正确的方向发展：如果我们希望人工智能有利于民主和个人权利，我们就必须为实现这一结果而奋斗
很明显，很难预测这里会发生什么，但我确实有一些乐观的想法，即在民主国家控制最强大人工智能的全球环境下，人工智能实际上可能在结构上有利于世界各地的民主。甚至可以通过提供信息和人工智能服务来创造一个全球自由的信息环境。尽管不是立竿见影的，但这样的公平竞争环境很有可能逐渐将全球治理转向民主，原因有几个:
首先，在所有条件相同的情况下，第 1-3 节中提到的生活质量的提高应该会促进民主：从历史上看，它们确实在一定程度上促进了民主。我尤其期望心理健康、福祉和教育方面的改善能够促进民主
其次，与神经科学和生物学一样，我们也可以问事情如何才能“比正常情况更好”——不仅仅是如何避免专制主义，而是如何让民主国家比今天更好。即使在民主国家内部，不公正的事情也一直在发生。法治社会向其公民承诺，每个人在法律面前一律平等，每个人都有权享有基本人权，但显然人们在实践中并不总是能获得这些权利。即使只是部分履行了这一承诺，也值得我们引以为豪，但人工智能能否帮助我们做得更好？
例如，人工智能能否通过使决策和流程更加公正来改进我们的法律和司法系统？如今，在法律或司法环境中，人们主要担心的是人工智能系统会导致歧视，而这些担忧很重要，需要加以防范。与此同时，民主的活力取决于利用新技术来改进民主机构，而不仅仅是对风险做出反应。真正成熟和成功的人工智能的实施有可能减少偏见，对每个人都更公平
几个世纪以来，法律制度一直面临着这样的两难境地：法律的目标是公正，但它本质上是主观的，因此必须由有偏见的人来解释。试图使法律完全机械化是行不通的，因为现实世界是混乱的，不能总是用数学公式来表达。相反，法律制度依赖于众所周知的不精确的标准，例如“残酷和不寻常的惩罚”或“完全没有社会救赎的重要性”，然后由人类来解释——而且他们这样做的方式往往会表现出偏见、偏袒或武断。“智能合约”并没有彻底改变法律，因为普通代码不足以裁决所有那么多有趣的事情。但人工智能可能足够聪明来做到这一点：它是第一项能够以可重复和机械的方式做出广泛、模糊判断的技术
我并不是建议我们真的用人工智能系统取代法官，但公正性与理解和处理混乱的现实世界情况的能力相结合，感觉应该对法律和正义有一些积极的应用。至少，此类系统可以与人类一起工作，以协助决策。在任何此类系统中，透明度都很重要，成熟的人工智能科学可以想象地提供它：可以广泛研究此类系统的训练过程，并且可以使用先进的可解释性技术来查看最终模型的内部并评估其是否存在隐藏的偏见，这是人类根本无法做到的。此类人工智能工具还可用于监控司法或警察部门是否存在侵犯基本权利的行为，从而使宪法更具自我执行力。
类似地，人工智能可用于汇总意见并在公民之间达成共识，解决冲突，找到共同点，并寻求妥协。计算民主项目已经开展了这方面的一些早期想法，包括与 Anthropic 的合作。更知情、更深思熟虑的公民显然会加强民主机构
人工智能显然还有一个机会，可以用来帮助提供政府服务——例如健康福利或社会服务——这些服务原则上每个人都可以获得，但在实践中往往严重缺乏，而且在某些地方比其他地方更糟。这包括健康服务、DMV、税收、社会保障、建筑规范执法等等。拥有一个非常体贴和消息灵通的人工智能，其工作是以一种您可以理解的方式向您提供您在法律上有权从政府那里获得的一切——并且还帮助您遵守通常令人困惑的政府规则——将是一件大事。提高国家能力既有助于兑现法律面前人人平等的承诺，又有助于加强对民主治理的尊重。服务执行不力是目前对政府产生不满情绪的主要原因。
所有这些都有些不切实际的想法，正如我在本节开头所说的那样，我对它们的可行性远不如我对生物学、神经科学和扶贫的进步那么有信心。它们可能是不切实际的乌托邦。但重要的是要有一个雄心勃勃的愿景，愿意大胆梦想并尝试新事物。将人工智能视为自由、个人权利和法律面前人人平等的保障者的愿景是一个过于强大的愿景，不容错过。21 世纪人工智能赋能的政体既可以成为个人自由的更强大保护者，也可以成为希望的灯塔
5. 工作和意义
即使前四节中的所有内容都进展顺利——我们不仅减轻了疾病、贫困和不平等，而且自由民主成为主要的政府形式，现有的自由民主国家也成为了更好的版本——至少还有一个重要的问题仍然存在。“我们生活在一个技术如此先进的世界，以及一个公平体面的世界，这真是太好了，”有人可能会反对，“但有了人工智能做所有事情，人类将如何拥有意义？就此而言，他们如何在经济上生存？”
我认为这个问题比其他问题更难。我的意思并不是说我必然比对其他问题更悲观（尽管我确实看到了挑战）。我的意思是它更模糊，更难提前预测，因为它与关于社会如何组织的宏观问题有关，这些问题往往只会在一段时间内以分散的方式解决。例如，历史上的狩猎采集社会可能认为，没有狩猎和各种与狩猎相关的宗教仪式，生活是没有意义的，并且会认为我们衣食无忧的技术社会是没有目标的。他们也可能不理解我们的经济如何养活所有人，或者人们在机械化社会中可以发挥什么作用。
尽管如此，至少值得说几句，同时记住本节的简短丝毫不表示我不认真对待这些问题——相反，这表示缺乏明确的答案。
关于意义的问题，我认为认为你承担的任务仅仅因为人工智能可以做得更好就毫无意义是一个很大的错误。大多数人不是世界上任何事情上最棒的，这似乎并没有特别困扰他们。当然，今天他们仍然可以通过比较优势做出贡献，并可能从他们创造的经济价值中获得意义，但人们也非常喜欢不产生经济价值的活动。我花了很多时间玩电子游戏、游泳、在户外散步和与朋友交谈，所有这些都不会产生经济价值。我可能会花一天时间试图在电子游戏中做得更好，或者更快地骑自行车上山，而某个地方的某个人在这些事情上做得更好对我来说并不重要。无论如何，我认为意义主要来自人际关系和联系，而不是来自经济劳动。人们确实想要一种成就感，甚至是一种目标感，在后人工智能世界中，完全有可能花数年时间尝试一些非常复杂的任务，采用复杂的策略，类似于今天人们着手研究项目、试图成为好莱坞演员或创办公司时所做的事情。某个地方的人工智能原则上可以做得更好，而这项任务不再是全球经济中经济回报的因素，这两个事实在我看来无关紧要。
经济部分实际上对我来说比意义部分更难。在本节中，“经济”是指大多数或所有人可能无法对足够先进的人工智能驱动型经济做出有意义贡献的可能问题。这比不平等的单独问题（尤其是获得新技术的不平等）更宏观，我在第 3 节中讨论了这个问题。
首先，在短期内，我同意比较优势将继续保持人类的相关性，并实际上提高他们的生产力，甚至可能在某些方面平衡人类之间的竞争环境。只要人工智能在给定工作的 90% 中做得更好，其余的 10% 将使人类变得高度杠杆化，从而增加报酬，并实际上创造一堆补充和放大人工智能擅长之处的新人类工作，这样“10%”就会扩大以继续雇用几乎所有人。事实上，即使人工智能能够 100% 地比人类做得更好，但在某些任务上效率低下或成本高昂，或者如果人类和人工智能的资源投入明显不同，那么比较优势的逻辑仍然适用。人类可能会在相当长的一段时间内保持相对（甚至绝对）优势的一个领域是物理世界。因此，我认为即使在我们达到“数据中心里的天才之国”之后，人类经济也可能继续有意义。
然而，我确实认为从长远来看，人工智能将变得如此广泛有效且如此便宜，以至于这将不再适用。到那时，我们目前的经济体系将不再有意义，我们需要就如何组织经济进行更广泛的社会对话。
虽然这听起来可能很疯狂，但事实是，文明在过去成功地应对了重大的经济转变：从狩猎采集到农业，从农业到封建主义，从封建主义到工业主义。我怀疑需要一些新的、更奇怪的东西，而且这是当今没有人做好工作的。它可能就像为每个人提供大量的普遍基本收入一样简单，尽管我怀疑这只是解决方案的一小部分。它可能是一个人工智能系统的资本主义经济，然后根据人工智能系统认为在人类中奖励有意义的一些次要经济（基于最终源自人类价值观的某种判断）向人类分配资源（大量的资源，因为整体经济蛋糕将是巨大的）。也许经济运行在 Whuffie 点数（社会信用货币）上。或者也许人类毕竟会继续具有经济价值，这是通常的经济模型没有预料到的。所有这些解决方案都有大量可能的问题，如果不进行大量迭代和实验，就不可能知道它们是否有意义。与其他一些挑战一样，我们可能不得不努力争取一个好的结果：剥削性或反乌托邦的方向显然也是可能的，必须加以预防。关于这些问题可以写更多的东西，我希望以后再做。
总结
通过上面不同的主题，我试图描绘出一个如果人工智能一切顺利，既合理又比今天的世界好得多的世界愿景。我不知道这个世界是否现实，即使是，它也需要许多勇敢而敬业的人付出巨大的努力和奋斗才能实现。每个人（包括人工智能公司！）都需要尽自己的一份力量来预防风险并充分实现效益。
但这是一个值得为之奋斗的世界。如果所有这些真的在 5 到 10 年内发生——战胜大多数疾病，生物和认知自由的增长，数十亿人摆脱贫困，分享新技术，自由民主和人权的复兴——我怀疑每个看到它的人都会对它对他们的影响感到惊讶。我的意思不是亲身体验所有新技术带来的好处，尽管这肯定很神奇。我的意思是看着一套长期持有的理想在我们所有人面前一下子实现的体验。我想很多人会被它感动得热泪盈眶。
在写这篇文章的过程中，我注意到了一种有趣的张力。从某种意义上说，这里提出的愿景极其激进：这不是几乎任何人都期望在未来十年发生的事情，并且可能会让许多人觉得这是一种荒谬的幻想。有些人甚至可能认为它不可取；它体现了并非每个人都会同意的价值观和政治选择。但与此同时，它有一些显而易见的东西——一些过度决定的东西——就好像许多不同的尝试去想象一个美好的世界不可避免地会导致大致相同的结果。
在 Iain M. Banks 的《游戏玩家》中，主角是文化社会的一员，该社会的原则与我在这里提出的原则并无二致——他前往一个专制的、军国主义的帝国，在那里领导地位是由一场错综复杂的战斗游戏的竞争决定的。然而，游戏足够复杂，以至于玩家在游戏中的策略往往反映了他们自己的政治和哲学观。主角设法在游戏中击败了皇帝，表明他的价值观（文化的价值观）即使在由一个基于残酷竞争和适者生存的社会设计的游戏中也代表着一种成功的策略。斯科特·亚历山大的一篇著名文章也表达了同样的观点——竞争是弄巧成拙的，并且往往会导致一个基于同情和合作的社会。“道德宇宙之弧”是另一个类似的概念。
我认为文化价值观是一种成功的战略，因为它们是数百万个具有明确道德力量的小决定的总和，这些决定往往会将每个人拉到同一边。人类对公平、合作、好奇心和自主的基本直觉难以反驳，并且以我们更具破坏性的冲动通常不会累积的方式累积。很容易争辩说，如果我们能够预防，儿童就不应该死于疾病，并且很容易从那里争辩说，每个人的孩子都应该享有平等的权利。从那里很容易争辩说，我们都应该团结起来，运用我们的智慧来实现这一结果。很少有人不同意应该惩罚那些不必要地攻击或伤害他人的人，从那里到惩罚应该对所有人一致和系统化的想法只有一步之遥。人们应该对自己的生活和选择拥有自主权和责任，这也是同样直观的。这些简单的直觉，如果得出其逻辑结论，最终会导致法治、民主和启蒙价值观。如果不是不可避免地，那么至少作为一种统计趋势，这是人类已经走向的地方。人工智能只是提供了一个让我们更快到达那里的机会——使逻辑更鲜明，使目的地更清晰
然而，它是一件具有超凡脱俗之美的东西。我们有机会在实现它方面发挥一些微小的作用
致谢
感谢 Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe 以及 Anthropic 的许多人审阅了本文的草稿。
