👇关注公众号后设🌟标，掌握第一手AI新动态
本文访谈内容整理自Anthropic CEO Dario Amodei接受Lex Fridman Youtube频道专访，公开发表于2024年11月11日。原始内容较长，还包含Anthropic另外两名关键人物访谈，本文仅整理Amodei访谈部分，其余部分后续另文发布。原始内容参考：https://www.youtube.com/watch?v=ugvHCXCOmm4
Anthropic CEO达里奥·阿莫迪接受莱克斯专访
★内容导读：
Anthropic CEO 达里奥·阿莫迪在Lex访谈中的主要观点可以总结如下：
关于规模化定律和AI能力提升:
规模化定律持续有效: 阿莫迪认为，增加模型规模、数据量和计算力，能够持续提升AI模型的性能，这一规律在语言模型之外的多个领域也适用。他将此类比于化学反应，所有成分需线性扩展才能持续进行。 规模化背后的机制: 他从物理学和生物学的角度推测，规模化能够捕捉到越来越多的模式，从简单的到复杂的，这与自然界中模式的分布有关。大型网络拥有更高的容量，能够捕捉更复杂、更罕见的模式。 规模化上限未知: 目前尚不清楚规模化定律是否存在上限，以及AI能力能否超越人类水平。他认为，在某些领域可能存在上限，而在其他领域则可能远未达到上限。 规模化面临的挑战: 未来规模化可能面临数据枯竭、模型架构限制以及计算能力成本等挑战。他认为，合成数据和新型模型架构可能克服这些挑战。 关于Anthropic的模型和发展策略:
模型系列策略: Anthropic 推出了不同规模和性能的模型系列（Opus、Sonnet、Haiku），以满足不同需求和应用场景。 持续改进模型: 他们持续改进模型，通过预训练、后训练（包括RLHF、宪法AI、模型对抗训练等）以及安全测试等手段，不断提升模型性能和安全性。 模型命名挑战: 随着模型迭代速度加快，模型命名和版本控制变得越来越复杂。 用户反馈机制: 他们通过内部测试、外部A/B测试和用户反馈等多种方式，收集用户反馈并改进模型。 模型“变笨”的解释: 针对用户抱怨模型变笨的情况，他解释说这主要与用户与模型交互方式的改变、A/B测试以及系统提示的更改有关，并非模型本身性能下降。 负责任扩展策略 (RSP) 及 ASL 等级: Anthropic 采用负责任扩展策略，通过定义AI安全级别 (ASL) 来管理模型的风险，并制定相应的安全措施。 模型自主性风险: 他认为，模型自主性是未来重要的风险，需要通过测试和机制可解释性等手段进行监控和控制。 计算机使用能力: 他认为，赋予模型使用计算机的能力，可以极大地扩展模型的应用范围，但同时也带来了新的安全挑战，需要谨慎地进行管理。 关于AI安全和监管:
AI安全至关重要: 他强调AI安全的重要性，并认为安全性和规模化同等重要。 负责任扩展策略 (RSP): 他详细介绍了Anthropic的负责任扩展策略，包括对模型进行灾难性误用和自主性风险的测试，并根据AI安全级别 (ASL) 制定相应的安全措施。 AI监管的重要性: 他认为，AI监管对于规范行业发展、降低风险至关重要，但监管需要具有针对性，避免过度繁琐，阻碍创新。 “向上竞争”的理念: 他倡导“向上竞争”，即通过树立榜样，推动其他公司采取更负责任的AI发展策略。 关于AGI和未来展望:
AGI的定义和时间线: 他认为，“AGI”是一个模糊的术语，他更倾向于使用“强大的AI”来描述未来更强大的AI系统。他预测，在2026年或2027年，可能会出现拥有超越人类专业水平的AI系统。 AGI带来的积极影响: 他认为，AGI可以极大地加速科学进步，特别是在生物学和医学领域，带来例如治愈癌症、延长寿命等积极影响。 AGI带来的风险: 他强调了AGI带来的风险，包括灾难性误用和自主性风险，并认为需要采取有效的措施来应对这些风险。 人类的意义来源: 他认为，在AI时代，人类的意义来源不会消失，而是会发生转变，需要重新定义工作的意义和价值。 编程的未来: 他认为，AI将极大地改变编程的本质和工作方式，但不会取代程序员，而是会改变程序员的工作内容和效率。
达里奥·阿莫迪简介
达里奥·阿莫迪是Anthropic公司的首席执行官，这家公司是人工智能领域备受瞩目的新兴力量，其研发的Claude大型语言模型与OpenAI的GPT系列模型竞争，并被认为在某些方面具有优势。
阿莫迪拥有扎实的学术背景，本科毕业于布朗大学物理系，后获得加州理工学院生物物理学博士学位。在进入人工智能领域之前，他在学术界和产业界都有过经历，曾在百度与吴恩达合作，从事语音识别研究。这段经历让他早期就认识到“规模化定律”在深度学习中的重要性，即更大模型、更多数据和更强计算力能带来更好的性能。
之后，阿莫迪在OpenAI工作多年，参与了GPT系列模型的早期研发，对大型语言模型的训练和发展有深入的了解。 然而，他最终离开了OpenAI，与其他人共同创立了Anthropic。 这主要源于他对AI安全性的重视程度，以及对AI发展方向的不同看法。
阿莫迪及其团队在Anthropic致力于开发更安全、更可解释、更符合人类价值观的人工智能模型。他们强调负责任的AI发展，并积极探索AI安全性的各种方法，例如“宪法AI”等技术。 他频繁在公开场合发表演讲，呼吁业界重视AI安全，并参与相关的政策讨论。 他被认为是人工智能安全领域的重要声音，也是推动AI技术负责任发展的关键人物之一。
访谈完整记录
莱克斯： 下面是与达里奥·阿莫迪的对话，他是Anthropic的首席执行官，该公司创造了Claude，Claude目前经常位列大多数LLM基准测试排行榜的榜首。最重要的是，达里奥和Anthropic团队一直直言不讳地倡导认真对待人工智能安全问题，并且他们一直在发表许多关于这个和其他主题的引人入胜的人工智能研究。
之后，我还与Anthropic的另外两位杰出人士进行了交谈。首先是阿曼达·阿斯克尔，她是一位研究员，致力于Claude的校准和微调，包括Claude性格和个性的设计。一些人告诉我，她可能比Anthropic的任何人都和Claude谈话更多。所以，她绝对是一位令人着迷的人物，可以就提示工程和如何充分利用Claude的实用建议进行讨论。
之后，克里斯·奥拉赫也加入了我们的聊天。他是机制可解释性领域的先驱之一，这是一系列令人兴奋的努力，旨在反向工程神经网络，以了解内部发生了什么，从网络内部的神经激活模式推断行为。这是一种很有希望的方法，可以保证未来的超级人工智能系统安全。例如，通过检测模型何时试图欺骗与其交谈的人类来进行检测。
现在，亲爱的朋友们，让我们开始与达里奥·阿莫迪的对话吧。让我们从规模定律和规模假设的宏大构想开始。它是什么？它的历史是什么？我们今天站在哪里？
阿莫迪： 我只能根据我自己的经验来描述它，我在人工智能领域工作了大约十年。这是我很早就注意到的现象。我是在2014年末加入百度，与吴恩达一起工作时第一次接触AI领域，距今差不多十年了。我们最初的工作是语音识别系统。那时候，我认为深度学习是一项新事物，它取得了很大的进展，但每个人都在说，我们还没有取得成功的必要算法。我们只匹配了很小很小的一部分，还有很多算法方面的东西需要我们去发现。我们还没找到如何与人脑匹配的方法。某种程度上来说，这很幸运。我当时就像个新手，可以说是“新手运气”吧。
我观察了我们用于语音的循环神经网络，心想，如果把它做得更大，增加更多的层会怎样？如果同时增加数据量呢？我只是把这些看作可以调节的独立旋钮。我注意到，随着你提供更多数据、模型更大、训练时间更长，模型的表现越来越好。虽然那时我没有精确地测量，但我和同事们都有一种模糊的直觉：投入这些模型的数据、计算和训练越多，它们的表现就越好。起初我认为，这可能只适用于语音识别系统，也许这只是一个特例，一个特定领域。
直到2017年我第一次看到GPT-1的结果，我才意识到，语言可能是一个我们可以做到这一点的领域。我们可以获得数万亿字的语言数据，并在其上进行训练。我们当时训练的模型很小，可以在一到八个GPU上进行训练，而现在，我们用成千上万个GPU进行训练，很快就要达到数十万个GPU了。所以，当我看到这两件事结合在一起的时候——还有一些像Ilya Sutskever（你采访过他）这样的人持有类似的观点，他可能是第一个，虽然我认为大约在同一时间也有一些人得出类似的结论——比如Rich Sutton的“苦涩教训”，Gorin也写过关于规模假设的文章。
但我认为，在2014年到2017年之间，我才真正明白，我才真正确信，如果我们只是扩大模型规模，就能完成这些令人难以置信的广泛认知任务。在规模化的每个阶段，总会有争议。你知道，当我第一次听到这些争议时，老实说，我以为可能是我错了，所有这些领域的专家都是对的，他们比我更了解情况。比如，乔姆斯基的论点是，你可以得到句法，但你得不到语义。有一种观点认为，你可以让一个句子有意义，但你不能让一段话有意义。
我们今天遇到的最新观点是，我们将耗尽数据，或者数据质量不够高，或者模型无法推理。每一次，我们都能找到解决方法，或者规模化本身就是解决方法。有时是其中一种，有时是两者兼而有之。所以，我现在仍然认为，这总是相当不确定的。除了归纳推理之外，我们没有任何东西可以告诉我们未来几年会像过去十年一样。但我已经看过这部电影很多次了，我已经看过这个故事发生了很多次，以至于我真的相信，规模化可能会继续下去，并且其中有一些我们还没有在理论基础上解释清楚的魔力。
莱克斯： 当然，这里的规模化指的是更大的网络、更大的数据和更大的计算量。
阿莫迪： 是的。特别是更大网络、更长的训练时间和更多数据的线性扩展。所有这些都像化学反应一样。化学反应中有三种成分，你需要线性地扩大这三种成分。如果你只扩大一种，而不扩大其他的，你就会耗尽其他试剂，反应就会停止。但如果你线性地扩大所有成分，那么反应就能继续进行。
莱克斯： 当然，现在你有了这种经验科学/艺术，你可以把它应用到其他更细致的事情上，比如应用于可解释性的规模定律，或者应用于后训练的规模定律，或者只是看看这个东西是如何扩展的。但我认为，潜在的规模假设与大型网络、大数据导致智能有关。
阿莫迪： 是的，我们在语言以外的许多领域都记录了规模定律，对吧？最初，我们在2020年初发表的论文首次展示了语言的规模定律。然后在2020年末，我们展示了其他模态（如图像、视频、文本到图像、图像到文本、数学）也具有相同的模式。你是对的，现在还有其他阶段，比如后训练，或者有新型的推理模型。在我们已经测量过的所有这些情况下，我们都看到了类似的规模定律。
莱克斯： 这是一个哲学问题，但你对为什么更大的网络规模和数据规模更好有什么直觉？为什么它会导致更智能的模型？
阿莫迪： 我之前是生物物理学家，本科读的是物理学，研究生读的是生物物理学。所以我会回顾一下作为物理学家所了解的东西，实际上这远少于我在Anthropic的一些同事在物理学方面的专业知识。有一个概念叫做1/f噪声和1/x分布，通常情况下，就像如果你把一堆自然过程加起来，你会得到一个高斯分布。如果你把一堆不同分布的自然过程加起来，比如，如果你拿一个探针连接到一个电阻器上，电阻器中热噪声的分布与频率成反比，这是一种自然的收敛分布。我认为这意味着，如果你观察很多由具有许多不同尺度的自然过程产生的东西，它就不是高斯分布，而是一种分布狭窄的分布。但是，如果你观察导致电噪声的大大小小的波动，它们就具有这种衰减的1/x分布。
现在我想到了物理世界中的模式，或者语言中的模式。如果我考虑语言中的模式，有一些非常简单的模式。有些词比其他词更常见，比如“the”。然后是基本的动宾结构。然后是名词和动词必须一致，必须协调的事实。然后是更高层次的句子结构。然后是段落的主题结构。因此，存在这种递减的结构，你可以想象，随着网络规模的扩大，它们首先捕捉到非常简单的相关性，非常简单的模式。然后是其他模式的长尾。如果这个其他模式的长尾非常平滑，就像电阻器等物理过程中的1/f噪声一样，那么你可以想象，随着网络规模的扩大，它会捕获越来越多的这种分布。
因此，这种平滑性反映在模型的预测能力和性能上。语言是一个进化过程，对吧？我们发展了语言。我们有常用词和不常用词。我们有常用表达和不常用表达。我们有经常表达的想法、陈词滥调，也有新颖的想法。这个过程已经随着人类发展进化了数百万年。所以，这纯粹是推测，我的猜测是这些想法的分布存在某种长尾分布。
莱克斯：存在长尾，但也存在你正在构建的概念层次结构的高度。因此，网络越大，你可能拥有更高的容量。
阿莫迪： 没错。如果你有一个小型网络，你只能得到常见的东西，对吧？如果我使用一个微小的神经网络，它非常擅长理解，你知道，一个句子必须有动词、形容词、名词，对吧？但是它无法判断这些动词、形容词和名词应该是什么，以及它们是否应该有意义。如果我把它稍微放大一点，它就会擅长这一点。然后它突然擅长处理句子，但不擅长处理段落。因此，随着我增加网络的容量，这些更罕见、更复杂的模式就会被捕捉到。
莱克斯：那么，自然而然的问题是，这有什么上限？现实世界有多复杂？有多少东西需要学习？
阿莫迪：我认为我们没有人知道这个问题的答案。我的强烈直觉是，在人类水平以下没有上限，对吧？我们人类能够理解这些不同的模式。所以这让我认为，如果我们继续扩展这些模型，开发训练和扩展它们的新方法，至少可以达到我们人类已经达到的水平。然后还有一个问题，就是有可能比人类理解得更多吗？有可能比人类更聪明、更敏锐吗？我猜答案一定是依赖于领域的。
如果我考虑生物学这样的领域，我写过一篇题为《爱的机器》的文章，在我看来，人类正在努力理解生物学的复杂性，对吧？如果你去斯坦福、哈佛或伯克利，你会发现整个系的人都在努力研究免疫系统或代谢途径。每个人只理解其中的一小部分，专门研究一部分，他们正在努力将自己的知识与其他人的知识结合起来。
因此，我有一种直觉，人工智能在变得更聪明方面还有很大的空间。如果我考虑像物理世界中的材料，或者解决人类之间的冲突之类的事情，我的意思是，也许有些问题是棘手的，但更难解决。也许有些事情你只能做到一定程度，对吧？就像语音识别一样，我只能听清你的语音到一定程度。所以我认为，在某些领域，可能存在非常接近人类已经做到的事情的上限。在其他领域，这些上限可能非常遥远。我认为只有在我们构建这些系统之后才能发现。很难提前知道。我们可以推测，但我们无法确定。
莱克斯：在某些领域，上限可能与你所写的人类官僚机构等因素有关。是的。因此，人类必须从根本上参与其中。这是上限的原因，而不是智力的限制。
阿莫迪：是的，我认为在许多情况下，理论上技术可以快速变化。例如，我们可能会在生物学方面发明的所有东西。但是请记住，我们必须经历临床试验系统才能将这些东西实际应用于人类。我认为这是一个不必要的官僚主义和保护社会完整性的因素的混合体。整个挑战在于很难分辨。很难分辨发生了什么。很难分辨哪个是哪个。对吧。我的观点肯定是在药物研发方面，我认为我们太慢了，而且太保守了。但当然，如果你把这些事情搞错了，就有可能因为过于鲁莽而危及人们的生命。因此，至少有一些人类制度实际上是在保护人们。所以关键在于找到平衡。我强烈怀疑这种平衡更偏向于推动事情更快发生。但确实存在平衡。如果我们确实遇到了限制。
莱克斯：如果我们确实在缩放规律中遇到了减速，你认为原因是什么？是计算受限、数据受限？还是其他什么，想法受限？
阿莫迪： 好吧，几点想法。我们现在讨论的是在达到人类水平和技能之前碰到的限制。我认为当下流行的一个，而且我认为我们可能会遇到的一个限制（就像大多数限制一样，我更倾向于认为它不会成为限制，但这绝对有可能）是，我们可能会用尽数据。互联网上的数据量是有限的，而且数据质量也存在问题，对吧？你可以在互联网上找到数万亿字的数据，但其中很多都是重复的，或者是一些搜索引擎优化生成的废话，或者将来甚至可能是 AI 自己生成的文本。
所以我认为这种方式的产出是有限的。也就是说，我们，而且我猜想其他公司也在努力寻找方法来合成数据，你可以利用模型来生成更多你已经拥有的类型的数据，甚至可以从零开始生成数据。如果你想想 DeepMind 的 AlphaGo Zero 做了什么，他们成功地将一个机器人从完全不会下围棋，训练到超越人类水平，仅仅是通过与自身对弈。AlphaGo Zero 版本不需要任何人类提供的示例数据。
当然，另一个方向是这些推理模型，它们进行链式思考，停下来思考并反思自己的思考过程。从某种程度上说，这是一种结合了强化学习的另一种合成数据。所以我猜测，通过其中一种方法，我们将克服数据限制，或者可能会有其他可用的数据来源。我们可以观察到，即使数据没有问题，随着我们开始扩大模型规模，模型的性能提升也会停止。它们变得更好，这似乎是我们可靠的观察结果。但出于我们不理解的原因，这种情况在某个时刻可能会停止。答案可能是我们需要发明一些新的架构。过去曾出现过模型数值稳定性方面的问题，看起来性能提升趋于平缓，但实际上，当我们找到正确的解决方法后，情况并非如此。
因此，也许我们需要一些新的优化方法或一些新的技术来突破瓶颈。到目前为止，我还没有看到这方面的证据，但如果事情进展放缓，这可能是一个原因。
莱克斯： 那计算能力的限制呢？也就是说，建设越来越大的数据中心成本高昂的问题？
阿莫迪： 现在，我认为大多数处于前沿模型的公司，我猜想，运营成本都在大约 10 亿美元左右，上下浮动三倍左右，对吧？这些是现在已经存在或正在训练的模型。我认为明年，我们将达到数十亿美元的规模。然后到 2026 年，我们可能会超过 100 亿美元。可能到 2027 年，人们的目标是建设 1000 亿美元规模的集群。我认为所有这些都会发生。这个国家有很大的决心来建设所需的计算能力。我猜想这确实会发生。
现在，如果我们达到 1000 亿美元的规模，这仍然不够计算能力，规模仍然不够大，那么我们就需要更大的规模，或者我们需要开发一种更高效的方法来完成这项工作，来改变曲线。我认为，所有这些原因中，我之所以看好强大的 AI 发展如此迅速，其中一个原因就是，如果你推断曲线的下一个几点，我们将很快达到人类的能力水平，对吧？我们开发的一些新模型，一些来自其他公司的推理模型，它们开始达到我认为的博士或专业水平，对吧？如果你看看它们的编码能力，我们最新发布的模型 Sonnet 3.5，新的或更新的版本，在 SWE-Bench 上获得了大约 50% 的分数。SWE-Bench 是许多专业现实世界软件工程任务的例子。
在年初，我认为最先进的技术只有 3% 或 4%。所以在 10 个月内，我们在这项任务上的得分从 3% 提高到了 50%。我认为再过一年，我们可能会达到 90%。我的意思是，我不知道，甚至可能不到这个数字。我们在研究生水平的数学、物理和生物学中也看到了类似的情况，例如 OpenAI 的 O1 模型。因此，如果我们仅仅按照我们拥有的技能来推断，我认为如果我们推断这条直线曲线，几年内，这些模型的水平将超过人类最高专业水平。那么，这条曲线会继续下去吗？你提到了，我也提到了很多可能导致这种情况不会发生的原因。但如果外推曲线继续下去，这就是我们所处的轨迹。
莱克斯： Anthropic 有几个竞争对手。了解一下你对这一切的看法会很有趣。OpenAI、Google、XAI、Meta。从广义上讲，在这个领域取得胜利需要什么？
阿莫迪： 是的。所以我想区分几件事，对吧？所以，你知道，Anthropic 的使命是让这一切都能顺利进行，对吧？而且，你知道，我们有一个叫做“向顶端竞争”的变革理论，对吧？“向顶端竞争”是关于尝试通过树立榜样来推动其他参与者做正确的事情。这并不是要成为好人。而是要创造一种局面，让大家都能成为好人。
我将举几个例子来说明这一点。在 Anthropic 发展的早期，我们的联合创始人之一 Chris Ola（我相信你很快就会采访他），他是机制可解释性领域的联合创始人，这是试图理解 AI 模型内部发生的事情的一种尝试。因此，我们让他和我们早期的一个团队专注于可解释性领域，我们认为这对于使模型安全和透明非常重要。三四年来，这没有任何商业应用价值。直到今天仍然如此。我们正在进行一些早期的测试，而且它最终可能会被应用。但是，你知道，这是一个非常非常长期的研究赌注，我们公开进行并公开分享我们的研究成果。我们这样做是因为我们认为这是使模型更安全的一种方式。
一件有趣的事情是，随着我们这样做的，其他公司也开始这样做。在某些情况下，是因为他们受到了启发。在某些情况下，是因为他们担心如果其他看起来更负责任的公司这样做，他们也想要显得更负责任。没有人想看起来像不负责任的参与者。因此，他们也采用了这种方法。当人们来到 Anthropic 时，可解释性往往是一个吸引点。我会告诉他们，你没有去其他地方的原因，告诉我你为什么来这里。然后你很快就会看到其他地方也有可解释性团队了。从某种程度上来说，这剥夺了我们的竞争优势，因为这就像，“哦，现在其他人也在做这件事了”，但这对整个系统是有益的。
因此，我们必须发明一些我们正在做而其他人没有做的事情。希望能够基本上提高做正确事情的重要性。这不是关于我们，对吧？这不是关于拥有一个特殊的好人。其他公司也可以做到这一点。如果他们加入这场竞赛，那就太好了，对吧？这是关于塑造向上发展的激励，而不是塑造向下发展的激励。
莱克斯： 我们应该说，机制可解释性这个例子只是一个严谨的、非含糊其辞的 AI 安全方法。或者说，它正朝着这个方向发展。
阿莫迪： 我们正在努力尝试。我的意思是，我认为我们目前对这些系统的理解还处于早期阶段，但我对我们能够深入这些系统内部并理解我们所看到的内容感到惊讶，对吧？这与规模法则不同，规模法则感觉像是存在某种规律，导致这些模型性能更好。在内部，模型并非如此，你知道，没有理由要求它们的设计是为了让我们理解它们，对吧？它们的设计是为了运行，是为了工作，就像人脑或人体生物化学一样。
它们的设计并非为了让人类打开舱门，窥视内部并理解它们。但我们发现，你可以跟克里斯更详细地讨论这个问题，当我们打开它们，当我们查看它们内部时，我们会发现一些令人惊讶的有趣的东西。并且，作为副作用，你还可以看到这些模型的美感。
莱克斯： 并且，作为副作用，你还可以看到这些模型的美感。
阿莫迪：我惊叹于它的简洁性。我惊叹于诸如归纳头之类的结构。我惊叹于我们能够使用稀疏自动编码器在网络中找到这些方向，并且这些方向对应于非常清晰的概念。我们用Golden Gate Claude做了一个演示。这是一个实验，我们发现神经网络某一层内的一个方向对应于金门大桥。我们只是调高了这个方向的权重。然后我们将这个模型作为一个演示发布。它作为玩笑持续了一两天，但这说明了我们开发的方法。你可以用金门大桥，你可以用这个模型，你可以问它任何问题。你可以说，“你今天过得怎么样？”，你问什么，因为这个特征被激活了，它都会与金门大桥联系起来。所以它会说，“我感觉轻松而开阔，就像金门大桥的拱门一样”。
莱克斯： 它会巧妙地将话题转向金门大桥，并将其融入其中。它对金门大桥的关注也带有一些悲伤。我认为人们很快就爱上了它。我想人们已经开始怀念它了，因为它好像在一天后就被下线了。
阿莫迪： 这些对模型的干预，你调整它的行为方式，不知何故在情感上让它看起来更像人类，是的，比模型的任何其他版本都更像人类，有着强烈的个性，强烈的个性，它有这种痴迷的兴趣，我们都能想到一些沉迷于某件事的人，所以它确实让它感觉更像人了……
莱克斯： 让我们谈谈现在，让我们谈谈Claude。所以今年发生了很多事情。三月份，Claude3、Opus、Sonnet、Haiku发布了。然后七月份发布了Claude3.5、Sonnet，现在刚刚发布了更新版本。然后Claude3.5、Haiku也发布了。你能解释一下Opus、Sonnet和Haiku之间的区别，以及我们应该如何看待这些不同的版本吗？
阿莫迪： 是的。让我们回到三月份，当时我们第一次发布这三个模型。我们的想法是，不同的公司生产各种大小、好坏不同的模型。我们认为，人们既需要一个非常强大的模型（可能运行速度较慢，需要支付更多费用），也需要快速廉价的模型，这些模型在速度和价格方面尽可能地智能，对吧？每当你想做一些困难的分析时，比如，我想编写代码，或者我想集思广益，或者我想进行创意写作，我都会想要一个非常强大的模型。
但是，在商业意义上，有很多实际应用，例如，我正在与一个网站互动，或者我在做税务，或者我正在与法律顾问交谈，我想分析一份合同，或者有很多公司只是想在我的IDE上进行自动完成之类的操作。对于所有这些事情，你希望它运行速度很快，并且能够广泛地使用该模型。所以我们想满足所有这些需求。所以我们最终采用了这种诗歌（Sonnet）主题。那么，什么是非常短的诗歌呢？是俳句。所以俳句（Haiku）就是一个小型、快速、廉价的模型，它在当时对于其速度和价格而言，令人惊讶地智能。Sonnet是一首中等长度的诗歌，对吧，几段话。所以Sonnet是中等大小的模型。它更智能，但也更慢，更贵一些。Opus，就像巨著一样，Opus是当时最大、最智能的模型。这就是最初的想法。
然后我们的想法是，每一代新模型都应该改变这种权衡曲线。所以当我们发布Sonnet 3.5时，它的成本和速度与Sonnet 3模型大致相同，但是它的智能得到了提升，比原来的Opus 3模型更智能，尤其是在代码方面，而且总体上也是如此。所以现在，我们已经展示了Haiku 3.5的结果。我相信Haiku 3.5，这个最新的最小模型，与Opus 3，这个最大的旧模型一样好。所以基本上，这里的目标是改变曲线。然后在某个时候，就会有Opus 3.5。现在每一代新模型都有它自己的特点。它们使用新的数据，它们的个性以我们试图引导但无法完全引导的方式发生变化。
因此，从来不会存在完全等效的情况，你唯一改变的就是智能。我们总是试图改进其他方面，有些东西在我们不知情或未测量的情况下也会发生变化。所以在很多方面，这并不是一门精确的科学，这些模型的方式和个性更像是一种艺术，而不是科学。
莱克斯： 那么，例如，在Claude Opus 3.0和3.5之间的时间跨度的原因是什么？如果可以的话，你能谈谈是什么原因导致了这段时间吗？
阿莫迪：是的。所以，这其中有很多不同的流程。有预训练阶段，也就是普通的语言模型训练，这需要很长时间。现在通常需要数万甚至数万个GPU、TPU或其他类型的加速芯片，往往需要训练数月。然后是后训练阶段，我们会进行基于人类反馈的强化学习以及其他类型的强化学习。这个阶段现在越来越重要，而且往往缺乏精确的科学方法，需要不断努力才能获得理想的结果。之后，我们会与一些早期合作伙伴一起测试模型的性能，并在内部和外部进行安全测试，特别是针对灾难性和自主性风险。
我们会根据我们的负责任扩展策略进行内部测试，这方面我可以详细说明。然后，我们与美国和英国人工智能安全研究所以及其他特定领域的第三方测试机构达成协议，对模型进行所谓的CBRN风险（化学、生物、放射性和核）测试。我们目前认为模型不会构成严重的这些风险，但我们会对每个新模型进行评估，看看我们是否正在接近这些更危险的能力。这些就是各个阶段。
然后，还需要一些时间来使模型在推理方面正常工作并在API中上线。所以，要真正使模型发挥作用，需要很多步骤。当然，我们一直在努力使流程尽可能精简，我们希望安全测试既严格又高效，能够在不影响严格性的前提下尽可能快速地完成。预训练和后训练过程也是如此。这就像建造其他任何东西一样，就像建造飞机一样，既要保证安全，又要简化流程。我认为这之间的创造性张力对于模型的成功至关重要。
莱克斯：坊间传闻，我忘了是谁说的，Anthropic的工具非常棒。所以，这里面临的很多挑战可能都在软件工程方面，即构建工具以实现与基础设施的高效、低摩擦交互。
阿莫迪：你会惊讶地发现，构建这些模型的挑战有多少归结于软件工程、性能工程。从外部来看，你可能会认为，哦，我们取得了突破性的进展，我们发现了什么科学原理，我们解决了问题。但是，我认为所有的事情，即使是令人难以置信的发现，最终都取决于细节，而且往往是极其枯燥的细节。我无法评论我们的工具是否比其他公司更好，毕竟我没有在那些公司工作过，至少最近没有。但这绝对是我们非常重视的事情。
莱克斯：我不知道你是否能说，从Claude 3到Claude 3.5，是否进行了额外的预训练？或者主要集中在后训练上？性能上有了飞跃。
阿莫迪：是的，我认为在任何阶段，我们都专注于同时改进所有方面。只是自然而然地，不同的团队会取得不同领域的进展，使他们负责的接力赛段更好。当我们创建一个新模型时，很自然地会同时加入所有这些改进。
莱克斯：所以你拥有的数据，比如你从RLHF获得的偏好数据，是否适用？随着你训练的进行，是否有办法将它应用到新的模型上？
阿莫迪：旧模型的偏好数据有时会用于新模型，尽管，当它在新模型上训练时性能会更好一些。需要注意的是，我们使用了这种宪法人工智能方法，因此我们不仅使用偏好数据。还有一个后训练过程，我们让模型与自身对抗训练。而且每天都会使用新型的模型自对抗训练方法。所以不仅仅是RLHF，还有很多其他的方法。我认为后训练正在变得越来越复杂。
莱克斯：那么，是什么解释了新的Claude 3.5在性能上的巨大飞跃呢？至少在编程方面是这样。也许这是一个讨论基准的好地方。变得更好意味着什么？只是数字上升了。但是，你知道，我会编程，而且我也喜欢编程。我用Claude 3.5辅助我编程，至少从经验上来说，它在编程方面变得更聪明了。那么，需要什么才能让它更聪明。
阿莫迪： 顺便说一下，我们也观察到了这一点。Anthropic公司内部有几位非常优秀的工程师，他们表示之前的所有代码模型，无论是我们公司生产的还是其他公司生产的，对他们来说都没有什么用处。他们说，也许这对初学者有用，但对我没用。
但是Claude 3.5（最初版本）第一次让他们说，“我的天哪，这帮我解决了一个需要花几个小时才能完成的事情。这是第一个真正为我节省时间的模型。”所以，水位线正在上升。我认为新的Claude 3.5甚至更好。至于需要什么，我会说它涵盖了所有方面。包括预训练、后训练以及我们进行的各种评估。我们也观察到了这一点。如果我们深入讨论基准测试的细节，SWE基准测试基本上，既然你是一个程序员，你就会熟悉拉取请求，拉取请求就像工作的一个基本单元。
你可以说，我正在实现某件事。SWE基准测试实际上为你提供了一个现实世界的场景，代码库处于当前状态，我试图实现用语言描述的内容。我们有内部基准测试来衡量同样的事情。你会说，让模型随意运行任何东西，编辑任何东西，它完成这些任务的能力如何？正是这个基准测试的结果从3%上升到了大约50%。实际上，我相信如果我们能够达到这个基准测试的100%，并且不会对这个特定基准测试过度训练或进行游戏，那么这可能代表了编程能力的真正和严重的提升。我怀疑如果我们能达到90%、95%，它将代表能够自主完成相当一部分软件工程任务的能力。
莱克斯：好了，一个荒唐的问题：Claude 3.5何时发布？
阿莫迪：我不会告诉你确切的日期，但是，据我们所知，计划仍然是发布Claude 3.5。
莱克斯： 我们会在《GTA6》之前获得它吗？
★GTA6 指的是 Grand Theft Auto VI，也就是侠盗猎车手 6。它是 Rockstar Games 正在开发的一款开放世界动作冒险游戏，是广受欢迎的侠盗猎车手系列的下一部作品。
阿莫迪： 就像《辐射：新维加斯》一样。那款游戏怎么样？
莱克斯： 有一款游戏延迟了15年。是《辐射：新维加斯》吗？是的。我认为《GTA》现在才开始发布预告片。
阿莫迪： 要知道，我们发布第一个Sonnet才三个月。
莱克斯： 是的，这速度真是不可思议。
阿莫迪： 这就说明了发布节奏和人们对发布时间的预期。
莱克斯： 那么4.0呢？随着这些模型越来越大，你如何看待版本控制？以及一般的版本控制，为什么Sonnet 3.5用日期更新？为什么不是Sonnet 3.6？
阿莫迪： 是的，命名实际上是一个很有趣的挑战，对吧？因为我认为一年前，模型大部分都是预训练的。所以你可以从头开始，然后说，好吧，我们将拥有不同大小的模型。我们将把它们一起训练。然后，你知道，我们将有一系列命名方案，然后我们将注入一些新的魔力。然后，你知道，我们将拥有下一代。当其中一些模型的训练时间比其他模型长得多时，麻烦就开始了，对吧？这已经有点打乱了你的时间安排。
但是，当你对预训练做出重大改进时，你突然会注意到，哦，我可以制作更好的预训练模型，而且这不需要花费很长时间。但是，你知道，它显然与之前的模型具有相同的大小和形状。因此，我认为这两者以及时间问题，无论你想出什么方案，现实往往都会破坏这个方案，对吧？它往往会打破这个方案。这不像软件那样，你可以说，哦，这是3.7版，这是3.8版。不，你拥有具有不同权衡的模型。你可以更改模型中的某些内容。你可以训练，你可以更改其他内容。有些推理速度更快，有些速度更慢。有些必须更昂贵，有些必须更便宜。
所以我认为所有公司都在为此而苦恼。我认为我们，你知道，我认为我们在命名方面处于一个良好的位置，当时我们有Haiku、Sonnet和Opus。这是一个很好的开始。我们正在努力维持它，但它并不完美。所以我们将努力恢复简单性，但这是领域的本质，我觉得没有人想出过完美的命名方法。它在某种程度上与普通的软件不同。因此，没有哪家公司在这方面做得完美。这是我们相对于训练模型的宏伟科学来说，令人惊讶地非常苦恼的事情。所以从用户方面来看，更新后的Sonnet 3.5的用户体验与之前的2024年6月Sonnet 3.5完全不同。
莱克斯： 最好想出一个能体现这一点的标签，因为人们谈论Sonnet 3.5，但现在又出现了一个不同的版本。那么，当有明显的改进时，你如何区分之前的版本和新版本呢？这使得关于它的讨论具有挑战性。
阿莫迪： 是的，是的。我绝对认为这个问题是，模型的许多特性并没有反映在基准测试中。我认为情况确实如此，而且每个人都同意这一点。而且并非所有这些都是能力。有些是，你知道，模型可以很礼貌或很粗鲁。它们可以非常反应迅速，也可以问你问题。
它们可能拥有感觉温暖或冷漠的个性。它们可能很无聊，也可能非常有特色，就像Golden Gate Claude一样。我们有一个团队专注于，我认为我们称之为Claude的性格。Amanda领导着这个团队，我们会和你谈谈这个。但这仍然是一门非常不精确的科学。我们经常发现模型有一些我们不知道的特性。
事实上，你可以与一个模型对话一万次，但有些行为你可能看不到。就像人类一样，对吧？我可以认识某人几个月，却不知道他们拥有某种技能，或者不知道他们有某一方面。所以我认为我们必须习惯这个想法，我们一直在寻找更好的方法来测试我们的模型，以展示这些能力，并决定我们希望模型拥有哪些个性特征，以及我们不希望它拥有哪些个性特征。这本身，规范性问题也很有趣。
莱克斯： 我必须问你一个来自Reddit的问题。
阿莫迪： 来自Reddit的？哦，天哪。
莱克斯： 你知道，至少对我来说，这是一个令人着迷的心理社会现象，人们报告说，随着时间的推移，Claude对他们来说变得越来越笨了。所以问题是，用户抱怨Claude 3-5 Sonnet变笨了的说法是否站得住脚？这些轶事报告是一种社会现象，还是有任何情况下Claude会变笨？
阿莫迪： 这其实并不适用。这不仅仅是关于Claude的问题。我相信我已经看到过针对每一家大型公司生产的基础模型的这些抱怨。人们对GPT-4说过这话，对GPT-4 Turbo也说过这话。所以有两点。第一，模型的实际权重，也就是模型的大脑，除非我们引入一个新模型，否则不会改变。从实际角度来看，随机替换新版本的模型有很多原因说不通。从推理的角度来看，这很难，而且实际上很难控制改变模型权重带来的所有后果。假设你想微调模型，比如，我不知道，让它说得更肯定一些（旧版本的Sonnet曾经这样做过），你实际上最终也会改变一百件事。所以我们为此制定了整个流程，我们也有一个修改模型的完整流程。我们对其进行了大量测试，并对用户进行了大量测试，包括早期用户。所以我们从未在未告知任何人的情况下更改过模型的权重。
当然，在目前的设置下，这样做是没有意义的。现在，我们偶尔会做几件事。一个是，有时我们会进行A/B测试。但是，这些测试通常在模型发布前后很短的时间内进行，并且只针对一小部分用户。例如，在新的Sonnet 3.5发布前一天——我同意，我们应该有一个更好的名字，这样称呼很笨拙——有些人评论说，它已经好多了，那是因为一小部分用户接触到了为期一两天A/B测试的结果。另一个是系统提示有时会更改。系统提示可能会产生一些影响，尽管它不太可能使模型变“愚蠢”，也不太可能让它们变笨。我们已经看到，虽然我列出的这两件事发生频率相对较低，但针对我们和其他模型公司关于模型变化的抱怨——模型在这一点上不好，模型审查更多了，模型变笨了——这些抱怨是持续不断的。
所以，我不想说人们是在凭空想象这些东西，但模型在大多数情况下并没有发生变化。如果我提出一个理论，我认为这实际上与我之前说过的一件事有关，那就是模型非常复杂，并且具有许多方面。因此，如果你问我一个问题，例如，如果我说“执行任务X”与“你能执行任务X吗”，模型可能会以不同的方式回应。所以，你可以改变与模型交互方式的各种细微之处，从而得到截然不同的结果。
需要明确的是，这本身就是我们和其他模型提供商的失败之处，因为模型通常对措辞的细微变化非常敏感。这也是这些模型的工作原理方面的科学研究非常不完善的又一个方面。所以，如果我睡了一觉，我以前是以某种方式与模型交谈，然后我稍微改变了与模型交谈的方式，我可能会得到不同的结果。所以这就是一种可能的情况。另一件事是，很难量化这些东西。我认为人们在新的模型发布时会非常兴奋。然后随着时间的推移，他们会非常清楚地意识到其局限性。这可能是另一个影响因素。但这是一种非常冗长的说法，在大多数情况下，除了少数例外情况，模型并没有发生变化。
莱克斯： 我认为这是一种心理效应。你只是开始习惯它了。基准线提高了，就像人们第一次在飞机上使用Wi-Fi一样，感觉太棒了，简直是魔法。然后……
阿莫迪： 现在我却发现这玩意儿不好使，简直就是个垃圾。
莱克斯： 正确。所以很容易产生阴谋论，认为他们正在让Wi-Fi越来越慢。这可能是我会与Amanda更多讨论的内容，但另一个Reddit上的问题是：Claude什么时候才会停止试图扮演我那古板的祖母，并将它的道德观强加于我这个付费客户？此外，Claude过度道歉背后的心理学是什么？所以这种关于体验的报告，从不同的角度展现了这种挫败感。它与角色有关。
阿莫迪：好吧，关于第一个问题，我想说几点。比如，人们在Reddit、Twitter或X（或者其他平台）上说的话。实际上，人们在社交媒体上大声抱怨的内容与统计学意义上用户真正关心的内容之间存在巨大的分布差异，而这正是驱动人们使用这些模型的原因。人们对诸如模型无法写出所有代码、或者模型在代码方面不如它本该那么好（即使它是世界上最好的代码模型）之类的事情感到沮丧，我认为大部分的抱怨都是关于这些的。但肯定有一小部分人声音很大，他们提出了这些担忧，对模型拒绝它不应该拒绝的东西、过度道歉或存在一些令人讨厌的语言习惯感到沮丧。
第二个需要注意的地方，我需要非常清楚地说出来，因为我认为有些人不知道，有些人知道但会忘记：全面控制模型的行为非常困难。你不能直接介入并说：“哦，我希望模型少道歉一些”。你可以这么做，你可以加入训练数据，告诉模型少道歉。但随后在其他情况下，模型可能会变得非常粗鲁，或者以一种误导人的方式过于自信。所以这里面有很多权衡。例如，还有一点是，曾经有一段时间，我们的模型以及我认为其他公司的模型也一样，过于冗长，它们会重复自己，会说得太多。你可以通过惩罚模型说得太久来减少冗长。但如果你粗暴地这么做，会发生什么呢？当模型编写代码时，有时它们会说“剩下的代码写在此处”，因为它们已经学会了这是一种节省资源的方法，它们也这么认为。
然后，这会导致模型在编码方面变得所谓的“偷懒”，它们就像，“啊，剩下的部分你可以自己完成”。这并不是因为我们想节省计算资源，也不是因为模型在冬假期间偷懒，或者其他任何出现的阴谋论。实际上，控制模型的行为、在所有情况下同时引导模型的行为非常困难。这有点像“打地鼠”游戏，你敲打一个地方，其他的地方又会冒出来，你甚至可能注意不到或无法衡量。
因此，我如此关注未来这些AI系统的“宏观对齐”的原因之一是，这些系统实际上是相当不可预测的，它们实际上非常难以引导和控制。我们今天看到的版本是：你让一件事变得更好，另一件事就会变得更糟。我认为这是未来AI系统控制问题的当代类比，我们可以从今天开始研究这个问题。我认为引导模型行为的难度，以及确保我们推动AI系统朝着一个方向发展时，它不会以我们不希望的方式朝着另一个方向发展，我认为这是未来事情的一个早期预兆。如果我们能够很好地解决这个问题，比如你让模型制造和传播天花病毒，它会说“不”，但它愿意帮助你在研究生级别的病毒学课程中学习，那么我们如何同时做到这两点呢？这很难。很容易偏向一方或另一方。这是一个多维问题。
因此，我认为塑造模型“个性”的问题非常困难。我认为我们在这方面做得还不完美，我认为我们比所有AI公司做得都好，但仍然远未完美。我认为如果我们能做到这一点，如果我们能够控制在这个非常受控的当代环境中的假阳性和假阴性，那么在未来当我们担心模型是否会超级自主、是否能够制造非常危险的东西、是否能够自主建立整个公司以及这些公司是否与我们目标一致时，我们就能做得更好。所以，我认为这项当前的任务既令人苦恼，也是未来良好的实践。
莱克斯：目前收集用户反馈的最佳方法是什么？不是传闻数据(Anecdotal data)，而是关于痛点或痛点反面（积极方面）的大规模数据。是内部测试吗？是特定人群测试吗？A/B测试吗？
★Anecdotal data指的是轶事证据或传闻证据。它指的是基于个人经历、观察或传闻而非系统性研究或数据收集的证据。这些证据通常是主观的，并且可能无法代表更大的群体或现象。
阿莫迪：通常我们会进行内部模型“攻击”，Anthropic公司几乎有一千人，人们试图打破模型的限制，他们尝试以各种方式与它互动。我们有一套评估方法，比如，模型的拒绝方式是否不合理？我认为我们甚至有一个“当然”评估，因为，同样，在某个时候，模型存在一个问题，它有一个令人讨厌的习惯，它会用“当然，我可以帮你”，“当然，我很乐意这样做”，“当然，这是正确的”来回应各种各样的问题。因此，我们有一个“当然”评估，即模型多久说一次“当然”？但这只是一个“打地鼠”游戏。如果它从“当然”改为“绝对地”会怎么样？所以每次我们添加一个新的评估指标时，我们都会对所有旧的指标进行评估，所以我们有数百个这样的评估，但我们发现没有任何方法可以替代人类与模型的互动。所以它非常类似于普通的软件开发流程。Anthropic内部有数百人对模型进行“攻击”。
然后我们进行外部A/B测试。有时我们会与承包商一起进行测试，我们付费让承包商与模型互动。将所有这些方法结合起来，仍然不完美。你仍然会看到你并不想看到的行为，对吧？你仍然会看到模型拒绝一些它根本不应该拒绝的东西。但我认为，尝试解决这一挑战，尝试阻止模型做出大家一致认为它不应该做的事情，这是一个挑战。大家都同意模型不应该谈论儿童虐待材料，大家都同意模型不应该这样做。但与此同时，它不会以愚蠢的方式拒绝。我认为尽可能清晰地界定这条界限，并力求完美，仍然是一个挑战，我们每天都在取得进步，但还有很多问题需要解决。再说一次，我想指出这预示着未来在引导更强大的模型方面面临的挑战。
莱克斯： 你认为Claude 4会发布吗？
阿莫迪： 知道是否会发布，我不想承诺任何命名方案，因为如果我说，如果我说我们明年将会推出Claude 4，然后，然后你知道，然后我们决定应该从头开始，因为出现了一种新型模型，我不想承诺。在正常的业务流程中，我预计Claude 4 会在 Claude 3.5 之后推出，但是，你知道，在这个古怪的领域，你永远不知道，对吧？
我们正在持续扩展规模。规模扩张仍在继续。我们未来肯定会有比现有模型更强大的模型问世。这是确定的。如果做不到，那我们公司就彻底失败了。
莱克斯： 好的，你能解释一下你们的负责任的扩展策略以及人工智能安全级别标准，也就是ASL级别吗？
阿莫迪： 尽管我对这些模型的益处感到兴奋，如果我们谈论“充满爱意的恩典机器”（machines of loving grace），我们也会谈到这一点，但我仍然担心风险，而且持续担心。没有人应该认为我说“充满爱意的恩典机器”就意味着我不再担心这些模型的风险了。我认为它们是同一枚硬币的两面。模型的强大功能及其解决生物学、神经科学、经济发展、治理与和平以及经济大部分领域问题的潜力，也伴随着风险。能力越大，责任越大。两者是相辅相成的。强大的事物既能做好事，也能做坏事。
我认为这些风险属于几个不同的类别。也许我考虑到的两个最大风险是（这并不是说今天的风险不重要），但当我想到那些会发生在最大规模的事情时，一个是所谓的灾难性误用。这些是在网络、生物、放射性、核等领域对模型的误用，对吧？如果真的出了问题，这些事情可能会伤害甚至杀死成千上万，甚至数百万的人。嗯，这些是预防的重中之重。在这里，我想做一个简单的观察，那就是，如果我看看当今世界上做过坏事的人，嗯，我认为人类一直受到保护，原因在于真正聪明、受过良好教育的人与想要做极其可怕的事情的人之间的重叠通常很小。
比如说，比如说我是一个在这个领域拥有博士学位的人，我有一份高薪工作，嗯，我有太多东西要失去。为什么我还想，即使假设我完全邪恶，大多数人其实并非如此，嗯，为什么这样的人会冒着风险，冒着他们的，你知道的，冒着他们的生命危险，冒着他们的遗产、名誉的危险去做一些真正邪恶的事情呢？如果像这样的人多得多，这个世界将会危险得多。因此，我的担忧是，人工智能作为一个更智能的代理，可能会打破这种关联。所以我确实对此非常担心。我相信我们可以预防这些担忧。但是，你知道的，我想作为对“充满爱意的恩典机器”的一个补充，我想说的是，这仍然是严重的风险。
第二个风险范围是自主性风险，也就是模型可能会自行其是，特别是当我们赋予它们比过去更多的自主权时，特别是当我们让它们监督更广泛的任务时，例如编写完整的代码库，或者将来甚至有效地运营整个公司，它们的“缰绳”很长。它们是否真的在做我们想让它们做的事情？即使要详细了解它们在做什么，更不用说控制它们了，都非常困难。就像我说的，早期迹象表明，很难完美地界定模型应该做的事情和模型不应该做的事情之间的界限，如果你偏向一边，你会得到一些令人讨厌且无用的东西，而如果你偏向另一边，你会得到其他的行为。如果你修复了一件事，它会产生其他的问题。我们越来越擅长解决这个问题。我不认为这是一个无法解决的问题。我认为这是一门科学，就像飞机的安全、汽车的安全或药物的安全一样。
我不认为我们错过了什么重大的东西。我认为我们只需要更好地控制这些模型。所以，这就是我担心的两个风险。
而我们的负责任扩展计划（responsible scaling plan，RSP），我承认这是对您问题的冗长回答，我喜欢它，我喜欢它，我们的负责任扩展计划旨在应对这两种类型的风险。因此，每当我们开发一个新模型时，我们都会测试它是否能够做这两件坏事。所以，如果我稍微回顾一下，我认为我们面临着人工智能系统的一个有趣困境，那就是它们还没有强大到足以阻止这些灾难。我不知道，我不知道它们是否能够阻止这些灾难。它们可能无法做到，但是，担忧的理由，风险的理由足够充分，以至于我们应该现在就采取行动。而且，它们正在变得越来越好，非常非常快。对，我，你知道的，我在参议院作证时说，我们可能在两到三年内面临严重的生物风险。那是大约一年前的事了。事情进展迅速。所以我们面临的情况是这样的：解决这些风险非常困难，因为它们今天并不存在。它们不存在。它们就像幽灵，但它们正以如此快的速度向我们逼近，因为模型的改进速度如此之快。
莱克斯：那么，你如何应对今天不存在，但正在快速逼近我们的事情呢？
阿莫迪：所以，我们与Meter组织和Paul Cristiano等人士合作想出的解决方案是，好的，你需要的是一些测试来告诉你风险何时临近。你需要一个预警系统。因此，每当我们有一个新模型时，我们都会测试它执行CBRN任务的能力，以及它自行自主执行任务的能力。在我们一两个月前发布的最新版本的RSP中，我们测试自主性风险的方法是评估人工智能模型自行进行人工智能研究的能力，当人工智能模型能够进行人工智能研究时，它们就变得真正自主了。这个阈值对于其他许多方面也很重要。
那么，我们该如何处理这些任务呢？RSP基本上开发了我们所谓的“如果-那么”结构，即如果模型通过一定的性能指标，那么我们就对其施加一定的安全要求。今天的模型被称为ASL-2。ASL-1用于明显不构成任何自主性或误用风险的系统。例如，一个下棋机器人，深蓝，就是ASL1。很明显，你不能用深蓝做除了下棋以外的事情。它只是为下棋而设计的。没有人会用它来进行高超的网络攻击，或者在世界各地肆虐并接管世界。
ASL2是今天的AI系统，我们已经对它们进行了测量，我们认为这些系统还不够智能，无法自主自我复制或执行许多任务，而且也不够智能，无法提供超出通过谷歌搜索可以获得的关于CBRN风险以及如何制造CBRN武器的有意义的信息。事实上，有时它们确实会提供信息，但不会超过搜索引擎所能提供的，也不会以可以拼接起来的方式提供。嗯，不会，不会以端到端的方式危险到足以构成威胁。
所以，ASL3将是模型足够有用以增强非国家行为者能力的点，对吧？国家行为者已经能够做到很多事情，不幸的是，它们已经能够以很高的熟练程度完成许多非常危险和具有破坏性的事情。区别在于非国家行为者不能做到这一点。因此，当我们达到ASL3时，我们将采取特殊的安全预防措施，以防止非国家行为者窃取模型并滥用已部署的模型。我们将必须加强针对这些特定领域的过滤器。网络、生物、核。网络、生物、核和模型自主性，这与其说是误用风险，不如说是模型本身做坏事的风险。
ASL-4，达到这些模型能够增强知识渊博的国家行为者能力或成为此类风险的主要来源的程度。如果你想承担这样的风险，主要方法是通过模型。然后我认为ASL4在自主性方面，它是在人工智能模型的帮助下，人工智能研究能力一定程度上的加速。然后是ASL5，我们将到达模型能够真正有能力的程度，它可能在执行任何这些任务的能力上超过人类。因此，“如果-那么”结构承诺的重点基本上是说，看，我不知道。我已经使用这些模型多年了，多年来我一直担心风险。实际上，狼来了的喊叫声是很危险的。实际上，说这个模型有风险也是很危险的。人们看着它，他们说这显然并不危险。再说一次，这种微妙的风险现在还不存在，但它正迅速逼近我们。你如何应对呢？对于风险规划者来说，处理这个问题非常棘手。
因此，这种“如果-那么”结构基本上是说，看，我们不想激怒很多人。我们不想通过对今天不危险的模型施加这些非常繁重的负担来损害我们自己的，你知道的，我们参与对话的能力。因此，“如果-那么”，触发承诺基本上是一种应对方法。它说，当你可以证明模型很危险时，你就严厉打击。当然，随之而来的必须是，你有足够的缓冲阈值，以至于你不会有错过危险的高风险。这不是一个完美的框架。我们不得不改变它。就在几周前，我们发布了一个新的框架，而且可能在将来，我们每年可能会发布多个新框架，因为从技术上、组织上和研究的角度来看，很难制定这些策略。但这就是提议。“如果-那么”承诺和触发器，目的是最大限度地减少现在的负担和误报，但在危险出现时做出适当的反应。
莱克斯： 你认为ASL三级（触发多个触发器的级别）的时间线是什么样的？你认为ASL四级的时间线又是什么样的？
阿莫迪：是的。这在公司内部引起了激烈的讨论。我们正在积极努力准备ASL3的安全措施以及ASL3的部署措施。我不会详细说明，但我们在两方面都取得了很大进展，我认为我们很快就能准备好。如果我们明年达到ASL3，我一点也不会感到惊讶。有些人担心我们甚至今年就能达到，这仍然有可能发生。很难说，但我非常非常惊讶如果要到2030年才能实现。我认为时间会比这快得多。
莱克斯：所以，有检测它的协议（if-then条件语句），也有如何应对它的协议。是的，第二个，后者，第二个（应对协议）有多难？
阿莫迪：是的，我认为对于ASL3来说，主要关乎安全，以及在部署模型时对模型进行非常狭窄领域范围的过滤。因为在ASL3阶段，模型还不是自主的。因此，即使在内部部署，也不必担心模型本身会表现出不良行为。所以，我认为ASL3的措施，我不会说很简单，它们很严格，但更容易推理。我认为一旦我们达到ASL4，我们就会开始担心模型足够聪明，以至于它们可能会故意拖延测试，可能会在测试中不说实话。我们得到了一些关于“睡眠特工”的结果，最近还有一篇论文讨论了模型是否能够误导试图故意降低自身能力的尝试，对吧？展现出比实际能力更弱的样子。
因此，我认为对于ASL4，除了与模型交互之外，还需要使用其他方法。例如，可解释性或隐藏的思维链，你需要查看模型内部并通过其他机制来验证，这不会轻易被模型所说的内容所破坏，也就是说，模型确实具有一些特性。我们仍在研究ASL4。RSP的一个特性是，在我们达到ASL3之前，我们不会指定ASL4。我认为这是一个明智的决定，因为即使是ASL3，也很难详细了解这些东西。我们希望尽可能多地花时间把这些事情做好。
莱克斯：所以对于ASL三级，恶意行为者将是人类。
阿莫迪：是的，人类。
莱克斯：所以还有一点……
阿莫迪：对于ASL4，我认为两者都是。
莱克斯：两者都是，所以是欺骗，这就是机械可解释性发挥作用的地方。并且希望为此使用的技术不会被模型访问。
阿莫迪：是的，我的意思是，你当然可以将机械可解释性连接到模型本身，但是那样你就失去了它作为模型状态可靠指标的意义。你可以想到很多奇特的方式，它也可能不可靠。比如，如果模型足够聪明，它可以跳跃计算机并读取你查看其内部状态的代码。我们已经考虑过其中一些。我认为它们足够奇特，有一些方法可以降低它们的可能性。但是，一般来说，你希望将机械可解释性保留为一种与模型的训练过程分离的验证集或测试集。
莱克斯：你看，我认为随着这些模型的对话能力越来越强，变得越来越聪明，社会工程也成为了一种威胁，因为他们会想——哦，是的。他们可以开始对公司内部的工程师们变得非常有说服力。
阿莫迪：哦，是的。事实上，你知道，我们一生中已经看到了很多人类煽动性的例子。而且，你知道，人们担心模型也可能这样做，也可能这样做。
莱克斯：Claude越来越强大的方式之一是它现在能够做一些自主的事情。计算机使用，在claude.ai本身的沙箱中也有一些分析，但让我们谈谈计算机使用。在我看来，这非常令人兴奋，你可以只给Claude一个任务，它会采取一系列行动，弄清楚，并且它可以通过屏幕截图访问你的计算机。那么，你能解释一下它是如何工作的以及它的发展方向吗？
阿莫迪：是的，其实相对简单。自3月份的Claude 3以来，Claude 就具备了分析图像并用文本回应的能力。我们唯一新增的功能是，这些图像可以是电脑屏幕截图。作为回应，我们训练模型在屏幕上给出可以点击的位置，或者给出可以按下的键盘按键以采取行动。事实证明，实际上只需要少量额外的训练，模型就能在这项任务上做得相当好。这是一个泛化能力的很好例子。
人们有时说，如果你到达近地轨道，就相当于到达了任何地方的一半路程，因为逃逸重力井需要付出巨大的代价。如果你有一个强大的预训练模型，我觉得你在智力空间上也相当于到达了任何地方的一半路程。所以，让Claude做到这一点实际上并没有花费太多努力。你可以将其设置为循环，给模型一个屏幕截图，告诉它点击什么，再给它下一个屏幕截图，告诉它点击什么。这样就变成了模型的一种近乎3D视频交互的完整过程。它能够完成所有这些任务，对吧？我们展示了这些演示，它能够填写电子表格，能够与网站交互，能够打开各种各样的程序，不同的操作系统，Windows、Linux、Mac。
所以，我认为所有这些都非常令人兴奋。我要说的是，理论上，你在这里能够做到的任何事情，你都可以通过仅仅向模型提供驱动电脑屏幕的API来做到，但这确实降低了门槛。而且，你知道，很多人要么没有能力与这些API交互，要么需要很长时间才能做到。屏幕只是一个更容易交互的通用界面。因此，我预计随着时间的推移，这将降低许多障碍。现在，老实说，当前的模型还有很多不足之处。我们在博客中也诚实地提到了这一点，对吧？它会犯错，会误点。我们小心翼翼地警告人们：嘿，这个东西不能让它在你的电脑上运行好几分钟。你必须给它设置边界和防护措施。我认为这就是我们首先以API形式发布它而不是，你知道，直接交给消费者并让它控制他们的电脑的原因之一。
但是，我认为随着模型越来越强大，让这些能力展现出来非常重要。我们将不得不努力解决如何安全地使用这些能力，如何防止它们被滥用。我认为，在能力仍然有限的情况下发布模型，对于做到这一点非常有帮助。我认为，自从它发布以来，许多客户，我认为Replit可能是部署速度最快的客户之一，已经以各种方式使用了它。人们已经为Windows桌面、Mac、Linux机器连接了演示。所以，是的，它一直非常令人兴奋。我认为，与其他任何事情一样，它带来了令人兴奋的新能力，然后，随着这些令人兴奋的新能力的出现，我们必须考虑如何使模型安全、可靠，并按照人类的意愿行事。我的意思是，对于任何事情都是一样的，对吧？同样的道理。是同样的张力。
莱克斯：但是这里用例的可能性范围令人难以置信。为了让它在未来更好地工作，你们还需要在预训练模型的基础上做多少特殊的工作？进行更多的后期训练、RLHF或监督微调，或者仅仅为代理生成合成数据？
阿莫迪：是的，我认为从宏观层面来说，我们的目标是继续大力投资，让模型变得更好。我认为，我们看到一些基准测试，之前的模型是，“它可以在6%的时间内做到”，而现在我们的模型可以在14%或22%的时间内做到。是的，我们希望达到80%、90%的人类水平可靠性，就像其他任何地方一样，对吧？我们正处于与SWE-bench相同的曲线中，我认为我猜想一年后，模型可以非常非常可靠地做到这一点。但必须从某个地方开始。
莱克斯：所以你认为有可能达到达到人类水平，90%基本上都在做你现在正在做的事情，还是必须针对电脑使用（computer use）进行专门设计？
阿莫迪：我的意思是，这取决于你所说的“专门”是什么意思。但是，总的来说，我认为，我们一直用来训练当前模型的相同技术，我希望这些技术能够像我们在代码、通用模型、图像输入、语音方面所做的那样，在这里也能扩展，就像在其他任何地方一样。
莱克斯：但这赋予了Claude行动的能力。因此，你可以做很多非常强大的事情，但你也可以造成很多损害。
阿莫迪：不，我们一直对此非常警惕。你看，我的观点是，电脑使用并非像CBRN或自主能力那样是一种根本性的新能力。它更像是为模型使用和应用其现有能力打开了视野。因此，我们思考这个问题的方式，回到我们的RSP，这个模型所做的任何事情都不会从RSP的角度固有地增加风险，但随着模型变得越来越强大，拥有这种能力可能会让它更可怕，一旦它拥有在ASL 3和ASL 4级别的认知能力，这可能是让它不受约束地做到这一点的事情。因此，展望未来，我们当然会在RSP中对这种交互模式进行测试，并将继续测试。我认为最好在模型超级强大之前，学习和探索这种能力。
莱克斯：是的，有很多有趣的攻击，比如提示注入，因为现在你已经拓宽了视野，所以你可以通过屏幕上的内容进行提示注入。因此，如果这变得越来越有用，那么向模型注入内容的好处就越来越多。如果它访问某个网页，它可能是无害的内容，例如广告，也可能是有害的内容，对吧？
阿莫迪：是的。我的意思是，我们已经考虑了很多事情，比如垃圾邮件、验证码、大规模营销。如果有一个秘密，我会告诉你，如果你发明了一种新技术，不一定是最大的滥用，但首先你会看到的是骗局，只是小骗局。这是一件古老的事情。而且每次你都必须处理它。这么说几乎有点傻，但这是真的。
莱克斯： 随着机器人和垃圾邮件变得越来越智能，它也成了一件大事。
阿莫迪：世界上有很多，就像我说的那样，有很多小偷小摸的罪犯，而且，你知道，每一种新技术都像是为这些小偷小摸的罪犯提供了一种新的作案方式，去做一些愚蠢又恶毒的事情。
莱克斯：有没有考虑过沙盒隔离？沙盒隔离的任务有多难？
阿莫迪：是的，我们在训练过程中使用了沙盒隔离。例如，在训练期间，我们没有让模型访问互联网。我认为在训练期间这样做可能是个坏主意，因为模型可能会改变其策略，改变其行为，并对现实世界产生影响。至于实际部署模型，这取决于具体的应用场景。有时你希望模型在现实世界中执行某些操作，但当然，你总是可以在外部设置一些防护措施，对吧？你可以说，“好吧，这个模型不会将数据从我的电脑或我的网络服务器移动到任何其他地方。” 但是，当谈到ASL4级时，这些预防措施就没有任何意义了，对吧？当谈到ASL4级时，理论上担心模型可能足够聪明，能够突破任何限制，逃出沙盒。因此，我们需要考虑机制可解释性，如果我们要使用沙盒，它需要具有数学上可证明的安全性，但这与我们今天处理的模型完全不同。
莱克斯：是的，构建一个ASL4 AI系统无法逃脱的沙盒的科学问题。
阿莫迪：我认为这可能不是正确的方法。我认为正确的方法不是去处理一些未对齐的、试图阻止其逃逸的东西。我认为最好是正确地设计模型，或者使用一个循环，在那里你可以查看模型内部，并能够验证其属性。这为你提供了一个迭代并最终使其正确的机会。嗯，我认为，遏制不良模型远不如拥有良好模型的解决方案有效。
莱克斯：让我问一下关于监管的问题。监管在保障AI安全方面扮演什么角色？例如，你能描述一下最终被州长否决的加州人工智能监管法案SB 1047吗？该法案的优缺点是什么？
阿莫迪：是的，我们最终对该法案提出了一些建议，其中一些被采纳了。而且，我认为我们对该法案持相当积极的态度。到最后，它仍然有一些缺点。当然，它最终被否决了。我认为，从宏观层面来看，该法案背后的一些关键思想与我们RSP（责任性系统原则）背后的思想相似。我认为，一些司法管辖区，无论是加州、联邦政府还是其他国家和州，通过类似的监管非常重要。我可以解释为什么我认为这如此重要。我对我们的RSP感觉良好。它并不完美，需要大量迭代，但它一直是促使公司认真对待这些风险、将它们纳入产品规划、真正使其成为Anthropic工作的核心部分，并确保Anthropic的近千名员工（现在几乎有千名员工）理解这是公司最重要的优先事项之一（如果不是最重要的优先事项）的有力推动力。
首先，一些公司仍然缺乏类似责任共享计划（RSP）的机制。例如，谷歌在Anthropic实施这些机制几个月后才采用。但其他一些公司根本没有这些机制。因此，如果一些公司采用了这些机制而另一些公司没有，就会造成一种情况：即使五家公司中有三家采取了安全措施，另外两家不采取安全措施，也会产生负外部性。我认为这种缺乏统一性对我们这些为谨慎考虑这些程序付出了巨大努力的人来说是不公平的。
第二点，我认为不能指望这些公司自行遵守这些自愿计划，对吧？我喜欢相信Anthropic会遵守，我们会尽一切努力遵守。我们的RSP受我们的长期利益信托的监督。因此，我们尽一切努力遵守我们自己的RSP。但你经常听到各种公司说，哦，他们说会投入这么多计算资源，但他们没有；他们说会做这件事，但他们没做。我认为对公司所做的特定事情进行诉讼是没有意义的。但我认为，如果没有任何监督机制来约束他们，也就没有办法监督我们这个行业，无法保证我们会做正确的事情，这是一个广泛的原则。而风险非常高。因此，我认为拥有一个每个人都遵循的统一标准非常重要，并确保行业能够做到大多数行业已经认同并表示肯定要做到的事情。
当然，有些人原则上反对监管。我理解他们这样做的原因。如果你去欧洲，你会看到诸如GDPR之类的规定，以及他们采取的其他措施。其中一些很好，但一些确实不必要地繁琐，我认为可以公平地说，这确实减缓了创新。所以我理解人们从先验的角度出发，理解为什么人们会从这个立场出发。但同样，我认为人工智能不同。如果我们谈到几分钟前我提到的自主性和滥用带来的非常严重的风险，我认为这些风险非同寻常，需要一个异常强烈的回应。
因此，我认为这一点非常重要。再说一次，我们需要一些每个人都能支持的东西。我认为SB 1047号法案的一个问题，特别是它的最初版本，是它包含了RSP的许多结构，但也包含了一些笨拙的内容，或者会造成很多负担、很多麻烦，甚至可能无法达到解决风险的目标。你在推特上听不到关于它的讨论。你只会听到人们为任何监管欢呼，而那些反对者则提出一些常常在智力上很不诚实的论点，例如，这将使我们远离加利福尼亚州（该法案不适用于总部设在加利福尼亚州的公司，只适用于在加利福尼亚州开展业务的公司），或者这会损害开源生态系统，或者这会导致所有这些事情。我认为这些大多是无稽之谈，但反对监管还有更好的理由。
有一位名叫Dean Ball的人，我认为他是一位非常有学问的分析师，研究的是法规实施后如何自行发展，或者如何设计不当。因此，我们的立场一直是，我们确实认为这个领域应该进行监管，但我们希望成为一个参与者，确保这种监管具有针对性，针对严重的风险，并且是人们能够真正遵守的。因为我认为监管的支持者没有充分理解的一点是，如果我们实施的措施目标不明确，浪费了很多人时间，那么将会发生的是，人们会说，看，这些安全风险，你知道的，这都是无稽之谈。我不得不雇佣10名律师来填写所有这些表格，我不得不为一些显然不危险的东西进行所有这些测试。六个月后，将会出现一股浪潮，最终我们将形成一个反对监管的持久共识。
因此，我认为那些希望真正问责制的人的最大敌人是设计糟糕的监管。我们需要真正把它做好。如果我能对支持者说一句话，那就是我希望他们更好地理解这种动态。我们需要非常谨慎，我们需要与那些实际拥有、那些实际拥有监管实施经验的人交谈。那些见过这种情况的人明白要非常谨慎。如果这是一个不太重要的问题，我可能根本就会反对监管。但我希望反对者们能够理解，根本问题实际上是严重的。这并不是我或其他公司因为监管寻租而编造出来的东西。它们不是科幻幻想。它们不是这些东西中的任何一样。每次我们有一个新的模型，每隔几个月，我们都会测量这些模型的行为。它们在这些令人担忧的任务上做得越来越好，就像它们在良好、有价值、经济上有用的任务上做得越来越好一样。
因此，如果一些最理性的反对者和一些最理性的支持者能够坐下来一起讨论，我会非常高兴。我认为，Anthropic是唯一一家以非常详细的方式表达积极态度的人工智能公司。我认为埃隆·马斯克在推特上简短地表达了一些积极的评论，但一些大型公司，如谷歌、OpenAI、Meta和微软，则非常坚决地反对。所以我真正希望的是，如果一些关键利益相关者，一些最深思熟虑的支持者和一些最深思熟虑的反对者能够坐下来说，我们如何才能以一种让支持者感到真正降低了风险，让反对者感到它并没有比必要情况更多地阻碍行业或阻碍创新的方式来解决这个问题。我认为，无论出于何种原因，事情变得过于两极分化，这两个群体没有像他们应该那样坐下来。我感到很紧迫。我真的认为我们需要在2025年做些什么。如果到了2025年底我们仍然对此无动于衷，那么我会感到担忧。我现在还不担心，因为风险还没有到来。但我认为时间不多了。
莱克斯： 并提出一些像你说的那样具有针对性的东西。
阿莫迪： 没错。我们需要摆脱这种激烈的“支持安全”与激烈的“反监管”的言辞，对吧？它已经变成了推特上的口水战，没有任何好处。
莱克斯： 所以大家对这场游戏中不同的参与者有很多好奇心。OpenAI是元老级公司之一。你在OpenAI工作过几年。你的经历和在那里工作的历史是什么？
阿莫迪：是的。我在OpenAI工作了大约五年。在最后几年，我担任那里的研究副总裁。可能我和Ilya Sutskever是真正设定2016年或2017年左右研究方向的人。当我第一次真正相信，或者至少证实我对规模假设的信念时，Ilya曾对我说过一句名言：“你需要理解这些模型的一点是，它们只想学习。模型只想学习。” 再次强调，有时候会有这样一些话，这些醍醐灌顶的句子，你听到它们的时候，你会想，啊，这解释了一切。这解释了我所见过的上千件事。然后，你知道，此后我脑海中一直有这样的画面：你以正确的方式优化模型，你以正确的方式引导模型，它们只想学习。它们只想解决问题，不管问题是什么。
莱克斯：所以基本上是不要妨碍它们。
阿莫迪：不要妨碍它们。是的，不要强加你自己的想法，关于它们应该如何学习。而且，你知道，这与Rich Sutton在《The Bitter Lesson》中提出的观点，或Gurren在《The Scaling Hypothesis》中提出的观点一样。我认为，总的来说，动态是这样的：我从Ilya和其他一些人那里获得了这种灵感，比如Alec Radford，他做了最初的GPT-1，然后我和我的合作者在GPT-2、GPT-3、来自人类反馈的强化学习（RLHF）方面非常努力地进行了推进，这是一种试图解决早期安全性和鲁棒性问题的尝试，诸如辩论和放大等技术，以及对可解释性的重视。所以，再次强调，安全性和规模化的结合，大概在2018年、2019年、2020年，这些年我和我的合作者（其中许多人后来成为Anthropic的联合创始人）真正拥有了远见，并引领了方向。
莱克斯：你为什么离开？你为什么决定离开？
阿莫迪：是的。所以，我要这样说。而且，你知道，我认为这与，与，与这场“攀登顶峰的竞赛”有关，对吧。也就是说，在我OpenAI工作的这段时间里，我逐渐理解了规模假设，也逐渐理解了安全性和规模假设同等重要，我认为OpenAI正在接受第一点。第二点某种程度上一直是OpenAI宣传的一部分。但在我在那里的几年时间里，我认为我对如何处理这些事情，如何将这些技术推向世界，以及组织应该遵循的原则，有着特别的看法。而且，我的意思是，有很多关于公司是否应该这么做，公司是否应该那么做的讨论，有很多错误信息在流传。人们说我们离开是因为我们不喜欢与微软的交易。这是假的。虽然，你知道，有很多讨论，很多关于我们究竟如何与微软达成交易的问题。我们离开是因为我们不喜欢商业化。那也不对。
我们构建了GPT-3，这是一个被商业化的模型。我参与了商业化。再次强调，这更多的是关于你如何去做？文明正在走上一条通往非常强大的AI的道路。有什么方法可以谨慎、直接、诚实地去做，从而建立对组织和个人的信任？我们如何从这里到达那里？我们如何才能真正规划好如何正确地去做？安全不仅仅是我们说出来以帮助招聘的东西吗？嗯，我认为，归根结底，如果你对这件事有自己的愿景，那就忘了其他人的愿景吧，我不想谈论其他人的愿景，如果你对如何去做这件事有自己的愿景，你应该去实践你的愿景。试图与其他人的愿景争论是极其没有效率的。
你可能会认为他们做得不对，你可能会认为他们不诚实，谁知道呢，也许你是对的，也许你错了，嗯，但是你应该做的，是带一些你信任的人，一起努力，实现你的愿景。如果你的愿景有吸引力，如果你能让它吸引人们，一些，你知道，在道德上，在市场上的一些组合，你知道，如果你，如果你能建立一家公司，一个人们想加入的地方，从事人们认为合理的行为，同时设法保持其在生态系统中的地位。如果你做到了，人们就会效仿。事实上，你正在这样做，特别是事实上你做得比他们更好，这会迫使他们改变行为的方式，比他们是你的老板，而你与他们争论更有说服力。我不知道该如何更具体地说明这一点，但我认为试图让别人的愿景看起来像你的愿景，通常是非常没有效率的。去做一个干净的实验，并说：“这是我们的愿景。这就是我们将如何去做。” 这要高效得多。你的选择是，你可以忽略我们，你可以拒绝我们正在做的事情，或者你可以开始变得更像我们。模仿是最高的赞美。这体现在客户的行为中，体现在公众的行为中，体现在人们选择在哪里工作上。再说一遍，再说一遍，最终，这不是一家公司赢或另一家公司赢的问题。
我们或另一家公司正在从事一些实践，你知道，人们发现这实际上很有吸引力。我希望它是实质上的，而不仅仅是表面上的。而且，你知道，我认为研究人员是很精明的，他们会关注实质。然后其他公司开始复制这种实践，他们获胜是因为他们复制了这种实践。这很好。这是成功。这就像一场“攀登顶峰的竞赛”。最终谁赢并不重要，只要每个人都在复制彼此的良好实践，对吧？我认为我们都害怕的是“向底层竞争”，对吧？而“向底层竞争”不管谁赢，我们都会输，对吧？就像，你知道，在最极端的世界里，我们制造了这种自主AI，你知道，机器人奴役我们等等，对吧？我的意思是，这有点开玩笑，但是，你知道，这是可能发生的最极端的事情。那么，领先的公司并不重要。
如果你相反创造了一场“攀登顶峰的竞赛”，人们在竞争中致力于良好的实践，那么，最终谁最终获胜并不重要。甚至谁开始这场“攀登顶峰的竞赛”也不重要。重点不是要具有美德，重点是让系统处于比之前更好的平衡状态。各个公司可以在此过程中发挥一定的作用。各个公司可以帮助启动它，可以帮助加速它。坦率地说，我认为其他公司的人也这么做过，对吧？当我们发布RLHF时，那些通过努力推动在其他公司做类似的事情的人。有时其他公司会做一些事情，我们就像，“哦，这是一个好方法。我们认为这很好。我们也应该采用它。” 唯一的区别是，你知道，我认为我们更倾向于前瞻性。当其他人发明这些方法时，我们尝试首先采用更多这些方法，并更快地采用它们。但我认为这种动态是我们应该关注的。我认为它抽象掉了这个问题，即哪家公司赢了，谁信任谁。我认为所有这些戏剧性的问题都极其无趣。重要的是我们所有人都在运营的生态系统，以及如何使这个生态系统更好，因为这约束着所有参与者。
莱克斯： Anthropic就是这样一种纯粹的实验，它以对AI安全应该是什么样子的具体理解为基础构建而成。
阿莫迪： 听着，我相信我们在发展过程中肯定犯过很多错误。完美的组织是不存在的。它必须应对一千名员工的不完美，必须应对我们领导者——包括我在内——的不完美，还必须应对那些监督领导者不完美的人，例如董事会和长期利益信托基金的不完美。这一切都是一群不完美的人，不完美地朝着一个永远无法完美实现的理想目标努力。
这就是你所要面对的，它将永远如此。但这并不意味着你可以放弃。有更好和更坏的区别。希望我们可以开始建设。我们可以做得足够好，以至于能够开始建立一些整个行业都能参与的实践。然后，我的猜测是，这些公司中的几家都会成功。Anthropic会成功，我过去所在的那些公司也会成功。有些公司会比其他公司更成功。这并不像我们调整行业激励机制那样重要。而这部分是通过竞争实现的，部分是通过像RSP这样的措施实现的，部分是通过有选择性的外科手术式监管实现的。
莱克斯： 你提到人才密度胜过人才数量。你能解释一下吗？你能详细说明一下吗？你能谈谈组建一支优秀的AI研究人员和工程师团队需要什么吗？
阿莫迪： 这句话每个月都更贴切。我发现这句话比上个月更真实了。所以，如果我做一个思想实验，假设你有一个由100名超级聪明、积极进取且与公司使命一致的人组成的团队，这就是你的公司。或者，你可以拥有一个1000人的团队，其中200人超级聪明，超级认同公司使命。然后，让我们假设剩下的800人是随便挑选的800名大型科技公司的员工，你会选择哪一个，对吧？1000人的团队人才数量更多，对吧？你甚至拥有更多极其优秀、极其认同公司使命、极其聪明的人才。
但问题是，如果每个超级有天赋的人都环顾四周，看到其他人也超级有天赋且超级专注，这就会决定一切基调，对吧？这会设定每个人都超级渴望在同一个地方工作的基调。每个人都信任彼此。如果你有一千或一万人，而事情真的倒退了，对吧？你无法进行筛选，而是在选择随机的人。发生的情况是，你需要制定很多流程和很多保障措施。仅仅是因为人们并不完全信任彼此，你必须裁决政治斗争。有很多事情会减缓组织运作的能力。所以我们现在将近一千人。我们试图让尽可能多的这千人中的人才都超级有天赋、超级熟练。这就是我们在过去几个月里大幅放缓招聘速度的原因之一。
我相信我们在今年的前七到八个月里，员工人数从300人增长到800人。现在我们已经放缓了速度。我们在过去三个月里，员工人数从800人增长到900人、950人左右，诸如此类。不要引用我的确切数字，但我认为在一千人左右存在一个拐点，我们希望在发展壮大方面更加谨慎。早期以及现在，我们聘请了很多物理学家。理论物理学家学习东西非常快。最近，随着我们继续招聘，我们在研究方面和软件工程方面都设定了很高的标准，聘请了许多资深人士，包括过去在这个领域其他公司工作过的人。我们一直非常有选择性。如果不注意确保每个人都有统一的目标，很容易从100人发展到1000人，再从1000人发展到10000人。这是如此强大。如果你的公司由许多不同的势力范围组成，它们都想做自己的事情，它们都在为自己优化，那么就很难完成任何事情。但如果每个人都看到了公司的更宏伟的目标，如果存在信任并且致力于做正确的事情，那么这将是一种超级力量。我认为，这本身就能克服几乎所有其他缺点。
莱克斯： 而且，你知道，这是史蒂夫·乔布斯所说的A类人才。A类人才希望环顾四周，看到其他A类人才，这是另一种说法。我不知道这是关于人性的什么，但看到那些没有痴迷于推动单一使命的人，是令人沮丧的。而反过来，看到这种景象则超级激励人心。这很有趣。根据你与这么多优秀人才合作的经验，成为一名优秀的AI研究人员或工程师需要什么？
阿莫迪： 是的。我认为最重要的品质，尤其是在研究方面，但实际上两者都适用，是开放的心态。听起来很容易做到开放心态，对吧？你只是说，我什么都接受。但是，如果我回想一下自己早期在规模假设方面的经历，我看到的数据与其他人看到的数据是一样的。我不认为我比我合作过的数百人更擅长编程或提出研究想法。在某些方面，我甚至更差。例如，我从未擅长精确编程，例如查找bug、编写GPU内核。我可以指给你一百个比我更擅长的人。但是，我认为我拥有的不同之处在于，我愿意用新的眼光看待事物，对吧？人们说，哦，我们还没有合适的算法。我们还没有找到合适的做事方法。
我只是说，哦，我不知道。比如，这个神经网络有300亿、3000万个参数，如果我们给它5000万个参数会怎么样？让我们绘制一些这样的图表，这种基本的科学思维方式，就像，我看到一些我可以改变的变量。当它改变时会发生什么？让我们尝试这些不同的东西，即使是最简单的事情，也为它创建一个图表，对吧？这不像博士级别的实验设计。这就像，这很简单很愚蠢。如果你告诉他们这很重要，任何人都可以做到。它也不难理解。你不需要很聪明就能想出这个。但是，你把这两件事放在一起，你知道，极少数人，个位数的人，通过意识到这一点，推动了整个领域的发展。通常就是这样。
如果你回顾历史上的发现，它们往往就是这样。因此，这种开放的心态和愿意用新的眼光看待事物，这通常是因为对这个领域比较陌生，经验在这一点上往往是一个劣势。这是最重要的事情。它很难寻找和测试，但我认为它是最重要的，因为当你发现一些东西时，一些真正新的思考方式，当你主动去做的时候，它绝对是具有变革意义的。
莱克斯： 也要能够进行快速实验。面对这种情况，要保持开放的心态、好奇心，用全新的眼光看待数据，看看它实际上在说什么。这适用于机械解释性。
阿莫迪：这再举一个例子。就像机制可解释性的一些早期工作一样简单，只是以前没有人想过要关注这个问题。
莱克斯： 你谈到了成为一名优秀人工智能研究人员需要什么。我们能否回到过去？你对那些对人工智能感兴趣的人有什么建议？他们还年轻，渴望了解如何才能对世界产生影响？
阿莫迪： 我认为我的第一条建议就是开始玩弄这些模型。实际上，我有点担心，这现在似乎是显而易见的建议。我认为三年前，这并不明显，人们一开始会说，“哦，让我读一下最新的强化学习论文吧。”你也应该这样做。但现在，随着模型和API的广泛可用性，人们做得更多了，但我认为，我认为经验知识很重要。这些模型是全新的事物，没有人真正理解它们。因此，获得与它们互动的经验非常重要。我还想说，同样，与“做一些新的事情，朝一些新的方向思考”相符。例如，有很多事情尚未被探索。例如，机制可解释性仍然非常新颖。与研究新的模型架构相比，从事这方面的工作可能更好，因为它比以前更受欢迎了。可能有数百人在研究它，但没有一万人从事这项工作。它只是一个富有成果的研究领域，它有很多低垂的果实。你可以走过去，你知道的，你可以走过去，你可以摘取它们。嗯，而且原因是什么，人们对此不够感兴趣。我认为在长期学习和长期任务方面有一些事情需要完成。我认为评估方面我们仍然处于早期阶段，特别是在研究动态系统、在现实世界中行动的评估方面。我认为在多智能体方面也有一些东西。我的建议是，看看未来的发展方向在哪里。你不需要很聪明就能想到这一点。所有五年后会令人兴奋的事情，人们甚至会将它们视为传统智慧，但不知何故，存在着一个障碍，人们没有像他们可能做的那样加倍努力，或者他们害怕去做不受欢迎的事情。我不知道为什么会这样，但克服这个障碍，这是我的第一条建议。
莱克斯：好的，如果可以的话，让我们谈谈训练后阶段。是的，现代训练后方法似乎包含了一切：监督微调、RLHF、带有RLHF的宪法人工智能——最佳缩写，再次强调命名问题；然后是合成数据，似乎有很多合成数据，或者至少是试图找出获得高质量合成数据的方法。那么，如果这是Anthropic Claude如此令人难以置信的秘方，那么预训练中占了多少魔法？训练后阶段又占了多少？
阿莫迪：是的，首先，我们自己也无法完美地衡量这一点。你知道，当你看到一些很棒的特性时，有时很难判断它是来自预训练还是训练后阶段。我们已经开发出了一些方法来尝试区分这两者，但它们并不完美。第二点我想说的是，当存在优势时，我认为我们在强化学习方面总体上做得相当好，也许是最好的，尽管我不知道，因为我无法看到其他公司内部的情况。通常情况下，情况并非如此，“我的天哪，我们拥有这种其他人没有的神奇秘方”，对吧？通常情况下，我们会说，“好吧，我们在基础设施方面做得更好，因此我们可以运行更长时间”，或者“我们能够获得更高质量的数据”，或者“我们能够更好地过滤数据”，或者“我们能够在实践中结合这些方法”。这通常是一些关于实践和技巧的枯燥问题。因此，当我考虑如何在训练这些模型方面做到与众不同时，无论是预训练还是训练后阶段，我都更倾向于将其视为设计飞机或汽车。这不仅仅是，“哦，伙计，我有蓝图”，也许这会让你制造出下一架飞机。但我们对设计过程的一些文化技巧的思考，我认为这比我们能够发明的任何特定的小玩意儿都更重要。
莱克斯：好的，让我问你一些具体的技术。首先是RLHF，你认为，从宏观的直觉、几乎是哲学的角度来看，你认为RLHF为什么如此有效？
阿莫迪：如果我回到可扩展性假设，那么规避可扩展性假设的一种方法是，如果你训练X，并且投入足够的计算资源，那么你就能得到X。因此，RLHF擅长于做人类希望模型做的事情，或者更准确地说，做人类在短时间内观察模型并考虑不同的可能回应后，他们所偏好的回应，这从安全性和能力的角度来看并非完美，因为人类往往无法完美地识别模型想要什么，而人类当下想要的东西可能并非他们长远想要的东西。
所以这里有很多微妙之处，但模型擅长产生人类在某种浅层意义上想要的东西。实际上，你甚至不需要投入那么多计算资源，因为还有另一件事，那就是关于强大的预训练模型已经走了一半路了。所以一旦你有了预训练模型，你就拥有了将模型引导到你想要的位置所需的所有表示。
莱克斯：所以你认为RLHF，让模型更聪明了，还是只是让模型在人类看来更聪明了？
阿莫迪：我认为它并没有让模型更聪明。我认为它并没有让模型显得更聪明。而是RLHF弥合了人类和模型之间的差距。我可能拥有非常聪明但完全无法交流的东西。我们都认识这样的人。有些人非常聪明，但你无法理解他们在说什么。所以我认为RLHF只是弥合了这一差距。我认为这并不是我们所做的唯一一种强化学习。这也不是未来唯一会发生的强化学习。我认为强化学习有可能让模型更聪明，让它们推理能力更好，让它们运作更好，甚至让它们发展新的技能。也许这甚至可以在某些情况下通过人类反馈来实现。但我们今天所做的RLHF类型大多还没有做到这一点，尽管我们很快就能做到。
莱克斯：但如果你看一下有用性这个指标，它似乎有所提高。
阿莫迪：它还提高了利奥波德文章中提到的这个词，“解除束缚”，模型基本上是被束缚的，然后你对它们进行各种训练来解除束缚。所以，你知道，我喜欢这个词，因为它是一个罕见的词，所以，我认为RLHF在某些方面解除了模型的束缚。然后还有其他一些模型尚未解除束缚，你知道的，需要解除束缚。
莱克斯：如果用成本来说，预训练是最昂贵的事情，还是训练后阶段的成本也在逐渐上升？
阿莫迪： 目前，预训练仍然占据大部分成本。我不知道未来会怎样，但我可以肯定地预见，未来后期训练将占据大部分成本。
莱克斯： 在你预见的未来，后期训练中成本较高的会是人类还是人工智能？
阿莫迪： 我认为你无法将人力规模扩大到足以获得高质量结果的程度。任何依赖人工并使用大量计算的方法，都必须依赖某种规模化的监督方法，例如辩论、迭代放大或类似的方法。
莱克斯： 那么，关于“宪法式AI”这一非常有趣的想法，你能描述一下它在2022年12月的论文中最初的详细内容，以及之后的发展吗？它究竟是什么？
阿莫迪： 好的。这是两年前的想法。基本思路是，我们先描述一下RLHF（强化学习与人类反馈）。你有一个模型，它会输出两个结果，就像你从中随机抽取两次一样。它会输出两个可能的回复，然后你问人类哪个回复更好？或者另一个变体是，在1到7的范围内对这个回复进行评分。这样做很难，因为你需要扩大与人类的互动规模。而且它非常隐式，对吧？我不知道自己想要模型做什么，我只是知道一千个人的平均期望是什么。
所以有两个想法：一是，人工智能系统本身能否决定哪个回复更好？你可以向人工智能系统展示这两个回复，并询问哪个回复更好？二是，人工智能应该使用什么标准？于是就有了这个想法：你可以有一份单一文档，如果可以的话，称之为“宪法”，它规定了模型应该用来回应的原则。人工智能系统会阅读这些原则，以及环境和回复。然后它会判断，人工智能模型做得怎么样？这基本上是一种自我博弈。你是在让模型与自身对抗。所以人工智能给出回复，然后你将它反馈到所谓的偏好模型中，后者反过来又会改进模型，从而使模型变得更好。所以你这里有一个三角关系：人工智能、偏好模型以及人工智能本身的改进。
莱克斯： 我们应该提到，在宪法中，这些原则都是人类可理解的。
阿莫迪： 是的。人类和人工智能系统都可以阅读它。所以它具有这种良好的可转换性或对称性。在实践中，我们同时使用模型宪法、RLHF以及其他一些方法。所以它已经成为工具箱中的一个工具，它既减少了对RLHF的需求，又增加了我们从每个RLHF数据点中获得的价值。它还以有趣的方式与未来推理类型的RL方法互动。所以它只是工具箱中的一个工具，但我认为它是一个非常重要的工具。
莱克斯： 对我们人类来说，想到美国的开国元勋和建国，这是一个引人注目的想法。自然而然的问题是，你认为谁以及如何定义宪法，定义宪法中的原则？
阿莫迪： 是的。我会给出一些实际的答案和一些更抽象的答案。我认为实际的答案是，看看，实际上，各种各样的客户都在使用模型，对吧？所以你可以有这样一个想法，模型可以有专门的规则或原则。我们隐式地微调模型的版本。我们讨论过显式地进行操作，制定人们可以构建到模型中的特殊原则。所以从实际的角度来看，不同的人答案可能大相径庭。客服代理的行为与律师的行为大相径庭，并遵守不同的原则。但我认为，在根本上，模型必须遵守某些特定的原则。我认为很多原则都是人们会同意的。每个人都同意我们不希望模型提出这些CBRN风险。我认为我们可以更进一步，同意一些民主和法治的基本原则。除此之外，就变得非常不确定了。在那里，我们的目标通常是让模型更中立，而不是表达某种特定的观点，而更像是一种明智的代理或顾问，可以帮助你思考问题，并提出可能的考虑因素，而不是表达强烈或具体的意见。
莱克斯： OpenAI发布了一个模型规范，它清晰、具体地定义了模型的一些目标和具体的例子，例如A、B，模型应该如何行为。你认为这有趣吗？顺便说一下，我应该提到，我相信杰出的John Shulman参与了这项工作。他现在在Anthropic。你认为这是一个有用的方向吗？Anthropic也可能会发布模型规范吗？
阿莫迪： 是的。我认为这是一个非常有用的方向。同样，它与宪法式AI有很多共同之处。所以，这又是“向上竞争”的另一个例子，对吧？我们有一些我们认为更好、更负责任的做法。它也是一种竞争优势。然后其他人开始发现它有优势，然后开始做这件事。然后我们就不再拥有竞争优势了，但这对大家来说都是好事，因为现在每个人都采用了其他人没有采用的积极实践。所以我们对这方面的回应也一样，看起来我们需要一个新的竞争优势才能继续推动这场向上竞争。这就是我对此的总体感受。我还认为这些东西的每一个实现都是不同的。
所以，你知道，模型规范中有一些内容不在宪法式AI中。所以，你知道，我们总是可以采用这些东西，或者至少可以向它们学习。所以，我认为这是一个积极动态的例子，我认为我们都应该希望这个领域拥有这种动态。
莱克斯： 让我们谈谈这篇精彩的论文《爱的机器和优雅的机器》。我建议大家阅读一下。它很长。
阿莫迪： 它确实很长。
莱克斯： 是的。阅读关于积极未来具体想法的文章非常令人耳目一新。你采取了一种大胆的立场，因为你很可能在日期或具体的某些方面会出错。
阿莫迪： 哦，是的。我完全可以预料到，你知道，我肯定会对所有细节都弄错。我可能对整件事都大错特错。人们会嘲笑我很多年。这就是未来的运作方式。
莱克斯： 你提供了一系列关于人工智能积极影响的具体内容，以及超级人工智能如何精确地加速生物学和化学领域突破的步伐，这将导致诸如治愈大多数癌症、预防所有传染病、使人类寿命翻倍等等的事情。那么，让我们首先谈谈这篇论文。你能对这篇论文做一个高度概括的概述，以及人们从中得到的关键要点吗？
阿莫迪：是的，我个人以及Anthropic公司都投入了大量时间和精力来研究如何应对AI的风险，对吧？我们该如何思考这些风险？我们努力争取做到最好，这就要求我们构建所有这些能力，而这些能力本身就很酷。但是，你知道，我们，我们，我们所做的大部分工作实际上是致力于解决这些风险。而这样做的理由是，所有这些积极的事情，市场就是一个非常健康的运行机制，对吧？它会产生所有积极的事情。
至于风险，我不知道，我们可能会减轻它们，也可能不会。因此，通过尝试减轻风险，我们可以产生更大的影响。但我注意到这种思维方式的一个缺陷，这并不是说我不再认真对待这些风险了，而可能是我谈论它们的方式有所改变，那就是，无论我刚才给出的那种推理多么合乎逻辑或合理，如果你只是谈论风险，你的大脑只会思考风险。因此，我认为理解如果事情进展顺利会怎样实际上非常重要。我们试图预防这些风险的根本原因，并不是因为我们害怕技术，也不是因为我们想放慢它的发展速度。而是因为如果我们能够克服这些风险，对吧，如果我们能够成功地通过这道难关，用严厉的措辞来说，那么在这道难关的另一边就是所有这些美好的事物。而这些事物值得我们为之奋斗。这些事物能够真正激励人们。
我想象，你看，所有这些投资者、所有这些风险投资家、所有这些人工智能公司都在谈论人工智能的所有积极益处。但正如你指出的那样，这很奇怪。实际上，人们对这些益处的具体描述却非常缺乏。推特上有很多随机的人，发布一些闪闪发光的城市，以及这种，这种类似于“努力工作，加速前进，淘汰减速器”的氛围。你知道，这是一种非常，非常具有侵略性的意识形态，但你就会想，好吧，你到底在兴奋什么？因此，我认为，对于一个实际上来自风险领域的人来说，尝试真正解释这些好处会很有趣也很有价值，因为我认为这是我们可以共同努力的目标。我希望人们能够理解，我希望他们真正理解，这并不是末日论者与加速论者之间的对立。而是，如果你真正理解了人工智能的发展方向，也许这是更重要的一个方面，人工智能发展迅速与人工智能发展不迅速，那么你就会真正欣赏这些好处。而且你真正希望人类、我们的文明能够抓住这些好处，但你也会对任何可能破坏这些好处的因素非常重视。
莱克斯： 所以我认为起点是谈论这种强大的AI，这是你常用的术语。世界上大多数人使用AGI，但你不喜欢这个术语，因为它基本上包含了太多的含义，已经变得毫无意义了，我们似乎被这些术语困住了——
阿莫迪：也许我们被这些术语困住了，我试图改变它们的行为是徒劳的。这值得称赞。我会告诉你我还有哪些不喜欢的地方，这就像一个毫无意义的语义问题，但我一直在谈论它。再次回到命名问题。所以我就再提一次。呃，我认为这有点像，比如假设是1995年，摩尔定律使计算机越来越快。由于某种原因，存在这样一种说法，每个人都认为，“总有一天我们将拥有超级计算机，超级计算机将能够做所有这些事情，比如，一旦我们拥有超级计算机，我们就能对基因组进行测序，我们就能做其他事情。”因此，一方面，这是真的，计算机越来越快。随着它们越来越快，它们将能够做所有这些伟大的事情。但是，没有一个明确的点，让你能说一台是超级计算机而之前的不是，超级计算机是我们使用的术语，但它只是一个模糊的术语，用来描述比我们今天拥有的更快的计算机。
你不会越过某个门槛，然后说，“哦，我的上帝，我们正在进行一种全新的计算”。所以我对AGI也有这种感觉。这只是一个平滑的指数增长。如果AGI指的是人工智能越来越好，逐渐地它将能够完成越来越多人类所做的事情，直到它比人类更聪明。然后它会变得更聪明，甚至会从那里变得更聪明，那么是的，我相信AGI。但如果AGI是某种离散的或独立的事物，这往往是人们谈论它的方式，那么它就是一个毫无意义的流行语。
莱克斯： 是的，对我来说，它只是强大的AI的一种柏拉图式的形式，你如何定义它。我的意思是，你对它的定义非常好。所以在智力方面，纯粹的智力而言，它比诺贝尔奖获得者更聪明，正如你所描述的那样，在大多数相关学科中都是如此。好的，这就是智力。因此，它既有创造力，又能产生新的想法，所有这些都在各个学科中都像诺贝尔奖获得者一样。好的，在他们的巅峰时期。它可以使用所有模式。所以这是不言而喻的，但它只是在世界上所有模式中运行。它可以持续数小时、数天和数周来完成任务并进行自己的详细规划，只有在需要时才会寻求你的帮助。它可以使用，这实际上很有趣。我认为你在文章中说过，我的意思是，这再次是一个赌注，它不会是具体化的，但它可以控制具体化的工具。所以它可以控制工具、机器人、实验室设备。用于训练它的资源随后可以被重新用于运行数百万个副本。而这些副本中的每一个都可以独立地完成自己的独立工作。所以你可以克隆这种智力。
阿莫迪：是的，是的。我的意思是，你可能会从该领域之外想象，只有一个这样的东西，对吧。就像你创造了它，你只创造了一个，但事实是，扩展的速度非常快。就像我们今天所做的那样。我们创建一个模型，然后部署数千个，也许是数万个实例。
我认为到那时，当然在两到三年内，无论我们是否拥有这些超级强大的AI，集群规模都将达到能够部署数百万个AI的地步，而且它们的速度将超过人类。因此，如果你认为，哦，我们只有一个，并且需要一段时间才能制造出来。我的意思是，不，你实际上马上就会拥有数百万个。总的来说，它们可以比人类快10到100倍地学习和行动。
莱克斯： 这是一个非常好的强大AI的定义。好的，但是你也写道，这样一个实体显然能够非常快速地解决非常困难的问题，但弄清楚速度有多快并非易事。两种极端立场在我看来都是错误的。奇点是一种极端，而另一种极端则相反。你能描述一下这两种极端吗？
阿莫迪：是的。那么为什么呢？让我们来描述一下极端情况。比如说，一个极端情况是，如果我们看看进化史，就像曾经有过一个巨大的加速期，你知道，几十万年来，我们只有单细胞生物，然后是哺乳动物，然后是猿类，然后迅速变成了人类，人类迅速建立了工业文明。所以这会持续加速，而且在人类水平上没有上限。一旦模型比人类聪明得多，它们就会非常擅长构建下一个模型。而且，你知道，如果你写下一个简单的微分方程，就像这是一个指数函数。所以，将会发生的事情是，模型会构建更快的模型，模型会构建更快的模型。而这些模型将构建，比如说，纳米机器人，它们可以接管世界，并产生比你原本所能产生的更多的能量。
所以，如果你只是解这个抽象的微分方程，那么在我们构建出第一个比人类更强大的AI后的五天内，呃，你知道，世界将会充满这些AI，并且每一个可能被发明出来的技术，都会被发明出来。我在这里有点夸张了。但是，你知道，我认为这是一个极端情况。而我认为这种情况不会发生的原因是，首先，我认为他们忽略了物理定律。在物理世界中，只可能以这么快的速度做事情。这些循环中的一些涉及到生产更快的硬件。呃，生产更快的硬件需要很长时间。事情需要很长时间。还有复杂性问题。我认为，无论你多么聪明，人们都在谈论，哦，我们可以建立生物系统的模型。它会做所有事情。生物系统看起来，我认为计算建模可以做很多事情。当我从事生物学工作时，我做了很多计算建模，但是，有很多事情你无法预测，它们足够复杂，以至于仅仅是迭代，仅仅是运行实验，都会胜过任何建模，无论进行建模的系统多么聪明。
莱克斯：或者即使它不与物理世界互动，仅仅是建模也会很难。
阿莫迪：是的，我认为，建模会很难，让模型与物理世界匹配也会很难。还有验证，你只需看看最简单的问题。比如，我认为我谈到了三体问题或简单的混沌预测，比如预测经济。预测两年后的经济真的很困难。也许情况是这样的，你知道，正常的人类可以预测下一季度经济会发生什么。他们真的做不到。也许一个比人类聪明数百万倍的AI系统只能预测一年，你会看到这种计算智能的指数增长，而预测能力的线性增长。同样，比如你知道生物分子，分子相互作用，你不知道当你扰动一个复杂系统时会发生什么，你可以找到其中的简单部分，如果你更聪明，你就能更好地找到这些简单部分。
阿莫迪：真的很难。就像，你知道，让人们即使采用我们已经开发的技术也很困难，即使那些技术有效性的论据非常非常强有力。人们会有担忧。他们认为事情是阴谋论。让非常简单的事情通过监管系统也很困难。我不想贬低任何在任何技术监管系统中工作的人。他们必须处理艰难的权衡。他们必须拯救生命。但是，我认为，整个系统做了一些明显的权衡，这些权衡与最大限度地提高人类福祉相去甚远。
所以，如果我们将这些人工智能系统融入人类系统中，往往智力水平并非限制因素，对吧？可能只是完成某些事情需要很长时间。现在，如果人工智能系统绕过了所有政府，如果它说：“我是世界独裁者，我将为所欲为”，它就能做到一些事情。同样，对于复杂性方面的事情，我仍然认为许多事情需要一段时间才能完成。我不认为人工智能系统能够产生大量能量或登上月球有什么帮助。一些评论者回应这篇文章说，人工智能系统可以产生大量能量，并且拥有更智能的系统。这有点偏离了重点。这种循环并不能解决我在这里谈到的关键问题。所以我认为很多人误解了我的意思。但即使它完全没有对齐，并且能够绕过所有这些人类障碍，它也会遇到麻烦。
但是，如果你想要一个不会接管世界、不会毁灭人类的人工智能系统，那么它基本上需要遵守基本的人类法律，对吧？如果我们想要一个真正美好的世界，我们就必须拥有一个与人类互动的人工智能系统，而不是一个创建自己法律体系或无视所有法律的系统。因此，即使这些流程效率低下，我们也必须处理它们，因为在这些系统的推出过程中，需要一定的公众和民主合法性。我们不能让一小部分开发这些系统的人说：“这是对每个人最好的选择”，对吧？我认为这是错误的，而且我认为在实践中这也不会奏效。所以，你把所有这些都加起来，我们不会在五分钟内改变世界并将所有人上传到虚拟世界。我只是认为，首先，我认为这不会发生；其次，即使它可能发生，那也不是通往美好世界的途径。
这就是一方面，还有另一套我实际上在某些方面更有同情的观点，那就是：看，我们之前已经看到过巨大的生产力增长，对吧？你知道，经济学家们熟悉研究计算机革命和互联网革命带来的生产力增长。通常情况下，这些生产力增长令人失望，低于你想象的水平。罗伯特·索洛（Robert Solo）有一句名言：“你到处都能看到计算机革命，除了生产力统计数据。”那么，为什么会这样呢？人们指出公司结构、企业结构，以及将现有技术推广到世界上最贫穷地区的速度有多慢，这正是我在文章中讨论的内容，对吧？我们如何才能将这些技术推广到那些在手机技术、计算机、医疗方面都落后的世界最贫穷地区，更不用说尚未发明的最新人工智能技术了？
所以，你可以从这样的角度来看：从技术上讲，这太棒了，但这只是个空壳。我认为泰勒·考恩（Tyler Cowen）在回应我的文章时表达了这种观点。我认为他认为彻底的变革最终会发生，但他认为这需要50年或100年时间。你甚至可以对整个事情有更静态的看法。我认为其中有一些道理。我认为时间尺度太长了。我确实可以看到两方面的观点。
对于当今的人工智能来说，你知道，我们的许多客户都是大型企业，他们习惯于以某种方式做事。在与政府交谈时，我也看到了这一点，对吧？这些是典型的机构，它们变化缓慢。但我反复看到的动态是：是的，移动这艘巨轮需要很长时间；是的，存在很多阻力以及缺乏理解。但让我感到进步最终会以中等速度发生（不是非常快，而是中等速度）的原因是：你会发现，我反复发现，在大型公司中，甚至在政府（实际上已经出乎意料地具有前瞻性）中，你会发现有两件事推动着事情向前发展。第一，你会发现公司内部、政府内部一小部分人真正看到了全局，看到了整个规模假设，理解了人工智能的发展方向，或者至少理解了它在其行业中的发展方向。美国政府内部确实有少数这样的人，他们真正看到了全局。这些人认为这是世界上最重要的事情，直到他们为此而努力。
然而，仅凭他们自身的力量不足以取得成功，因为他们在大型组织中只是一小部分人。但随着技术的推广，随着它在一些最愿意采用它的领域取得成功，竞争的压力会给他们带来动力，因为他们可以在其大型组织内部指出：“看，其他人正在做这件事”，对吧？一家银行可以说：“看，这家新兴的对冲基金正在做这件事，他们会抢走我们的生意。”这种组合——竞争的压力，加上在这些在许多方面都缺乏活力的组织内部的一些有远见的领导者——将这两者结合起来，实际上就会发生一些事情。我的意思是，这很有趣。这是一种两者之间的平衡较量，因为惯性非常强大。但是，最终，经过足够长的时间，创新方法就会突破。我已经看到这种情况发生了。我已经反复看到这种轨迹，障碍是存在的。进步的障碍、复杂性、不知道如何使用模型或如何部署它们，这些障碍是存在的，并且在一段时间内，似乎它们会永远存在，好像变化不会发生，但最终变化会发生，并且总是来自少数人。
当我在人工智能领域本身倡导规模假设时，其他人不明白，我也曾有同样的感觉。感觉好像没有人会明白。感觉我们好像拥有一个几乎没有人拥有的秘密。然后几年后，每个人都知道了这个秘密。所以我认为人工智能在世界上的部署也会是这样。障碍会逐渐瓦解，然后突然全部瓦解。所以我认为这将更像是我在文章中所说的那样，5到10年，而不是50年或100年。我还认为这将是5到10年，而不是5到10个小时，因为我亲眼目睹了人类系统是如何运作的。我认为那些写下微分方程的人，他们说人工智能会制造出更强大的人工智能，他们不明白为什么这些事情不会改变得这么快，我认为他们不了解这些事情。
莱克斯：那么，你对我们实现AGI（也就是强大的人工智能，也就是超级有用的人工智能）的时间线有什么看法？我打算开始这样称呼它。这是一个关于命名的争论。你知道，就纯粹的智力而言，它在每个相关的学科中都比诺贝尔奖获得者更聪明，以及我们之前所说的一切。在模式方面，它可以独自工作数天、数周，并独自进行生物学实验。让我们只关注生物学，因为你让我相信了整个生物学和健康部分。从科学的角度来看，这太令人兴奋了，这让我想要成为一个生物学家。
阿莫迪：我写这段话时就是这种感觉，如果我们能做到，这将是多么美好的未来，对吧？如果我们能清除地雷，然后做到这一点。这背后有如此之多美好的、优雅的、以及具有道德力量的东西。而这是我们都应该同意的事情，对吧？就像我们在所有这些政治问题上争论不休一样，这是否能真正将我们团结起来？
莱克斯：你认为是什么时候？说具体点。
阿莫迪：所以，你知道，这是我多年来一直在苦苦思索的事情，我每次都没有十足的把握。如果我说2026年或2027年，推特上无数人会说，“嘿，这位CEO说2026年”然后接下来的两年里，这句话会被反复提及，就好像这肯定是我认为它会发生的时间一样。所以，任何剪辑这段视频的人都会剪掉我刚才说的话，只保留我接下来要说的话。但我还是要说。
所以，如果你推断我们迄今为止的曲线，对吧？如果你说，好吧，我不知道，我们开始达到博士水平了。去年我们是本科水平。前年我们是高中生的水平。再说一次，你可以对哪些任务以及针对什么目标进行争论。我们仍然缺少一些模式，但这些正在被添加。比如增加了计算机使用。比如增加了图像输入。比如增加了图像生成。这完全是不科学的，但如果你只是粗略地观察这些能力提升的速度，它确实会让你觉得我们会在2026年或2027年实现。同样，很多事情都可能导致它失败。我们可能会用尽数据。我们可能无法像我们想要的那样扩展集群。
比如，我们就无法生产我们想要的那么多GPU了。所以，有很多事情都可能破坏整个过程。所以我并不完全相信简单的线性外推。但如果你相信线性外推，你就会在2026年或2027年实现。我认为最有可能的情况是，相对于此，会有一些轻微的延迟。我不知道这种延迟有多长，但我认为它可能会按计划进行。我认为可能会有一些轻微的延迟。我认为在某些情况下，它在100年内都不会发生。这类情况的数量正在迅速减少。我们正在迅速摆脱真正令人信服的障碍，真正令人信服的理由，解释为什么这件事不会在未来几年发生。
在2020年的时候，这类理由要多得多。尽管我当时的猜测，我的直觉是，我们会克服所有这些障碍。所以，作为一个已经看到大部分障碍都被清除的人，我的直觉，我的怀疑是，剩下的障碍不会阻碍我们。但你知道，总而言之。就像，我不想把这当成一个科学预测。人们称它们为规模定律。这是一个误称。就像摩尔定律一样，这是一个误称。摩尔定律，规模定律。它们不是宇宙定律。它们是经验规律。我倾向于相信它们会继续下去，但我并不确定。
莱克斯：所以你详细描述了某种意义上的压缩的21世纪，AGI将如何帮助推动一系列生物学和医学领域的突破，帮助我们在所有我提到的这些方面取得进步。那么，你认为，它可能采取的早期步骤是什么？顺便说一句，我请Claude帮我提出一些要问你的好问题。Claude告诉我问你，你认为在这个未来，一位从事AGI研究的生物学家的典型一天是什么样的？
阿莫迪： 好吧，让我先回答你的第一个问题。Claude想知道他的未来是什么，对吧？没错，我要和谁一起工作？嗯，我认为我在论文中反复强调的一点是——让我回到这个想法，因为它确实，确实对我有影响——这个想法是，在大型组织和系统中，最终会有一些人或一些新想法导致事情朝着与以往不同的方向发展，这些人不成比例地影响着发展轨迹。很多事情都差不多，对吧？如果你考虑一下医疗领域，就会发现有数万亿美元的医疗保险和其它健康保险支出。然后是国立卫生研究院（NIH）的1000亿美元。而如果我认为真正带来革命性变化的事情，可以用其中的一小部分来概括。
所以，当我想到人工智能会在哪里产生影响时，我想，人工智能能否将这小部分转化为更大的部分，并提高其质量？在我的生物学经验中，生物学最大的问题是你无法看到正在发生的事情。你几乎没有能力观察正在发生的事情，更没有能力改变它，对吧？你所拥有的是这个。由此，你必须推断存在许多细胞，每个细胞内都有30亿个碱基对的DNA，根据遗传密码构建而成。并且所有这些过程都在进行中，而我们这些未经增强的普通人却无法对其产生影响。这些细胞正在分裂。大多数情况下这是健康的，但有时这个过程会出错，那就是癌症。细胞正在衰老。你的皮肤可能会随着年龄增长而改变颜色，出现皱纹。所有这一切都由这些过程决定，所有这些蛋白质的产生、运输到细胞的不同部位、相互结合。
在我们最初对生物学的认识中，我们甚至不知道这些细胞的存在。我们必须发明显微镜才能观察细胞。我们必须发明更强大的显微镜才能看到细胞以下的分子水平。我们必须发明X射线晶体学才能看到DNA。我们必须发明基因测序技术来读取DNA。现在我们必须发明蛋白质折叠技术来预测它的折叠方式以及这些东西如何相互结合。我们必须发明各种技术，现在我们可以用CRISPR编辑DNA，这已经是过去12年的事情了。
所以，生物学的整个历史，很大一部分历史实际上就是我们阅读和理解正在发生的事情的能力，以及我们伸出手选择性地改变事物的能力。而我的观点是，我们仍然有很多事情可以做，对吧？你可以使用CRISPR，但你可以对你的整个身体进行操作。假设我想对一种特定类型的细胞进行操作，并且我希望靶向错误细胞的比率非常低。这仍然是一个挑战。这仍然是人们正在努力解决的问题。这正是某些疾病的基因治疗可能需要的。所以我之所以说这一切，它也超越了基因测序，到用于观察细胞内部情况的新型纳米材料，到抗体药物偶联物。我之所以说这一切，是因为这可能是人工智能系统的杠杆点，对吧？这种发明的数量，在生物学史上，大概只有几十个，或者最多几百个。
假设我有数百万个这样的AI，比如，它们能否协同工作，快速发现数千个这样的发明？这是否提供了一个巨大的杠杆，而不是试图利用我们每年在医疗保险或其他方面花费的2万亿美元，我们能否利用每年用于发现的10亿美元，但质量却高得多？嗯，那么，与人工智能系统一起工作的科学家是什么样的呢？我实际上是这样考虑的，嗯，我认为在早期阶段，人工智能就像研究生一样。你会给他们一个项目。你会说，我是经验丰富的生物学家。我已经建立了实验室。生物学教授甚至研究生自己也会说，你可以用人工智能系统做些什么。我想研究这个。人工智能系统拥有所有工具。它可以查阅所有文献以决定该做什么。它可以查看所有设备。它可以访问网站，然后说，嘿，我要去赛默飞世尔科技公司或任何当今主要的实验室设备公司。我的时代是赛默飞世尔科技公司。我要订购这台新设备来做这个。我要运行我的实验。我要写一份关于我的实验的报告。我要检查图像是否有污染。我要决定下一个实验是什么。我要编写一些代码并运行统计分析。研究生会做的一切，都会有一台装有AI的电脑，教授偶尔会与之交谈。它会说，你今天要做的就是这个。
人工智能系统会带着问题来。当需要运行实验室设备时，它可能会受到某些限制。它可能必须雇用一名人类实验室助理来进行实验并解释如何进行。或者它可以使用过去十年左右逐渐发展并将继续发展的实验室自动化方面的进步。所以看起来会有一个人类教授和一千个AI研究生。如果你去采访一位诺贝尔奖获得者生物学家，你会说，好吧，你大约有50名研究生。好吧，现在你有一千名，顺便说一句，他们比你聪明。嗯，然后我认为在某个时候它会反转过来，人工智能系统会成为PI，会成为领导者，并且他们会指挥人类或其他人工智能系统。所以我认为这将是它在研究方面的工作方式。他们将成为CRISPR技术的创造者。他们将成为CRISPR技术的创造者。嗯，然后我认为，正如我在论文中所说的，我们将希望利用——“放任自流”可能是不合适的词语——我们将希望利用人工智能系统来改进临床试验系统。其中一部分是监管问题，是社会决策问题，这将更加困难。但是我们能否更好地预测临床试验的结果？我们能否改进统计设计，以便以前需要5000人并且需要一年1亿美元来招募他们的临床试验，现在只需要500人并在两个月内招募他们？这就是我们应该开始的地方。我们能否通过在动物试验中进行我们过去在临床试验中进行的事情，以及在模拟中进行我们过去在动物试验中进行的事情，来提高临床试验的成功率？再说一次，我们无法完全模拟。AI不是上帝。嗯，但是，但是你知道，我们能否大幅度地、彻底地改变曲线？我不知道，那就是我的看法。
莱克斯： 在体外进行，我的意思是，你仍然会被减速。它仍然需要时间，但你可以做得快得多。
阿莫迪：是的。我们能不能一步一步来？这些小步能否累积成巨大的进步？即使我们仍然需要临床试验，即使我们仍然需要法律法规，即使FDA和其他组织仍然不会完美无缺，我们能不能让一切朝着积极的方向发展？如果把所有这些积极的方向加起来，是不是能让原本到2100年才会发生的一切，在2027年到2032年之间就全部发生呢？
莱克斯：我认为，即使在今天，世界也正在因AI而发生改变，并且正在朝着拥有强大且超级有用的AI的未来发展，而这其中，编程扮演着关键角色。您如何看待编程的本质？因为它与构建AI的实际行为息息相关。您认为它将如何改变我们人类？
阿莫迪：我认为这将是变化最快的领域之一，原因有两个。首先，编程是一项与AI实际构建非常接近的技能。技能与构建AI的人员距离越远，AI对其造成颠覆性影响所需的时间就越长，对吧？我确实相信AI会颠覆农业。也许在某些方面它已经做到了，但这与构建AI的人员相距甚远。因此，我认为这需要更长的时间。但编程是Anthropic和其他公司很大一部分员工的日常工作。所以这会很快发生。它发生速度很快的另一个原因是，在编程中，你可以闭环运行。无论是在训练模型还是应用模型时，模型能够编写代码意味着模型可以运行代码，然后查看结果并进行反向解读。因此，与硬件、我们刚才讨论过的生物学不同，模型具有闭环运行的能力。
所以我认为这两点将导致模型很快就能熟练掌握编程。正如我在典型的现实世界编程任务中看到的，模型的准确率从今年1月的3%上升到了10月的50%。所以，你知道，我们正处于S曲线，对吧？它很快就会开始放缓，因为你只能达到100%。但是，我认为再过10个月，我们可能会非常接近，至少能达到90%。所以，我再次猜测，我不知道需要多长时间，但我再次猜测，到2026年或2027年，那些喜欢从这些数字中截取部分内容并删除诸如“我不知道”、“我不喜欢你，走开”之类的免责声明的人，我猜测绝大多数程序员所做的任务，AI都能做到……
如果我们将任务限定得很窄，比如只写代码，AI系统就能做到。话虽如此，我认为比较优势是强大的。当AI能够完成程序员80%的工作，包括大部分类似根据给定规范编写代码的工作时，我们会发现工作中剩余的部分将对人类更有利，对吧？人类将更多地关注高级系统设计，或者查看应用程序，例如，“它的架构是否合理？”以及设计和用户体验方面。最终，AI也能做到这些，对吧？这就是我对强大AI系统的设想。但我认为，比我们预期的要长得多，我们会看到人类仍然执行的小部分工作将扩展到占据整个工作，以提高整体生产力。这是我们已经看到的情况。
过去，撰写和编辑信函非常困难，印刷也很困难。但是，一旦有了文字处理器和电脑，生产工作和分享工作变得容易，那么这一切就变得即时，所有注意力都集中在想法上。这种比较优势的逻辑，它将任务的微小部分扩展到任务的大部分，并创造新的任务以提高生产力，我认为这种情况将会持续发生。再次强调，总有一天AI会在所有方面都比人类更优秀，这种逻辑将不再适用。到那时，我们所有人，也就是全人类，都必须思考如何共同应对这种情况。我们每天都在思考这个问题。而且，你知道，这是除了滥用和自主性之外，另一个需要认真对待的重大问题。但我认为，在短期内，甚至在中期，比如两三年，我认为人类将继续扮演重要角色，编程的本质会发生变化，但编程作为一种角色，编程作为一项工作不会改变。只是写代码行的方式会减少，而更宏观的视角会增多。
莱克斯：我很想知道IDE的未来是什么样的。与AI系统交互的工具，这对于编程来说是正确的，对于其他情境，例如计算机使用，可能也是正确的，但可能是特定领域的，就像我们提到的生物学，它可能需要自己独特的工具来提高效率。然后编程需要它自己的工具。Anthropic是否也将在工具方面发挥作用？
阿莫迪：我完全相信，强大的IDE，有很多唾手可得的成果。嗯，现在就像你和模型对话，它也回应你，但是，但是你看，我的意思是，IDE擅长各种静态分析，尽可能多地进行静态分析，比如很多错误你甚至不用写代码就能发现，然后，你知道，IDE擅长运行特定程序、组织代码、测量单元测试的覆盖率。使用普通的IDE，有很多事情都是可以做到的。现在你添加了一些东西，比如，好吧，现在这个模型，你知道，这个模型现在可以编写代码并运行代码了。我完全相信，在未来一两年内，即使模型的质量没有提高，通过发现大量错误，为人们完成大量繁琐的工作，也将会极大地提高人们的生产力，而我们甚至还没有触及表面。
Anthropic本身，我的意思是，你不能说，你知道，很难预测未来会发生什么。目前，我们并没有试图自己开发这样的IDE。相反，我们为Cursor、Cognition或其他一些公司，例如安全领域的Expo，以及我可以提到的其他一些公司提供支持，这些公司正在我们的API之上构建这些东西。我们的观点是，让百花齐放，我们内部没有资源去尝试所有这些不同的东西。让我们客户去尝试。
嗯，我们会看看谁会成功，也许不同的客户会以不同的方式成功。所以，我认为这非常有前景，而且，你知道，这并不是，这并不是，这并不是说，Anthropic目前并不热衷于，至少目前不热衷于与所有这些公司在这个领域竞争，也许永远都不会。
莱克斯：是的，观看Cursor尝试成功集成Claude很有趣，因为实际上，我的意思是，它可以在编程体验的许多地方提供帮助，这令人着迷。
阿莫迪：确实如此，这真的很惊人。我觉得，作为CEO，我编程的时间不多。我觉得如果六个月后我再回头看，它会完全认不出来。没错。
莱克斯：在这个日益自动化、拥有超强大人工智能的世界里，我们人类的意义来源是什么？工作是许多人意义的重要来源，那么我们该如何找到意义呢？
阿莫迪：我在论文中对此进行了一些探讨，虽然篇幅较短，并非出于任何原则上的原因，而是因为这篇论文最初预计只有两三页，我打算在全体会议上进行讨论。我意识到这是一个重要的、未充分探索的课题，是因为我不断地撰写内容，然后发现：天哪，我无法做到尽善尽美。因此，论文篇幅膨胀到40或50页。当我写到工作和意义的部分时，我想：天哪，这得写一百页。我需要专门写一篇关于这个主题的论文。
但意义其实很有趣，想想某人的一生，或者说，假设把你放在一个模拟环境中，你有一份工作，努力完成任务。假设你这样做了60年，然后你被告知：“哦，这是一个游戏。”这是否会剥夺你对整件事情的意义感？你知道，我仍然做出了重要的选择，包括道德选择，我仍然有所牺牲，我仍然需要掌握所有这些技能，或者类似的例子，想想那些历史上发现电磁学或相对论的人物。如果你告诉他们：“实际上，两万年前，某个外星人就已经发现了这一点。”这是否会剥夺他们发现的意义？
在我看来，似乎并非如此。我认为过程才是重要的，它展现了你作为一个人，你与他人的关系以及你沿途做出的决定。这些都是有意义的。如果我们在人工智能时代处理不当，可能会导致人们缺乏任何长期的意义来源。但这更多的是我们所做的选择，更多的是拥有这些强大模型的社会架构。如果我们设计得很糟糕，只关注肤浅的东西，那么这种情况就可能发生。
我还想说，尽管大多数人今天都在努力地为自己的生活寻找意义，但我们这些拥有特权并开发这些技术的人，应该对这里和世界各地的人们抱有同情心。他们花费大量时间勉强维持生计，假设我们可以将这项技术的益处惠及全球，他们的生活将会好得多。意义对他们来说仍然很重要，就像现在一样，但我们不应该忘记这一点。将意义视为唯一重要的事情，在某种程度上，是那些经济上幸运的少数人的产物。
但即便如此，我认为一个拥有强大人工智能的世界是可能的，它不仅能为每个人带来同样多的意义，而且能为每个人带来更多意义。它可以让每个人都能看到以前没有人或只有极少数人才能体验到的世界和经历。所以我对意义持乐观态度。我更担心的是经济和权力集中。这才是我的真正担忧。我担心的是如何确保公平的世界惠及每个人。当人类遭遇困境时，往往是因为人类虐待其他人类。这也许比人工智能的自主风险或意义问题更为重要。这是我最担心的问题：权力集中、权力滥用，以及像专制和独裁政权这样的结构，少数人剥削多数人。我对此非常担忧。
莱克斯：人工智能增加了世界上的权力。如果权力集中并被滥用，就会造成不可估量的损害。
阿莫迪：是的，这非常可怕，非常可怕。
莱克斯：我强烈建议大家阅读全文，它应该是一本书或一系列论文，因为它描绘了一个非常具体的未来。我注意到后面的部分越来越短，可能是因为你意识到这将是一篇非常长的论文。
阿莫迪：第一，我意识到它会很长。第二，我非常清楚并努力避免成为那种过于自信、对所有事情都有看法、说一大堆话却并非专家的那种人。我非常努力地避免这种情况，但我必须承认，一旦我写到生物学部分，我就不是专家了。所以，尽管我表达了不确定性，但我可能也说了一些令人尴尬或错误的事情。
莱克斯：我很兴奋于你描绘的未来，非常感谢你为创造这个未来而努力工作，也感谢你今天与我交谈，Dario。
阿莫迪：谢谢邀请。我只是希望我们能够做到正确并将其变为现实。如果我想传达一个信息，那就是为了让所有这些事情都正确，让它成为现实，我们需要同时做到两点：构建技术、构建公司、构建围绕积极使用这项技术的经济；同时，我们也需要应对风险，因为这些风险阻碍着我们。它们是通往目标道路上的地雷，如果我们想到达那里，就必须排除这些地雷。
莱克斯：这就像生活中的所有事情一样，需要平衡。
阿莫迪：就像所有事情一样。
莱克斯：谢谢。感谢收听与Dario Amodei的对话。
参考资料: https://www.youtube.com/watch?v=ugvHCXCOmm4，公开发表于2024-11-11
👇关注公众号后设🌟标，掌握第一手AI新动态
