Inflection AI 创始人穆斯塔法·苏莱曼：正在用比GPT-4强10-100倍的算力构建超级计算机
文摘
科技
2023-09-07 12:44
美国
人们（尤其是美国人）对悲观前景抱有这种恐惧。我的意思是，有多少次人们来找我说：“你看起来相当悲观。”不，我只是不会用这种简单化的“你是乐观主义者还是悲观主义者”来思考问题。可怕的框架。是胡扯。我都不是。我只是在观察我所看到的事实，我正在尽我所能分享我所看到的，以供公众批判性的审视。如果我错了，就把它撕成碎片，让我们辩论一下——但无论如何，我们都不要偏向这些偏见。
穆斯塔法·苏莱曼（Mustafa Suleyman）是DeepMind三人组的成员之一，他的新人工智能项目正在建造一台世界上最大的超级计算机，用于在10-100倍于用于训练ChatGPT的计算机上训练大型语言模型。然而，穆斯塔法远非这位极度乐观的科技创始人的刻板印象，他对未来深感担忧，因为他在新书中阐述了一些原因。 即将到来的浪潮：技术、权力和21世纪最大的困境 （与迈克尔巴斯卡合著）。未来可能真的很美好，但前提是我们要抓住公牛的角，解决技术抛给我们的新问题。按照穆斯塔法的说法，人工智能和生物技术将很快成为犯罪分子和恐怖分子的巨大帮手，使小团体能够以以前难以想象的规模造成伤害。民主国家已经学会在混乱和威权主义之间走一条“窄路”，避免极端开放和极端封闭带来的负面影响。人工智能可以很容易地破坏目前平衡，使我们在任何一个方向上都处于危险状态。最终，在我们的有生之年，人类可能不再需要为了生存而工作——或者说，甚至可以选择这样做。这只是我们面临的三个挑战。穆斯塔法认为，在未来几年里，走马观花、追求自己议程的“失调”人工智能不会成为一个问题，也不会成为当前大型语言模式的一个问题。但他认为，在某些时候——8年、10年或12年后——这将成为一个完全合理的担忧，并说我们需要提前计划。在 未来的浪潮 中，穆斯塔法列出了一个“遏制”的十部分议程，也就是说，限制新兴技术带来的不可预见的负面后果：- 从根本上提高政府对人工智能的理解及其明智监管人工智能的能力
- 在人工智能实验室中建立一种自我批评的文化，在现状不起作用时公开接受
- 创建一个理解人工智能并能要求必要控制的群众性公众运动
- 不是太依赖延迟，而是寻求进入一个新的某种稳定的均衡
正如穆斯塔法所说，“人工智能是一种几乎可以想象到的所有用例的技术”，这将要求我们及时重新思考一切。- 穆斯塔法的政策观点是否符合他对变革性人工智能的时间表
- 在人工智能实验室里，对这些问题有非常不同看法的人是如何相处的？
- 对于穆斯塔法的新公司来说，训练比GPT-4大得多的型号是否危险？
强调
如何让怀疑论者认真对待安全问题
穆斯塔法·苏莱曼： 书的第一部分提到了“悲观厌恶”的概念，这是我整个职业生涯经历过的事情。我一直觉得自己就像角落里的怪人，正在敲响警钟，说：“等一下，我们必须小心。”显然，很多人听这个播客可能会熟悉这一点，因为我们都有点边缘。但当然，在硅谷，这类事情…我有时会被称为“贴花”，但实际上我不得不抬头一看。我想这是一出关于我是个无赖的戏，显然我不是，还有某种减速主义者或者路德蒂什么的--考虑到我对公司的实际工作，这显然也是一种香蕉。穆斯塔法·苏莱曼： 很有趣，不是吗？因此，人们（尤其是美国人）对悲观前景抱有这种恐惧。我的意思是，有多少次人们来找我说：“你看起来相当悲观。”不，我只是不会用这种简单化的“你是乐观主义者还是悲观主义者”来思考问题。可怕的框架。是胡扯。我都不是。我只是在观察我所看到的事实，我正在尽我所能分享我所看到的，以供公众批判性的审视。如果我错了，就把它撕成碎片，让我们辩论一下——但无论如何，我们都不要偏向这些偏见。我在这些谈话中发现的有成效的事情是：坦率地说，国家安全部门的人要清醒得多，让他们头脑清醒的方法就是谈论滥用。他们从坏行为者、非国家行为者、对民族国家的威胁的角度来看待事物。在这本书中，我真的试图把这一点作为民族国家和稳定的含义来阐述——因为在某种程度上，无论你是进步主义者还是其他人，我们都关心当前秩序的持续稳定。我们真的不想生活在这个 疯狂的麦克斯 伊恩，超级自由主义者，混乱的后民族国家世界。民族国家，我想我们都同意，一个戴着镣铐的利维坦在限制坏权力的混乱出现方面做得很好，并用它来做再分配，以保持和平与繁荣。所以我认为这一点是一致的。如果你明确指出这有可能被滥用，我认为这是有效的。什么是无效的，我可以告诉你，是对超级智能的痴迷。老实说，我认为这对实际的辩论起到了震撼人心的分散作用--如果不是有害的话。还有很多更实际的事情。因为我想很多在政策圈里听到这个的人都认为，这不是给我的。这完全是推测。什么叫“递归自我改进”？你什么意思，‘阿拉莫斯黄金超级情报接管’？多少人几乎没有听说过“阿拉莫斯黄金”这个短语，但却知道 回形针 简直难以置信。完全不懂技术的人会说，“我听说过回形针的事怎么你觉得可能吗”"天啊别再说曲别针了"所以我认为要避免这方面的事情：关注误用。
穆斯塔法的公司有可能加速向危险能力的竞赛吗？
罗伯·维布林： 在这个主题上，听众反复提出的问题基本上是这样的：你显然对书中人工智能能力的进步感到震惊，你担心政策滞后。在这本书中，你提出了各种不同的遏制策略，比如审计和使用瓶颈点来减缓速度。你说我们需要找到方法，一句字面上的名言：“寻找方法来争取时间，放慢速度，为更多的工作提供空间。”但与此同时，你的公司正在建造世界上最大的超级计算机之一，你认为在接下来的18个月里，你可能会做一个比生成GPT-4的语言模型大10倍或100倍的语言模型训练运行。有没有可能是你自己的行为加速了你不希望发生的危险能力的竞赛？穆斯塔法·苏莱曼： 我不认为这是正确的，有很多原因。首先，我认为对民族国家稳定的主要威胁不是这些模式本身的存在，或者确实是这些具有我提到的能力的模式的存在。民族国家的主要威胁是权力的扩散。权力的扩散很可能导致灾难和混乱。中央集权有一个不同的威胁——这也是同样糟糕的，需要注意的——那就是威权主义和滥用中央集权，这是我非常关心的。所以这是肯定的。但就像我们之前说的，我不属于Alamos Gold智能爆炸阵营，他们认为仅仅通过开发具有这些能力的模型，它就突然跳出框框，欺骗我们，说服我们去获得更多的资源，并在不经意间更新自己的目标。我认为这种拟人化是错误的比喻。我认为这是一种干扰。所以训练跑步本身，我不认为在这种规模下是危险的。我真的不知道第二件事是，这些巨大的动机推动了这些模型的建立。这些巨大的地缘政治激励，以及我们刚才讨论过的在开源中研究这些东西的巨大愿望。因此，整个创造生态系统默认为生产。我不参与当然不会降低这些模型被开发的可能性。所以我认为我们能做的最好的事情就是试着开发并安全地开发它们。现在，当我们确实需要从我提到的特定功能中后退一步的时候--递归的自我改进和自主--那么我会的。我们也应该这样。而事实上，我们在桌边——例如， 最近在白宫 在签署自愿承诺的过程中，美国七家公司之一签署了这些承诺--这意味着我们能够决定结果的分布，将道德和安全问题放在这些讨论的首要位置。所以我认为当你可以使用欧弗顿窗口的时候，你可以塑造它，因为你是参与者和玩家。我觉得每个人都是这样的。我认为每一个考虑人工智能安全的人都应该努力实现他们的调整意图，他们的调整目标。我认为，你必须在实践中实际证明这是可能的。
开源前沿市场营销模式
穆斯塔法·苏莱曼： 我想我已经很清楚地指出了大规模接入的风险。我认为 我称之为 "天真的开源-在20年的时间。"所以这意味着，如果我们继续为每一代新一代的前沿模型开放源代码，那么我们很可能会看到力量的快速增长。这是一种类似国家的力量，它使小团体的行动者，甚至是个人，能够在世界上产生前所未有的一对多的影响。就像上一波社交媒体让任何人都有了播音权一样，从“90”S到2000年S，任何人基本上都可以作为整个报纸运作，你可以在Twitter、Instagram或其他网站上拥有数百万的追随者，你真的在影响世界——这种方式以前是出版商的专利，在大多数情况下是许可和监管的，如果它真的做了一些惊人的事情，那是一个可以被追究责任的权威。而所有这些现在都有点消失了——顺便说一句，这是有很好的理由的，在某些情况下也带来了不好的后果。我们将看到同样的轨迹，在获得影响世界的能力方面。你可以认为这与我提出的现代图灵测试有关 有能力的 AI：就像机器从根据它们说的话来评估-你知道，原始图灵测试的模仿测试-到根据它们能做什么来评估机器。他们能使用API吗？它们对其他人类的说服力有多大？他们能与其他人工智能互动，让他们做一些事情吗？因此，如果每个人都得到这种权力，那就开始看起来像是个人拥有了组织甚至国家的权力。我说的是两个、三个或者四个数量级的模型。而我们离这一点也不远了。在接下来的三年里，我们的训练模型将是现在的1000倍。即使是拐点，用我们现有的计算，在未来18个月内，也会比目前的前沿模型大100倍。虽然我在开源的事情上承受了很多压力，但我显然不是在谈论今天的模型：我是在谈论未来的几代人。我仍然认为这是正确的，我坚持这一点-因为我认为如果我们不进行这样的对话，那么我们最终基本上会把大量混乱的不稳定工具交到每个人的手中。你如何在实践中做到这一点，有人提到它就像试图抓住雨水或试图用手抓住它来阻止雨水。我认为这是一个很好的反驳；它绝对是正确的：当然，这是非常困难的。我不是说这不难。我是说这是我们必须要讨论的话题。
人工智能实验室的自愿承诺与强制承诺
罗伯·维布林：7月，Inflection与白宫签署了8项自愿承诺】（https://www.whitehouse.gov/briefing-room/statements-releases/2023/07/21/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-leading-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/),包括致力于内部和外部安全测试、投资网络安全和内部威胁防护措施，以及促进第三方发现和报告漏洞。不过，那些都是自愿的。你希望美国和英国的所有主要人工智能实验室都做出哪些承诺？穆斯塔法·苏莱曼： 这是个好问题。我认为，其中一些自愿承诺应该成为法律授权。第二条：需要有一个针对有害模式能力的框架，比如生物武器训练、核武器、化学武器、一般炸弹制造能力。这些东西很容易记录下来，而且不可能降低进入门槛，让那些没有专业知识的人更容易地去制造这些东西。第三个——那 我曾公开说过 也是我很在意的-我们应该宣布这些模型不应该被用来竞选。。他们不应该成为政治进程的一部分。你不应该问Pi，Pi会投谁的票，或者这两个候选人有什么区别。现在，反对的观点是，很多人会说这可能会提供有用的，准确的和有价值的信息来教育人们关于选举的知识，等等。你看，这里永远不会有一个完美的解决方案：为了避免伤害，你必须把好处拿走，这总是一种权衡。你不可能有完美的利益而没有任何伤害。这只是一种折衷。我宁愿把这一切都抛开，然后说我们罗布·维布林： 一旦我们明白了如何安全地做到这一点,我们以后就可以把一部分放回去。穆斯塔法·苏莱曼： 这是最好的办法。这绝对是最好的办法。现在，很明显，很多人说我太天真了，声称这是可能的，因为像稳定扩散和LLAMA 2这样的模型已经在开源中发布了，而且人们肯定会用它来竞选。再说一遍，这并不是要解决每一个对我们民主的威胁，它只是想说，至少大规模的 超标模型 提供商——如亚马逊、微软、谷歌和其他公司——应该直接说，“这违反了我们的服务条款。”所以如果你不声明你的选举材料是人工制作的，你会让事情变得更困难，甚至是更忌讳。
正文：
穆斯塔法·苏莱曼： 我想我已经很清楚地指出了大规模接入的风险。我认为 我称之为 "天真的开源-在20年的时间。"所以这意味着，如果我们继续为每一代新一代的前沿模型开放源代码，那么我们很可能会看到力量的快速增长。这是一种类似国家的力量，它使小团体的行动者，甚至是个人，能够在世界上产生前所未有的一对多的影响。虽然我在开源的事情上承受了很多压力，但我显然不是在谈论今天的模型：我是在谈论未来的几代人。我仍然认为这是正确的，我坚持这一点-因为我认为如果我们不进行这样的对话，那么我们最终基本上会把大量混乱的不稳定工具交到每个人的手中。罗布·维布林： 听众们，我是罗伯 80000 小时的研究主管。穆斯塔法·苏莱曼（ Mustafa Suleyman ）是 DeepMind 的创始人之一，除了宣传这本书，他还有 一家新的大型人工智能公司 要运营，所以我们只有一个小时的时间和他在一起。由于时间有限，我试图把重点放在穆斯塔法在DeepMind的10年可能会给他带来独特视角的话题上——以及与他的新人工智能公司有关的问题，比如它是否会让人工智能带来的风险变得更糟，以及他希望这会如何帮助他。- 我们是否会在接下来的一年里再一次被即将问世的模特所震撼
年轻时，穆斯塔法曾就读于牛津大学，但后来辍学帮助开办了穆斯林青年热线，并与伦敦市长一起从事人权政策方面的工作。但在2010年，他与儿时的朋友Demis Hassabis一起帮助创建了世界顶级人工智能实验室DeepMind。2014年，DeepMind被谷歌收购，他成为DeepMind应用人工智能部门的负责人，而在2019年，他离开DeepMind，在谷歌母公司担任政策职位。2022年，他离开谷歌，与LinkedIn创始人里德·霍夫曼(Reid Hoffman)一起创建了拐点AI。“拐点”已经获得了超过10亿美元的投资，并且正在努力建造世界上最大的超级计算机之一。它的重点是建立一个有益的聊天机器人，更多的个人，提供情感支持和幽默比其他选择更多。它还应该记住过去的对话，并逐渐获得更多关于你和你的活动的背景。希望它能成长为一位治疗师、一位支持他的朋友、一位商业顾问和一位行政助理。他们称这个项目和服务 圆周率 “个人人工智能”，如果你喜欢的话，你可以在personal.ai上自己尝试一下。这个月，穆斯塔法和合著者迈克尔·巴斯卡将出版他们的新书， 即将到来的浪潮：技术、权力和21世纪最大的困境 ，我不得不说，这绝对是一个令人振奋的阅读。它表明，我们即将进入一个令人眼花缭乱的技术变革时期——一方面，这可能极大地改善人类的状况，但另一方面，也可能导致人类走向灾难的任何一打不同的方式：主题，将非常熟悉的常规听众的节目。谢谢你上播客穆斯塔法。穆斯塔法·苏莱曼： 非常感谢邀请我。很高兴来到这里。长期以来，我一直是播客和运动的粉丝。罗布·维布林： 我想谈谈你打算如何 拐点人工智能 帮助解决 即将到来的Wave 中描述的问题，以及您希望政府对人工智能实验室提出的要求。但首先，我请我们的观众给你们发一些问题，其中一个反复出现的问题是想澄清，你认为我们什么时候会有不同的人工智能能力。这是一个非常困难的问题，但你已经被引用在 一些文章 可以说，在两年内，ML模型将能够自主地运营一家在线企业，并在几个月内将10万美元转化为100万美元，这是一个潜在的超级重要门槛，你在书中强调了这一点，你称之为 现代图灵测试 ，现在我想我们已经完全超越了正常的老 图灵测试 .对我来说，能够经营一家将100,000美元变成100万美元的企业听起来非常令人印象深刻。这是一个非常普遍的任务，包括参与各种不同的活动，并找出如何以合理的顺序来完成这些活动而且我猜有超人的表现，至少在底线上是这样。同时，也有 另一个采访 你说，你同意，一旦人工智能的发展接近危险，我们可能会希望放慢它的发展速度，但你没有预见到这在未来10年左右的时间里是必要的。这两种观点让我和一些听众感到有些紧张。你能解释一下你对这一切的看法吗？穆斯塔法·苏莱曼： 因此，我认为有一个重要的澄清—这是一种厚颜无耻的补充，但非常重要的——我在我的文章、推特和书中都进行了现代图灵测试（Modern Turing Test），也就是说，在很少的人为疏忽下，两年内这是可能发生的。因此，在这条道路上会有重要的步骤，人们必须注册一家公司，管理银行账户；最终，会有一堆事情，不会完全自主完成。各个组件可以自主完成。你可以想象一下，人工智能被给予一个一般性的指令，去制造一个可能对人们有价值和有用的产品，去生产它，去写所有需要的通信，去制造它，去谈判价格，去确定一个托运人，等等。所有这些都有可能发生。罗布·维布林： 是啊。什么东西会使一个模型变得危险，但你认为在两年内很可能会缺乏，或者当我们有了一种你认为有能力以这种方式经营企业的模型时？穆斯塔法·苏莱曼： 我认为这是非常重要的，特别是对在座的观众来说，要区分模型本身的危险性和这些技术的潜在用途使那些心怀不轨的人能够大规模地造成严重的伤害。它们有着本质上的不同。因为回到你的第一个问题，我之所以说，我没有看到任何证据表明我们正处在一个必须放慢能力发展的轨道上，因为有可能出现失控的情报爆炸，或者是失控的递归自我改进，或者是模型的一些固有特性，它本身就有可能造成大规模的伤害：我仍然没有看到，我坚持了十年的时间框架。我的意思是，我知道我们在阿拉莫斯黄金安全社区痴迷于时间线，就像我每次去讨论的第一件事，“那么你的时间表是什么？更新了吗？”等等等等。我记得我去了 2011年牛津冬季情报会议 .我认为这可能是第一次适当召开的一个阿拉莫斯黄金安全类会议。最后，这是一个为期一天的活动，人们递给这张纸片。我想这是一份被传了出去的论文，每个人都手写了他们的阿拉莫斯黄金时间表。很明显光谱是巨大的。这是个有趣的测试。所以时间线的问题显然是非常重要的。我不想轻视它。这很有趣我们对它有多着迷。我认为我们真的很不擅长做这些估计。所以当我说10年的时候，我实际上说的是我不是说10年而不是8年或者12年：我的意思是，这是一个足够长的时间范围，我会认为它是中期的，我很难预测在任何其他时间块，如短，中或非常远-“非常远”是20年以上。但我认为这是中等程度的，我认为这本身就是一种严重的风险，我在十年内将某种存在主义的威胁赋予了一个相当重要的百分比。罗伯·维布林： 好吧，也许这个想法是短期的，在接下来的几年里，我们需要担心滥用：一个有人类协助的模型被用来做坏事，这是一个迫在眉睫的问题。然而，一个运行在某种程度上失去控制的模型，在没有人类支持和反对人类努力控制它的情况下，更自主地行动，这更是我们在10年时间内或更长时间内可能会考虑的事情。这是你的猜测？穆斯塔法·苏莱曼： 这绝对是我的看法。这是滥用和自主权之间的关键区别。我认为我们需要对一些能力进行追踪,因为这些能力增加了这 10 年事件提前发生的可能性。例如，如果模型被设计成默认情况下具有自主运行的能力：所以作为一个内在的设计要求，我们正在工程的能力去设计自己的目标，学习使用任意的工具来做决定完全独立于人类的监督。与此相关的第二个功能显然是递归的自我改进：如果模型的设计目的是更新自己的代码，重新训练自己，并通过新的微调数据或来自环境的任何类型的新交互数据产生新的权重，无论是模拟的还是真实的。这些能力应该让我们停下来思考。罗布·维布林： 我想你会比我更清楚，但我的感觉是，很多人都在努力想办法把这些模型转变成能够在越来越少的人为监督下行动的自主代理。你认为什么会阻止它，这意味着我们在未来10年内不会有真正有用的例子？穆斯塔法·苏莱曼： 好吧，我不认为我们会有有用的例子。我认为，我们可能正在开发这些能力，但它们并不一定代表着生存的威胁。我想说的是，它们预示着一个更大威胁的开始。在拐点问题上，我们实际上没有研究这些能力中的任何一种，递归的自我改进和自主性。我选择了一个产品方向，我认为它可以使我们在不需要工作的情况下获得极大的成功。我的意思是，我们不是阿拉莫斯黄金公司，我们不是要建立一个超级情报。我们正在尝试建立一个个人人工智能。现在，它将具有非常有能力的人工智能一样的品质；它将从人类的反馈中学习；它将以看似神奇和令人惊讶的方式为你合成信息；它将能够访问大量你的个人信息。但我认为，建立通用学习代理的探索，要有能力在广泛的环境中表现良好，可以自主操作，可以制定自己的目标，可以识别环境中的新信息，新的奖励信号，并学会使用这些作为自我监督，随着时间的推移更新自己的权重：这是一个完全不同的代理质量，这是完全不同的，我认为，个人人工智能产品。开源前沿ML模型
罗伯·维布林： 最近有这样的 大辩论 前沿机器学习模型的开源。尽管美国国会议员担心，越来越先进的大型语言模型可能会被滥用，而把战略技术交给中国等美国对手的习惯是否如此明智，但Facebook一直坚持公布这些模型的权重。虽然Facebook对他们的模型进行了调整，试图降低他们帮助犯罪行为的可能性，但是一旦你有了原始的权重，那么消除任何类似的调整都是微不足道的。所以你可以让模特做任何你想做的事。一旦你给出了重量，你就放弃了对它的控制。穆斯塔法·苏莱曼： 你在那里养了三样不同的东西。我不确定我会同意，这是微不足道的，以消除微调和对齐。这是一个问题。第二件事是，拒绝中国获得前沿技术的逻辑是什么？那会有什么后果？这对全球稳定和真正冲突的可能性意味着什么？第三个问题是关于开源的问题。关于开源的事情：我想我已经很清楚地指出了大规模访问的风险。我认为 我称之为 "天真的开源-在20年的时间。"所以这意味着，如果我们继续为每一代新一代的前沿模型开放源代码，那么我们很可能会看到力量的快速增长。这是一种类似国家的力量，它使小团体的行动者，甚至是个人，能够在世界上产生前所未有的一对多的影响。就像上一波社交媒体让任何人都有了播音权一样，从“90”S到2000年S，任何人基本上都可以作为整个报纸运作，你可以在Twitter、Instagram或其他网站上拥有数百万的追随者，你真的在影响世界——这种方式以前是出版商的专利，在大多数情况下是许可和监管的，如果它真的做了一些惊人的事情，那是一个可以被追究责任的权威。而所有这些现在都有点消失了——顺便说一句，这是有很好的理由的，在某些情况下也带来了不好的后果。我们将看到同样的轨迹，在获得影响世界的能力方面。你可以认为这与我提出的现代图灵测试有关 有能力的 AI：就像机器从根据它们说的话来评估-你知道，原始图灵测试的模仿测试-到根据它们能做什么来评估机器。他们能使用API吗？它们对其他人类的说服力有多大？他们能与其他人工智能互动，让他们做一些事情吗？因此，如果每个人都得到这种权力，那就开始看起来像是个人拥有了组织甚至国家的权力。我说的是两个、三个或者四个数量级的模型。而我们离这一点也不远了。在接下来的三年里，我们的训练模型将是现在的1000倍。即使是拐点，用我们现有的计算，在未来18个月内，也会比目前的前沿模型大100倍。虽然我在开源的事情上承受了很多压力，但我显然不是在谈论今天的模型：我是在谈论未来的几代人。我仍然认为这是正确的，我坚持这一点-因为我认为如果我们不进行这样的对话，那么我们最终基本上会把大量混乱的不稳定工具交到每个人的手中。你如何在实践中做到这一点，有人提到它就像试图抓住雨水或试图用手抓住它来阻止雨水。我认为这是一个很好的反驳；它绝对是正确的：当然，这是非常困难的。我不是说这不难。我是说这是我们必须要讨论的话题。罗布·维布林： 是啊。在实践中去除微调的难度有多大？我想我是夸大了，当我说这是微不足道的。我想这需要一系列的技术，你必须从人类的反馈中进行一系列的强化学习来解除模型上的约束。是照片吗？穆斯塔法·苏莱曼： 正确。是我觉得挺难的。这当然不是微不足道的,我认为这需要大量的专业知识。我认为另一件要考虑的事情是，我们都向当局提出的一个例子是与生物武器和化学武器的发展有关。这显然降低了进入的门槛，可以开发出某种类型的具有潜在危险性的合成化合物，可能是武器，也可能是病原体或类似的东西。那肯定是真的。它可以充当一个教练，试图推动你沿着你的道路前进，当你把它放在一起的时候：当你在实验室遇到技术挑战的时候，从哪里得到工具，等等。我认为有可能将这些内容从预培训中删除，使之一致，等等，并真正降低人们能够做到这一点的风险。而且我认为，即使是从开源软件中，也很难在事后的模型中重新展示这些功能。我不是100%肯定，但我认为这将是相当困难的。这绝对比把它留在里面难多了。我认为第二件要考虑的事情是，这些知识和专业技能已经在网络上随处可见。所以对于坏演员，我们所要做的就是尽可能地让它变得困难。你不可能完全消除风险，所以在某些时候你要问自己，“通过提供这样一个模型，我们所暴露的新风险是什么，这不是我们已经暴露的风险？”——考虑到这些信息在开放网络上的可访问性，这显然是存在的。我认为，对于 开源羊驼2 ，我个人并不认为我们增加了世界的生存风险，也没有以任何物质的方式对世界造成任何灾难性的伤害。我觉得他们在外面挺好的。罗伯·维布林： 有意思。是的，我同意。我认为，目前的模式，糟糕的结果将主要是，它们可能会在某种程度上带来麻烦。他们可以帮我骗别人什么的。但我担心的是，有这样的先例，人们只会说，我们必须开放所有的东西。那五年、十年、十五年或二十年后，我们又会怎样呢？他们会变得越来越强大。目前，这对设计生物武器并没有任何帮助，但在10年或15年后，它可能会产生很大的影响。是的，我只是不确定。我觉得我们现在得开始限制开源了，基本上是在预期这一点。穆斯塔法·苏莱曼： 我认为这是完全正确的。我认为，不幸的是，开源社区对此有很多极端的愤怒——我完全可以理解，因为它是负担得起的，任何人都可以尝试它，它一直是在过去的进步引擎。像我这样筹集了很多很多钱，有机会做这件事的人说出来也不太好。所以我完全欣赏这种看似基本矛盾的立场，我只是在强化我自己的成功之类的东西。所以我完全接受。可惜我还是相信我是对的。因此，我真诚地、真诚地致力于正确的事情，尽管这是一种完全的利益冲突。所以希望其他人也能提出这个论点。罗布·维布林： 是啊。我不经营人工智能公司我想你是对的。罗布·维布林： 也许这样会更可信。地缘政治的角度呢？你认为那些认为人工智能具有战略性的国家安全人员会对减少开放源代码感兴趣，因为他们认为这是把一项具有战略重要性的技术交给其他国家吗？穆斯塔法·苏莱曼： 我认为这是很有可能的。从我过去几年在美国的所有谈话中，某种程度上也包括在英国，我可以看到，我们已经从把中国视为战略对手——这是一个短语，意味着我们可以相处，但会有一点拥挤，我们将是竞争对手——转变为把它视为一个根本威胁。所以 出口管制 实际上是一场经济战争的宣言。我们可以讨价还价 H800 使他们能够使用H100进行尽可能多的训练计算。我认为，在实践中，它可能会使它们慢30%到50%，因为H 800仍然可以像其他芯片那样被链接在一起，所以你真的可以多买50%的芯片--我认为这就是其中一些公司所做的。我不认为他们会因为这个而受到很大的阻碍。然而，他们将被断然拒绝接触下一代。 下一个 都将彻底疯掉。我的意思是，这是一个非常非常强大的芯片，所以我认为这是人们应该集中注意力的地方。这对他们的发展是一个非常重要的阻碍，他们很难通过从零开始制造其他芯片等方式来赶上。所以，是的，这真的会让他们慢下来，而且不会不受惩罚。我的意思是， 他们已经反击了 对一些原材料实行制裁[如 美光科技 ，所以我期待看到更多这样的情况。让更多的人参与决策的挑战
罗布·维布林： 是啊。当你参与到DeepMind和Google的时候，你试着让更多的人参与人工智能的决策，至少因为它影响了更广泛的社会。但在书中你描述了这些努力是如何或多或少地化为乌有的。相对于你在书中提到的其他挑战，解决这个问题的优先级有多高？穆斯塔法·苏莱曼： 这是个好问题。老实说，在DeepMind工作的十年里，我花了大量的时间试图把更多的外部监督作为我们构建这些技术的核心管理功能。这是一个相当痛苦的练习。权力自然不希望这样。虽然我认为谷歌的意图是好的，但它仍然是一种传统的官僚主义。不幸的是， 当我们成立谷歌道德委员会时 ，这是一个真正的气候，当取消文化是它的绝对高峰。我们的观点是，我们基本上会有这九名独立成员，虽然他们没有法律权力阻止一项技术或超出他们的范围进行调查，但他们依赖我们，正如Google DeepMind所展示的，这仍然是对我们正在开发的敏感技术提供外部监督的重要一步。但我认为推特和其他地方的一些人认为，因为我们任命了一个保守派，传统基金会的主席，她在过去发表了一些反跨性别和反同性恋的言论，相当严重的言论，这意味着她应该被取消，她应该从董事会中撤出。所以在宣布的几天内，人们开始在大学校园里发起运动，迫使其他人退出董事会，因为他们在董事会的存在就是同谋，意味着他们纵容她的观点和诸如此类的事情。我只是觉得这是一个完全的讽刺，非常令人沮丧，因为我们花了两年时间试图让这个董事会运转起来，这是对正在开发的非常敏感的技术进行真正的外部审查的第一步。不幸的是，这一切都在一周内结束了，因为九个人中的三个人辞职了，最后她也辞职了，然后我们在一周内失去了一半的董事会成员，这完全是站不住脚的。然后公司转过来说，“我们为什么要搞这个？这是在浪费时间。”罗伯·维布林： 这是一个非常惊人的故事，我在书中读到这一点。人们抱怨说，具有全球重要性和历史重要性的重大决定，都有可能在这些人工智能实验室里做出，我认为这是对的-而在这些实验室工作的人在他们的政治观点、价值观、他们研究过的东西以及他们碰巧知道的信息方面只占世界上的一小部分。因此，如果我们能让更广泛的人群参与对这些问题进行审查或提供一些投入，那就太好了。但为了与全球南部的普通大众分享权力，甚至仅仅是在美国或英国的大城市之外，将不可避免地涉及对那些观点非常冒犯谷歌员工的人施加影响——我想这些人的观点可能比凯科尔斯詹姆斯（Kay Coles James）的观点更冒犯，詹姆斯因为对性别持有更保守、更传统的观点而不得不从董事会辞职。因此，基于这一经验，这似乎是不太可能发生的，因为我们可能会完全接受，让更多的英国受过教育的人加入谷歌。这将是人们能容忍的最大限度。穆斯塔法·苏莱曼： 是啊。这也是问题的一部分，对吧？我的意思是, 40 %的美国人认为变性人权利发展得太快, 30 %的人认为堕胎应该被定为非法,还有 30 %反对同性婚姻。穆斯塔法·苏莱曼：Right, exactly, then think globally. So I think we have to just learn to sit down with people who we fundamentally disagree with. That goes for China and the Taliban and all these people who hold these views — because if we can’t do that, then we’ve really got no chance of actually hearing one another out and changing one another’s views and making progress. I think in the last two or three years, I feel like we’ve really taken a few backward steps in that direction, and it’s super problematic because it just demonises the other and then we just end up hating on one another.这对我们来说非常令人沮丧，因为我们付出了巨大的努力来实现这一点。在此之前，当我们被收购时，我们提出了收购的条件，我们有一个道德和安全委员会。这本身就是朝着这种更广泛的公众努力迈出的第一步。在道德和安全委员会之后，我们实际上试图将DeepMind打造成一家全球利益公司：一家在决策时必须考虑所有利益相关者的法律要求的公司。所以这是一家担保有限公司。然后，宪章的定义为阿拉莫斯黄金公司的发展提供了道德和安全使命；我们实际上有能力将我们的大量收入用于科学和社会使命。所以这是一个非常有创意和实验性的结构。但当Alphabet看到那块板子发生的事情时，他们基本上只是临阵退缩了。这是底线。他们看到了那里发生的一切他们就说“这太疯狂了。同样的事情也会发生在你的全球利益公司身上。为什么要这么做？”后来我们把DeepMind拉进了Google，从某种程度上说，DeepMind从来就不是独立的，现在也不是独立的，显然现在它完全是Google的一部分了。罗布·维布林： 是啊。试图强调代表性的核心是，你将把权力交给不认同你价值观的人。如果人们不愿意做出妥协，那么这是不会发生的。对于一些实验室来说，从更广泛的社会获得更多的投入，你认为这是一个渐进的步骤吗？穆斯塔法·苏莱曼： 我真的被困住了。我觉得真的很难。还有另一个方向，就是让学术团体获得更多的机会，并实际上做 红色成组 或者对规模的审计或者对模型能力的审计：这是我听到的三个建议，我一直非常支持，当然也和斯坦福和其他地方的人一起探讨过。但我认为这里有一个真正的问题，那就是：如果你把普通的博士生或博士后研究员可能在几年内从事这方面的工作，他们很可能会去商业实验室，对不对？因此，如果我们给他们机会，那么他们可能会把知识和专业技能带到其他地方，可能是竞争对手那里——毕竟，这是一个开放的劳动力市场。所以这并不是一种可持续发展的方式。几周前我和珍·伊斯特利见了面 美国网络安全机构 ，我和她在讨论，也许可以用更传统的 渗透测试 顾问做红色组队，因为他们有商业动机，在保持信息的最高机密，他们已经清除了很长一段时间，他们是值得信赖的—但在同一时间，他们可以作出独立的公开声明，遵守各种标准或不。在某种程度上我更喜欢这个方向，因为他们有明确的动机不泄露信息，这是一个更商业化的机构。我们在DeepMind有一段时间确实有一个很酷的混合系统 托比·奥德 .但我觉得托比是个很特别的人我的意思是，在EA还没有出现之前，他就已经是EA的一员了，我在DeepMind的时候，我们就让他来参观，至少几年来每周都是这样。但他不是工程师。他毕生致力于成为EA的修道士。而且，我甚至不确定这实际上有多大的影响。我的意思是，我认为他是一个很好的人身边，但我不认为这是一个实际的监督机制。穆斯塔法·苏莱曼： 我就是这个意思。完全是。是啊没错。如何让怀疑者认真对待安全
罗伯·维布林： 另一个经验，你分享在 即将到来的浪潮 很多年前，你就试图向你的同事们敲响关于人工智能可能带来的社会影响的警钟，却遭到了不感兴趣和茫然的眼神。科技行业的一些人，可能现在人数正在减少，似乎仍然持有这样的态度：一切都很可能很好，我们所要做的就是尽快推进一切。而你这本书的中心主题只是它可能没有那么简单。这些年来，你有没有发现一些有说服力的论点，让你所在行业的怀疑者坐直了身子，认真对待这样一个想法：我们更接近于走钢丝，而不仅仅是在一条直线跑道上比赛？穆斯塔法·苏莱曼： 这是一个很好的问题：说服人们更关心这个问题的策略。书的第一部分提到了“悲观厌恶”的概念，这是我整个职业生涯经历过的事情。我一直觉得自己就像角落里的怪人，正在敲响警钟，说：“等一下，我们必须小心。”显然，很多人听这个播客可能会熟悉这一点，因为我们都有点边缘。但当然，在硅谷，这类事情…我有时会被称为“贴花”，但实际上我不得不抬头一看。我想这是一出关于我是个无赖的戏，显然我不是，还有某种减速主义者或者路德蒂什么的--考虑到我对公司的实际工作，这显然也是一种香蕉。穆斯塔法·苏莱曼： 很有趣，不是吗？因此，人们（尤其是美国人）对悲观前景抱有这种恐惧。我的意思是，有多少次人们来找我说：“你看起来相当悲观。”不，我只是不会用这种简单化的“你是乐观主义者还是悲观主义者”来思考问题。可怕的框架。是胡扯。我都不是。我只是在观察我所看到的事实，我正在尽我所能分享我所看到的，以供公众批判性的审视。如果我错了，就把它撕成碎片，让我们辩论一下——但无论如何，我们都不要偏向这些偏见。我在这些谈话中发现的有成效的事情是：坦率地说，国家安全部门的人要清醒得多，让他们头脑清醒的方法就是谈论滥用。他们从坏行为者、非国家行为者、对民族国家的威胁的角度来看待事物。在这本书中，我真的试图把这一点作为民族国家和稳定的含义来阐述——因为在某种程度上，无论你是进步主义者还是其他人，我们都关心当前秩序的持续稳定。我们真的不想生活在这个 疯狂的麦克斯 伊恩，超级自由主义者，混乱的后民族国家世界。民族国家，我想我们都同意，一个戴着镣铐的利维坦在限制坏权力的混乱出现方面做得很好，并用它来做再分配，以保持和平与繁荣。所以我认为这一点是一致的。如果你明确指出这有可能被滥用，我认为这是有效的。什么是无效的，我可以告诉你，是对超级智能的痴迷。老实说，我认为这对实际的辩论起到了震撼人心的分散作用--如果不是有害的话。还有很多更实际的事情。因为我想很多在政策圈里听到这个的人都认为，这不是给我的。这完全是推测。什么叫“递归自我改进”？你什么意思，‘阿拉莫斯黄金超级情报接管’？多少人几乎没有听说过“阿拉莫斯黄金”这个短语，但却知道 回形针 简直难以置信。完全不懂技术的人会说，“我听说过回形针的事怎么你觉得可能吗”"天啊别再说曲别针了"所以我认为要避免这方面的事情：关注误用。罗布·维布林： 是的，我想现在看来回形针更多的出现在 Overton窗口 中，或者超级智能是。看到了过去一年的进步，现在很少有人认为这是疯狂的。只说一句，“想象一下，我们看到了上一年的进步，但在接下来的10年里又发生了10次。"穆斯塔法·苏莱曼： 百分之百。是啊，这就是疯狂的事情。我当然同意。去年相当疯狂。罗布·维布林：2010年，这是一个超前的想法，有潜力。也许这是 2040 年或 2050 年需要担心的事情，但它只是导致太多人退出，因为不清楚该怎么办。穆斯塔法·苏莱曼： 是啊。坦率地说，我想说，即使在2015年，2018年，2020年，我认为对于那些我们想要得到的孤立的人来说，这还为时过早。很明显现在很容易了我的意思是，这是最简单的方式来证明和说服人们，这是重要的：使东西在开源中可用，有一群人玩它，确定这些模型在实践中的实际限制和潜在能力。然后我们就可以对现实事物进行理性、理智的辩论，而不是理论框架。我觉得我们在这方面做得很好。就Alamos Gold的安全性而言，我认为这是前所未有的好理解。在这一点上我感到极大的解脱。我就像，“太神奇了秘密已经泄露了。每个人都可以自己做决定。”我们这一小群人实际上并不需要做出理论上的论证或推测，因为每个人都可以，就像你说的，把他们在自己最喜欢的聊天机器人上看到的东西放大10倍或100倍，然后就可以了。AI实验室内部政治
罗伯·维布林： 是啊。从你在这个行业的多年经验来看，你了解人工智能实验室的内部政治吗？有些人非常担心人工智能的进步，有些人认为根本没有问题，只是希望一切尽可能快地进行？作为一个局外人，我会预料到这些组织会经常在策略上发生冲突。但至少从我的角度来看，我还没有听说过这件事发生的非常多。事情似乎进展得非常顺利。穆斯塔法·苏莱曼： 是啊。我不知道。我认为那些真正关心实验室内人工智能安全的人--比如我自己，以及OpenAI的其他人，在很大程度上也是DeepMind--的普遍观点是，只有这样，你才能真正在安全问题上取得进展，那就是你必须建造它。除非你是在聚束面，真正尝试使用最新的功能，而且你有资源来真正地减轻你在这些功能中看到的一些危害，那么你就会在几年后开始追赶。我很有信心开放源码将在相当长的一段时间内，至少在接下来的五年里，会一直落后于前沿两到三年。我的意思是，在某一时刻，真的会有巨额的数十亿美元的训练，但是我认为我们离那个更远了，比人们意识到的要远。我认为人们的数学在这些事情上往往是错误的。穆斯塔法·苏莱曼： 人们都说我们要完成100亿美元的训练。这数学说不通。我们连一次花费100亿美元的训练都做不到。那是很多年以后的事至少五年以后。罗伯·维布林： 有意思。是不是他们在想，2022年的芯片会有相当于100亿美元的计算，或者类似的东西？也许这就是让人困惑的地方，他们是从计算增长的角度来考虑的？因为他们可能认为会有100倍的计算量的训练，但是当发生的时候，它的花费并不接近100倍的钱。穆斯塔法·苏莱曼： 部分原因是这样的。很有可能是这样，但不是10倍，而是2-3倍，因为每一代新的芯片都能提供2-3倍的性能。 浮点运算次数每秒 每美元。但是，是的，我听说过这个数字，我不知道你怎么把价值100亿美元的训练压缩在6个月内，除非你打算训练3年或什么的。穆斯塔法·苏莱曼： 是啊，不太可能但无论如何，我认为开源是如此的接近，这是超级有趣的。这不仅仅是开源作为开源前沿模型的结果，比如Llama 2或Falcon之类的。实际上，更有趣的是，这些模型将变得更小，更有效地进行训练。所以如果你考虑到2020年夏天GPT-3是1,750亿个参数，那是三年前的事了，现在人们正在以15亿个参数或20亿个参数来训练GPT-3的能力。这仍然会花费大量的训练成本，因为总的训练计算机不会大幅下降，但服务计算机肯定会下降很多，因此更多的人可以更便宜地使用这些模型，并因此对它们进行实验。而且我觉得这样的轨迹，对我来说，感觉至少在未来的三到五年内还会继续下去。罗布·维布林： 是啊。更广泛的观点是，即使是那些关心的人也觉得他们需要站在最前沿，以便更好地理解这些模型，并找出如何使它们更安全。这就是为什么每个人都能和睦相处的原因,因为他们都有一个共同的中间目标。穆斯塔法的公司有可能加速向危险能力发展的竞赛吗？
罗伯·维布林： 在这个主题上，听众反复提出的问题基本上是这样的：你显然对书中人工智能能力的进步感到震惊，你担心政策滞后。在这本书中，你提出了各种不同的遏制策略，比如审计和使用瓶颈点来减缓速度。你说我们需要找到方法，一句字面上的名言：“寻找方法来争取时间，放慢速度，为更多的工作提供空间。”但与此同时，你的公司正在建造世界上最大的超级计算机之一，你认为在接下来的18个月里，你可能会做一个比生成GPT-4的语言模型大10倍或100倍的语言模型训练运行。有没有可能是你自己的行为加速了你不希望发生的危险能力的竞赛？穆斯塔法·苏莱曼： 我不认为这是正确的，有很多原因。首先，我认为对民族国家稳定的主要威胁不是这些模式本身的存在，或者确实是这些具有我提到的能力的模式的存在。民族国家的主要威胁是权力的扩散。权力的扩散很可能导致灾难和混乱。中央集权有一个不同的威胁——这也是同样糟糕的，需要注意的——那就是威权主义和滥用中央集权，这是我非常关心的。所以这是肯定的。但就像我们之前说的，我不属于Alamos Gold智能爆炸阵营，他们认为仅仅通过开发具有这些能力的模型，它就突然跳出框框，欺骗我们，说服我们去获得更多的资源，并在不经意间更新自己的目标。我认为这种拟人化是错误的比喻。我认为这是一种干扰。所以训练跑步本身，我不认为在这种规模下是危险的。我真的不知道第二件事是，这些巨大的动机推动了这些模型的建立。这些巨大的地缘政治激励，以及我们刚才讨论过的在开源中研究这些东西的巨大愿望。因此，整个创造生态系统默认为生产。我不参与当然不会降低这些模型被开发的可能性。所以我认为我们能做的最好的事情就是试着开发并安全地开发它们。现在，当我们确实需要从我提到的特定功能中后退一步的时候--递归的自我改进和自主--那么我会的。我们也应该这样。罗伯·维布林： 所以，我想澄清一下错位的风险，或者说模型训练的危险性：你认为进行100次的训练运行，仍然只是产生一个聊天机器人，就像一个更好的GPT-4，即使这将是一个更令人印象深刻的模型和更有能力的模型，据推测，它是不危险的—因为它缺乏必要的组成部分，如自主性和在世界上行动的能力。仅仅生产一个非常好的和更好的GPT-4还不危险；为了让它危险，我们需要增加其他的能力，比如它在世界上的行动和有更广泛的目标。那大概是五年，十年，十五年，二十年之后。具体情况我们也不清楚。但因为这个原因，现在还不危险。然后在鼓励其他人去做危险的事情方面，比如比你希望的更快地提高能力，你认为，即使是在这个商业生态系统中的一个大问题，它的动机是如此明确，每个人都想跑在前面，这样他们就不会关注你，并在此基础上改变他们的行为。他们会做他们想做的事，只是因为他们认为这对他们有利。如果你在训练中退缩，也不会改变他们的行为。穆斯塔法·苏莱曼： 我认为这是完全正确的。而事实上，我们在桌边——例如， 最近在白宫 在签署自愿承诺的过程中，美国七家公司之一签署了这些承诺--这意味着我们能够决定结果的分布，将道德和安全问题放在这些讨论的首要位置。所以我认为当你可以使用欧弗顿窗口的时候，你可以塑造它，因为你是参与者和玩家。我觉得每个人都是这样的。我认为每一个考虑人工智能安全的人都应该努力实现他们的调整意图，他们的调整目标。我认为，你必须在实践中实际证明这是可能的。如果人们有机会玩Pi—Pi是我们的人工智能，我们个人的人工智能；它代表“个人智能”；你可以在 皮艾 在网络上和App Store上——你会看到我们以非常具体的方式对它进行了对齐。它不容易受到任何越狱或及时的黑客攻击，其中任何一个。如果有人收到了发到推特上给我。我们不受任何一个。这是为什么呢？因为我们已经把安全和行为一致性作为我们的首要任务，而且我们故意设计了一个不具有普遍性的模型。因此，它不生成代码；它不是被设计成任何人都可以“提示”的终极通用API：它是一个你可以与之对话的个人AI。这并不意味着它没有任何风险。它还有其他的风险，那就是，这个人工智能的价值是什么？是不是很有说服力？人们在和它进行什么样的对话呢？因此，我们还必须注意其他一些因素。但是，从建立这些个人人工智能的位置出发，考虑到安全和道德，实际上是我们公司的核心价值观，我认为这体现在我们建立的产品中。罗布·维布林： 是啊。因此，拐点AI主要致力于开发这些更好的聊天机器人，而且与 即将到来的Wave 中的许多关注事项有一点距离。你能详细阐述一下 Inflection 是如何帮助解决那些你真正担心的威胁的？穆斯塔法·苏莱曼： 我所描述的大多数威胁实际上都是民族国家必须解决的问题。我一直是监管的倡导者。我不一定认为，作为一家公司，我们真的可以在错误信息的威胁上工作。我们不把我们的模型作为API提供给其他人，让他们在上面生成新类型的内容，所以大多数时候我们尽量不去造成伤害，但我们也不积极参与发布新的审核工具或类似的东西。我认为OpenAI最近发布的 GPT-4用于调节 是优秀的。那些东西太棒了。我认为 人择的 做了很多类似的很酷的事情。我想，一旦我们变得更大一些，更稳定一些——目前我们只有40人——我们会增加更多的人来做这类事情。但对我们来说，我们正在努力制造一种消费者绝对喜欢的产品，它本身是尽可能安全的，而且非常有用，并且帮助人们，并且是超级支持和诸如此类的东西。这真的是我们的目标。除此之外，我们还倡导监管。我认为这是这种方式将真正改变。罗伯·维布林： 好的，我马上就回到规则上来。但在书中，你非常积极地谈到了关于技术人工智能安全研究的阿波罗计划的想法，我们只需要在这方面投入更多的努力。拐点是否打算开发或应用任何特定的技术AI对齐方法，以使其模型更安全，还是以一种可能扩大到对更有能力的模型有用的方式来开发这些方法？穆斯塔法·苏莱曼： 是的，当然。现在，你在圆周率中看到的，实际上是我们的一个小模型，很快它会变得更大。但是对齐的方法和我们一直用来提高这些模型的可控性和性能的方法是一样的。所以很明显，我们能够让它如此接近我们的行为的原因之一 行为政策 是我们基本上真的非常积极地微调它，我们花了很多时间做 RLHF 上就可以了，并采用其他方法等等。所以我们在这方面绝对是先进的。我们发表了一个 技术报告 不是详述太多的洞察力，而是描述我们在预先训练过的模型中得到的结果。我们已经在计算尺寸方面取得了最先进的性能：因此，与GPT-3.5相比，从Google的Palm到Claude 1到Chinchilla，我们在大多数公共基准上击败了所有这些模型，比如 MMLU 等等，在训练前的一方。实际上，我们做过类似的事情，在微调和对齐方面，测量和比较有点困难。因此，我们还没有发表任何关于对齐方面的东西，但我们已经在那里取得了类似的最先进的进展。很快我们会在我们新的训练前跑上发表一些其他的东西，这是更大的。罗布·维布林： 是啊。很多人，包括我，都被从GPT-3.5到GPT-4的跳跃所震撼。你认为人们会在明年再次被这些GPT-4模型的 100 倍计算所震撼吗？穆斯塔法·苏莱曼： 我认为人们忘记的是3.5和4之间的差异是5倍。所以我想只是因为我们人类的偏见，我们只是假设这是一个微小的增量。不是的。这是一个巨大的倍数总训练FLOPS。因此，4和4.5之间的差异本身将是巨大的。我的意思是，一旦我们的训练结束了，我们的时间也会大大超过4，这真的要好得多，更好。令人兴奋的是，在计算中每一个新的数量级，一个关键的涌现能力就是对齐。你回头看GPT-3，每个人都说“这些模特永远都是种族主义的，有毒的，有偏见的。”事实证明，它们越大，我们就能更好地调整它们，约束它们，让它们产生极其细微和精确的行为。这实际上是一个伟大的故事，因为这正是我们想要的：我们希望它们按照预期的方式运行，我认为这是随着它们变得更大而出现的能力之一。罗伯·维布林： 你如何看待人类学在军备竞赛问题上的做法？我猜他们在做一种中间立场的事情，他们试图从第二名开始领先。所以如果另一个实验室训练某个东西，那么他们会自己训练它，以便进行研究。如果另一个实验室公开发布一些东西，那么他们也会这样做，因为他们发现猫从袋子里出来了。但他们不愿意成为第一个训练或发布任何东西的人，因为他们担心这会使竞争更加激烈。你认为这只是一种错误，还是你看到他们是从哪里来的？穆斯塔法·苏莱曼： 我不认为这是真的，他们不试图成为第一个大规模训练。不是这样的。罗布·维布林： 有趣。好吧，你不买。我误解了他们的想法吗？穆斯塔法·苏莱曼： 我不知道。你得问他们。我很喜欢他们我非常尊重他们，所以我不想说任何不好的话，如果他们是这么说的。但是，我想山姆[奥特曼]最近说，他们没有培训GPT-5。来吧我不知道。我觉得我们还是直说比较好。这就是为什么我们要公开我们所拥有的计算总量。很明显，你可以通过它，粗略地说，计算出我们使用的FLOPS的数量级。我们最好是透明的。我们训练的模型比GPT-4更大对吧？我们今天有6000架H100在运行，训练模型。到12月，我们将有22000架H100全面投入使用。从现在开始的每个月，我们都在增加1000到2000个H100。这样人们就可以在明年的春天和夏天找到可以让我们训练的东西，我们会继续训练更大的模型。我认为这是正确的方式。超级公开透明就行了。我认为Google DeepMind应该做同样的事情。他们应该宣布双子座的训练有多少FLOPS。罗布·维布林： 是啊，酷。我会回去看看人类学家在这方面是怎么说的。我还可以加一个切口来澄清，以防我搞错了。Rob 的来源是 Dylan Matthews 在 Vox 发表的文章“ 确保人工智能不毁灭人类的 10 亿美元赌博 ”。人工智能实验室自愿与强制承诺
罗伯·维布林：正如你早些时候提到的，7月份，Inflection与白宫签署了8项自愿承诺。https://www.whitehouse.gov/briefing-room/statements-releases/2023/07/21/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-leading-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/),包括致力于内部和外部安全测试、投资网络安全和内部威胁防护措施，以及促进第三方发现和报告漏洞。不过，那些都是自愿的。你希望美国和英国的所有主要人工智能实验室都做出哪些承诺？穆斯塔法·苏莱曼： 这是个好问题。我认为，其中一些自愿承诺应该成为法律授权。第二条：需要有一个针对有害模式能力的框架，比如生物武器训练、核武器、化学武器、一般炸弹制造能力。这些东西很容易记录下来，而且不可能降低进入门槛，让那些没有专业知识的人更容易地去制造这些东西。第三个——那 我曾公开说过 也是我很在意的-我们应该宣布这些模型不应该被用来竞选。。他们不应该成为政治进程的一部分。你不应该问Pi，Pi会投谁的票，或者这两个候选人有什么区别。现在，反对的观点是，很多人会说这可能会提供有用的，准确的和有价值的信息来教育人们关于选举的知识，等等。你看，这里永远不会有一个完美的解决方案：为了避免伤害，你必须把好处拿走，这总是一种权衡。你不可能有完美的利益而没有任何伤害。这只是一种折衷。我宁愿把这一切都抛开，然后说我们罗布·维布林： 一旦我们明白了如何安全地做到这一点,我们以后就可以把一部分放回去。穆斯塔法·苏莱曼： 这是最好的办法。这绝对是最好的办法。现在，很明显，很多人说我太天真了，声称这是可能的，因为像稳定扩散和LLAMA 2这样的模型已经在开源中发布了，而且人们肯定会用它来竞选。再说一遍，这并不是要解决每一个对我们民主的威胁，它只是想说，至少大规模的 超标模型 提供商——如亚马逊、微软、谷歌和其他公司——应该直接说，“这违反了我们的服务条款。”所以如果你不声明你的选举材料是人工制作的，你会让事情变得更困难，甚至是更忌讳。罗布·维布林： 是啊。如果我没记错的话， Twitter 曾在某个时候禁止在他们的平台上发布选举广告。我认为这让他们的生活比试图极其仔细地过滤一切事情容易得多。说到 Twitter ，你已经在庆祝英国政府即将在几个月后举行的 人工智能安全峰会 。你认为什么样的结果应该是组织者的首要任务？顺便说一句，我觉得他会听这个节目。穆斯塔法·苏莱曼： 他们都是好人他们都做得很好我真的很高兴看到峰会。我认为这是一个将自愿承诺中的一些提议落实到位的机会,也许可以将其付诸立法:审计,公司之间的合作,以分享最佳实践。这是我没有在法律要求中列出的一件事，因为我认为这有点复杂，但我认为如果有一种共享弱点和弱点的文化，那就好了。 零日 或者其他网络安全漏洞会在60天左右的时间内向公司秘密披露，直到公众暴露出来。这些都是我认为会很有帮助的东西。重视对中误差的重要性
罗伯·维布林： 嗯，我知道你正在做新书宣传，马上就要走了，但最后一个问题或主题是：你似乎不想谈论太多关于错位、欺骗性对齐、或者模特有自己的目标而失控的事情。但与此同时，你似乎同意我和其他许多人的观点，那可能会在10、15或20年后成为一个问题--我们不太清楚，但如果能力不断提高，那将是一个问题。从某种意义上说，即使你同意这不会是一个问题10年，10年并不遥远，它似乎可能是一个相当难以解决的问题。人们应该认真对待失调问题，并在它成为一个问题时努力找出解决办法，这难道不是很紧迫吗？穆斯塔法·苏莱曼： 原谅我我不是故意轻视它的。我说的更多的是，公开谈论这些事情的策略。穆斯塔法·苏莱曼： 所以，是的，100%：这是一个超级关键的问题。我们需要10倍的人手来关注错位。总的来说，我对欺骗的想法有点敏感，因为我认为它本身就是一种拟人化，但这是一个技术性问题。总的来说，我认为绝对是失调的根本问题，总体来说，阿拉莫斯黄金安全，10年风险和20年风险是最重要的。我认为应该有更多的人研究它，我一直坚信应该支持它。![]()
