👇关注公众号后设🌟标，不错过第一手AI新鲜观点和动态
本文访谈内容整理自OpenAI离职安全主管Miles Brundage接受Hard Fork Youtube频道专访，公开发表于2024年11月03日。原始内容参考：https://www.youtube.com/watch?v=iTmSbZ2grBs
迈尔斯·布伦达奇接受Hard Fork专访
★内容导读：》 这段访谈讨论的核心是迈尔斯·布伦达奇（Miles Brundage）离开OpenAI及其对AGI准备状态的影响。以下是主要观点概要：
AGI准备状况的担忧： Miles公开表示，OpenAI和社会都尚未准备好迎接AGI，这让人们对当前人工智能发展的现状提出了严重质疑。
离职原因： Miles列举了三个原因：无法参与更广泛的行业问题、渴望独立性和更少偏见的视角，以及感觉他已经完成了内部目标并希望专注于外部倡导。
OpenAI的支持： OpenAI继续为Miles的独立研究提供资金支持，这可能会限制他对OpenAI批评的程度。
行业范围内的担忧： Miles强调，他的担忧并非仅仅针对OpenAI，而是反映了整个行业对AGI准备不足的更广泛问题。
快速发展和缺乏制动： Miles对人工智能发展的快速步伐表示担忧，因为目前缺乏足够的保障措施或监管。“制动器”的比喻被反复使用。
商业压力与安全： 一个反复出现的主题是快速发展的商业驱动与确保人工智能安全的重要需求之间的矛盾。这被视为AGI准备工作中的一大障碍。
行业的安全性等级： 行业努力构建安全的人工智能被认为是不够的，“幻觉”（AI编造信息）等问题被列为不足之处。
激烈的竞争阻碍安全： 人工智能实验室之间的激烈竞争被认为会对安全工作产生负面影响，优先考虑上市速度而非彻底的安全测试。
需要社会准备： Miles强调了为AGI的变革性影响做好社会准备的重要性，包括潜在的经济中断、失业以及适应教育体系的必要性。
个人为准备采取的行动： 建议个人熟悉当前的人工智能系统，考虑对其职业的影响，并保护自己免受深度伪造等潜在威胁。
提前退休的可能性： 讨论了通过人工智能大幅提高经济生产力从而导致提前退休的可能性，但这取决于适当的政策应对。
金钱重要性： 尽管人工智能具有变革潜力，但Miles认为，即使工作性质和经济价值发生巨大变化，金钱也可能仍然很重要。
迈尔斯·布伦达奇简介
迈尔斯·布伦达奇（Miles Brundage ）是人工智能安全领域的知名研究员，尤其关注大型语言模型（LLM）的社会影响和潜在风险。他曾在牛津大学人类未来研究所(Future of Humanity Institute)担任研究员，并参与 OpenAI 的早期工作，对 AI 的伦理问题和政策影响进行了深入研究。
他的研究涵盖广泛，包括 AI 的战略意义、自动化对劳动力市场的影响、算法偏差以及如何减轻 AI 系统带来的风险。Brundage 强调理解和应对 AI 的潜在负面后果的重要性，例如虚假信息传播、恶意使用以及对社会公平的影响。
Brundage 的工作并非纯粹技术性，他还积极推动跨学科合作，将社会科学、法律和伦理学等领域纳入 AI 安全研究框架。他主张对 AI 系统进行更严格的评估和监管，并倡导发展负责任的 AI 技术。
他经常在国际会议和研讨会上发表演讲，分享他对 AI 未来发展趋势的见解，并与政策制定者和行业领袖进行对话，以促进更广泛的社会对 AI 安全的关注和理解。
访谈完整记录
主持人Kevin： Casey，所以又一位高级领导离开了 OpenAI。这件事情我认为我们应该讨论一下，因为这并不是什么初级员工。这是 Miles Brundage，他是 OpenAI 的 AGI 就绪高级顾问。他在公司工作了六年。Miles 上周宣布他将离开公司，专注于独立的人工智能政策研究和倡导。所以，这不仅仅是今年离开 OpenAI 的众多高级领导之一，而是一位直接负责这项名为“AGI 就绪”工作的人。
主持人Casey： 是的，这是公司为确保其在构建越来越强大的人工智能形式时能够安全地发布这些人工智能、确保社会能够获得益处并减轻任何风险所做出的努力。但正如你所知，Kevin，这个团队及其在 OpenAI 的前任团队的真实故事，在过去几年里一直是一团糟。这个团队不断重组，名字也不断变化，人们不断辞职，一些人甚至创建了自己的 AI 公司。因此，我们对该公司目前的内部情况、变化方式以及这对 OpenAI 努力构建安全超级智能的影响有很多疑问。
主持人Kevin： 是的。Miles 宣布离开 OpenAI 的消息引起了广泛关注。他一直是一位非常直言不讳且杰出的人物，呼吁人们关注这些系统的一些风险。但他在离开的过程中也表示，他认为 OpenAI 或任何其他前沿 AI 实验室都尚未准备好迎接 AGI，而且他也认为整个社会都尚未准备好迎接 AGI。这令许多人感到意外。
主持人Casey： 是的，当一位长期致力于该项目的人公开表示这种情况时，确实会让人质疑他们看到了我们看不到的东西，因为我们不在那里工作。
主持人Kevin： 是的。我们本周邀请 Miles 与我们讨论他离开 OpenAI 的决定以及他为何选择追求独立研究之路，但也讨论了他期间在公司看到和经历的一些事情，这些事情让他感觉 OpenAI 和世界都不准备迎接即将到来的一切。
主持人Casey： 现在，需要了解的是，虽然 Miles 离开了 OpenAI，但 OpenAI 已提出在经济上支持他的新努力。因此，我认为这确实会影响他能够告诉我们的内容的性质，并且可能会阻止他告诉我们一些我们希望他告诉我们的事情。因此，你可能会在他访谈期间听到他语气中的一些犹豫，但我仍然认为，尽力获取他在过去六年在该公司工作期间学到的尽可能多的信息是值得的。
主持人Kevin： 是的。我认为我们在过去一两年观察到的趋势是，随着这些系统变得越来越强大，越来越自主，开始能够做一些事情，例如使用计算机，大型 AI 公司中人们说“你们不明白，这些事情发生的速度比你们想象的要快得多”的紧迫感只会越来越强。我认为这个问题通常比行业内部从事这项技术的人更不被行业外部的人重视。
主持人Casey： 是的，即使它可能会对你的生活产生一些实际影响，包括你何时才能退休，这是 Kevin 和我一直都在思考的事情。你一直在想这个问题吗？我太累了，Kevin。
主持人Kevin： 像往常一样，我们应该声明《纽约时报》正在起诉 OpenAI 和微软侵犯版权。你们能不能尽快解决这个问题？这不是我的领域。让我们邀请 Miles Brundage。Miles Brundage，欢迎来到 HardFork。
Miles Brundage： 谢谢你们的邀请。
主持人Kevin： 我想先从你最近选择离开 OpenAI 并从事你自己的 AGI 就绪研究的原因开始。但我希望首先让你为我们定义 AGI 就绪（AGI Readiness）。你究竟在做什么？
Miles Brundage： 是的，基本上我是一名研究人员，我试图了解，你知道，人工智能技术正在走向何方，以及将产生什么影响？就如何解决安全问题、如何解决经济问题等等而言，我们是否为这些影响做好了准备？
主持人Casey： 告诉我们你实际上在这个 AGI 就绪团队中做了什么。你思考了一些关于人工智能发展某些能力时可能发生的事情。你把它写进某种文档中，然后会发生什么？它会被交给产品团队吗？OpenAI 会根据你与他们分享的工作内容做出改变吗？
Miles Brundage： 是的，首先，我们参与了红队对抗和类似的对抗性测试，以确保这些技术是安全的，并开始与外部专家合作。因此，我们建立了这样一个功能：如何吸纳掌握虚假信息、偏见等方面的专家，让他们尽早接触这些技术，进行大量分析，然后向全世界发布结果，让人们了解情况，例如，“他们做了什么？已知的风险是什么？”等等。
我们在这方面做了很多工作，还发表了许多关于如何治理人工智能的观点，例如，将计算能力，特别是实际的物理AI芯片作为便利的杠杆点，因为它们是可以计数的，是物理存在的。因此，我们发表了许多观点，并在内部做了大量工作。
主持人Kevin： 所以，我认为在许多人看来，你在OpenAI领导AGI准备团队和政策研究工作，这对于对AGI准备感兴趣的人来说，是一份梦想般的工作。你为什么选择OpenAI？
Miles Brundage： 是的，而且我想明确一点，我在OpenAI度过了愉快的时光，并且感觉我和我的团队取得了很多成就。但是，我决定离开的原因有三点。第一，我无法从事所有我想做的工作，这些工作通常涉及跨行业的议题，而不仅仅是我们在OpenAI内部做什么，还包括应该出台什么样的法规等等。在外部思考这些问题更容易，而且不会被内部的日常事务分心。第二个原因是我想要独立，减少偏见。我不希望我的观点，无论正确与否，都被认为是“这只是一个公司炒作”，诸如此类。第三个原因是我感觉自己已经达到了一个点，我已经完成了许多我最初在内部设定的目标，例如，“这是趋势，这是挑战，这是对AGI准备的各个方面的理解”。而我感觉在OpenAI的外部，许多人甚至都没有考虑过这些问题。我认为还有很多话要说，很多事情要做。
主持人Kevin： 我们也听说，过去一年中，许多人离开OpenAI，他们担心公司的商业重心压过了安全使命。这是你做出的决定的一部分吗？你认为OpenAI的做法不够安全吗？
Miles Brundage： 是的。这倒不是仅仅针对OpenAI，尽管我对于行业差距的看法显然受到了我在OpenAI的经历的影响，但我相当确信没有其他实验室能够完全掌控全局。如果你读读人们的言论，他们并没有说自己掌控全局。所以，这种快速发展加上最了解情况的人却说我们还没准备好，这才是我的关注重点。
主持人Casey： 做好AGI准备意味着什么？如果你有的话，你对这个问题的答案在过去几年里是如何变化的？
Miles Brundage： 是的，我认为在未来几年，很可能会出现一些人工智能系统，无论你是否称之为AGI，趋势显然是朝着能够基本上完成任何人在电脑上远程操作的系统发展，比如可以操作鼠标和键盘，甚至可以在视频聊天中看起来像人类等等。我认为人们应该思考这意味着什么。政府应该思考这在税收、教育投资等方面意味着什么。在一个一些剩余工作，以及（明确地说）将会有新的工作出现的世界里，教育的意义是什么？我并不是说所有工作都会消失，但它将是具有颠覆性的，人们需要提前思考这意味着什么，例如教育的目的？是为了培养合格的公民？是为了让人们理解世界？如果不是为了准备那些很难预测的工作，那它该如何应对未来？
主持人Casey： 我很好奇，当你观察构建基础模型的大型实验室的整体情况时，你会如何评价该行业迄今为止在安全构建人工智能系统方面的表现？你认为它做得怎么样？是的。
Miles Brundage： 我认为很难孤立地评价这个行业，而不考虑政策制定者制定的激励措施。我认为有很多公司都在尽其所能地适应其所处的环境，这是一个竞争非常激烈的环境，除了他们做出的某些往往比较模糊的自愿承诺外，几乎没有其他指导，欧盟即将出台一些法规，但细节尚未确定。所以我认为确实有一些好的工作正在进行，而且比几年前更加透明，例如，我们做了哪些测试，以及对这些风险的评估。
但我认为，如果你阅读这些公司的说法，很明显，在某些领域他们落后了，他们没有解决他们已知的全部问题。我认为这表明，在某些方面，这是一个失控的竞争局面。那么，他们遇到了什么困难？他们没有解决什么问题，例如？是的。举个例子，我认为，“幻觉”是指人工智能系统编造东西。这不是对OpenAI的评论，我认为这是行业的标准做法，即让系统经常编造东西。然后底部会有一个小小的免责声明，说，“Claude可能会出错”或“Bard可能会出错”。很明显，没有什么能够迫使这些公司稳妥行事。你提到了这一点。
主持人Casey： 确实存在这种激烈的竞争。这对安全构建人工智能的努力有什么影响？
Miles Brundage： 这肯定让事情复杂化了。我认为公司在多个维度上都在竞争。这不仅仅是争取最快上市。而且，人们也希望在一个能够交付产品并将其推向市场的公司工作。所以人才竞争也很激烈。他们确实会考虑安全问题，但这并不总是重点。
主持人Casey： 换句话说，他们不断突破前沿。而我的观点是，我们并不完全确定如何安全地推进前沿。所以感觉两者之间存在脱节。我同意。
Miles Brundage： 这就是为什么我要专注于改善这种情况。
主持人Kevin： 你认为强大AI的准备工作是否包括放缓AI的进展？比如，你是否属于那些认为我们或许应该暂停这些系统开发的人？因为在我看来，准备工作的一部分就是，嗯，如果你有更多时间，那么为一件意义重大的事情做好准备就会更容易。
Miles Brundage：是的。我的立场是，现在就急刹车还为时过早，但我们应该安装一些“刹车”。而现在根本没有刹车。这意味着我们需要了解计算能力的分布，了解最先进技术的现状，并思考不同的政策提案。例如，我发表了一篇名为《计算能力与人工智能治理》的论文。我们讨论了一个想法，那就是建立一个计算储备，有点像美联储，你可以根据需要向市场投放更多或更少的计算能力来加速或减缓发展速度。我不知道这是否是正确的方法。也许是征税。也许我们最终什么都不会做，但我们需要认真思考这些方案，并在情况发展过快时做好实施的准备。但我认为目前这场辩论相当简单化，一边是极力提速，另一边则是急刹车。我认为，真相是我们并不真正了解情况。这里存在权衡，我们需要认真思考正在发生的事情，以及加速或减速的利弊。
主持人Kevin：我的意思是，每当我们在节目中谈论AGI或强大的AI时，都会发现一部分人认为这全是科幻小说，他们不相信AI正在接近人类水平的智能，他们没有看到ChatGPT或其他工具在他们生活中的用处，他们认为这基本上是大AI实验室炒作出来的营销噱头。你认为这种理解上的差异问题出在哪里？或者说，这些人没有看到你所看到的东西？
Miles Brundage：我认为，很难说，我非常有兴趣更好地了解这种差距，也就是业内人士的想法和业外人士的想法之间的差距。显然也有例外，但通常情况下，在尖端实验室工作的业内人士认为事情发展得非常迅速。有些人对此非常兴奋，有些人则非常担忧，但毫无疑问的是，在通往AGI的道路上已经取得了显著进展，并且在未来一两年内还会有更大的进展。我很有信心，这不仅仅是炒作。当然，有些人试图炒作他们的新创业公司等等。但是，有很多人以前在这些公司工作过，像我一样，他们没有动机去炒作。这一点值得注意。
主持人Kevin：迈尔斯，我很感兴趣的是，你职业生涯中以及在OpenAI工作期间，很大一部分时间都在思考机构（如公司和政府）如何为更强大的AI做好准备。但我也很好奇，你认为个人可以做些什么来做好准备。例如，我上周去了一所大学，和一群大学生交谈，他们都在问这个问题，比如，我应该做什么？我应该学习什么？我应该从事什么样的职业？我现在应该培养哪些技能，才能在后AGI时代具有价值？个人应该做什么？
是的，要为未来做好准备。
Miles Brundage：我认为至少有三件事。首先，就是尝试使用这些系统。如果你还没有使用过最新版本的Gemini、ChatGPT或Claude，那么你就已经落伍了。我说这话的时候，自己已经不在业内了，这并不是在炒作。说真的，这将改变世界。你需要知道它能做什么，不能做什么。第二，思考这对你的职业意味着什么。我认为这意味着要关注趋势。例如，OpenAI发表了关于O1系统的博客文章。看看它能做什么，看看这些例子，看看事情将走向何方。这对你的职业意味着什么？你是否应该考虑更具未来性的职业道路？
Miles Brundage：第三，我认为是保护你和你的亲人免受Deepfake等技术的侵害。同样，了解这项技术的最新进展至关重要，这样你就不会被诸如冒充你祖母的电话欺骗。所以，了解什么是可能的，对于避免上当受骗至关重要。每个人都有特定的需求。
主持人Kevin：诸如，如果几年后强大的AI将使所有金钱都变得无关紧要，我是否应该继续为退休储蓄？我是否应该计划让我的孩子上大学？我是否应该游说我的国会议员对AI采取一些具体的措施？如果你像许多业内人士一样相信这项技术将持续进步，那么这里有哪些实际可行的步骤？这会对我们的个人选择和计划产生什么影响？
Miles Brundage：是的，这很难说。即使是最了解AI的人，对于其发展速度也存在很多不确定性。我认为大多数了解情况的人一致认为，它会发展得相当快，但至于会快到什么程度，那就很难说了。这对于社会意味着什么，也不是一定能够预测的。这在一定程度上是一个政策和社会问题。
例如，我们是否希望建立保护某些工作的社会规范，并规定只有人类才能从事这些工作？或者，如果我们想说，哦，实际上，我可以开处方，我可以提供法律建议等等，那么我们会从AI中获得更大的好处吗？这不需要法律学位或其他什么。所以我认为，完全预测是不可能的。但我认为人们应该存钱。 所以你个人需要为退休储蓄。我认为大多数人的退休时间会比他们想象的更早到来。
主持人Casey：最后，在这个播客中听到了一些好消息。
Miles Brundage：是的，假设我们都在这里讨论退休问题，以及人工智能通用型（AGI）何时到来。但我认为，如果技术上可行，并且如果政策制定者能够做好他们的工作，在经济上获得巨大利益，人们就能提前退休，并拥有高水平的生活。话虽如此，如果你之前有一些积蓄，你可能会拥有更多机器人管家，反之则不然。我认为人们总会有想要购买的东西，总会有需求，比如，“我想让人类而不是机器人为我准备食物”。我认为凯文也是这么想的。所以，我认为钱仍然会是一种重要的东西。
主持人Casey：我认为，凯文也是这么想的。
主持人Casey：你想分享一下你对这样一个世界社会运作方式的看法吗？在这个世界里，人工智能可以完成所有具有经济价值的事情。人们的需求是如何得到满足的呢？政府提供？还是机器人为我们做所有事情？
Miles Brundage：我认为，假设我们都安全健康，将会发生的是，经济规模会大幅扩大，人工智能将在未来几年每年显著提高GDP增长率。如果我们在税收等方面做对了，并建立一个强大的安全网（例如基本收入或其他类似措施），人们就能分享到这笔巨额财富。人们可以选择领取基本收入，过上相当舒适的生活，这种生活水平是许多人今天通过努力工作和长时间工作才能获得的。所以我不确定最终会如何发展，但我认为这是技术上可行的。
主持人Kevin：由于你将自己对人工智能进步的信念内化，你在生活中还做了哪些事情？你日常生活的选择与那些可能没有像你一样关注人工智能进步的人有什么不同？
Miles Brundage：我不知道。我的意思是，除了每天花一整天时间思考人工智能的进步之外，我并没有做太多其他事情，我认为我的生活很正常，养猫、看电视等等。但是，就工作时间而言，这是主要区别。
主持人Kevin这对我来说非常有趣，因为我总觉得这是我一直从人工智能实验室寻找但未看到的信号。这就像人们开始根据他们对人工智能的信念，在实验室里真正改变行为一样。
主持人Casey：就像OpenAI取消他们的401匹配金一样。
主持人Kevin：是的，或者像人们的行为表现得好像这即将发生一样，而不仅仅是说它即将发生。我不知道那会是什么样子，但这让我觉得，即使是最了解这项技术能力的人，在根据这些情况重新安排他们自己的生活时，仍然存在认知失调。
主持人Casey：好吧，我们知道Sam Altman建造了一个末日地堡。
主持人Kevin：所以这给了我们...
主持人Casey：我想这是一个信号。是的。
Miles Brundage：末日地堡？我没有去过末日地堡。
主持人Casey：真可惜。你去过吗？没有，但我真的很想去。我很想去。
主持人Kevin：你能想象吗？我敢打赌它有很棒的音响效果。标志性。我的意思是，如果你愿意，你可以对此发表看法。比如，为什么那些在这些实验室里，理解并押注这项技术很快就会变得如此强大的，为什么他们每天醒来都像我们其他人一样去上班，并且似乎没有为了应对这些变化而做出激进的选择？
Miles Brundage：我认为这是因为人工智能是一种超级通用的技术，它渗透到一切事物中。它不像那种会杀死我们的机器人，在街上行进。你不需要在你的门前放置沙袋来保护自己。它是一种部署在互联网上，无处不在的技术。所以，除了理解它、讨论它、推动政策制定者设置良好的护栏之外，实际上并没有太多事情可以做来为它做好准备。
主持人Kevin：我想这引出了我想问你的最后一个问题，那就是，如果你能打个响指，让我们假设两件事。如果你能做一件事来提高我们社会对人工智能的准备程度，你会做什么？例如，通过一项法律，设立一个新的管理机构，或者关闭一个人工智能实验室。然后第二个问题是，如果你能说服世界上每个人相信一个关于人工智能的想法，以使他们能够更好地应对即将发生的事情，那会是什么？所以，你将要做的事情，以及你会植入人们大脑中的想法。
Miles Brundage：第一个问题真的很难回答。我认为有很多事情需要做。所以我选择一个相当广泛的方面。在拜登政府执政期间，发布了一项行政命令，开始收集有关大型数据中心、大型模型在哪里、你们在安全方面做得如何等等的信息。但它目前很脆弱，例如，它可能会在特朗普政府时期被推翻。即便没有这种情况，也可能会面临法律挑战，因为它援引了所谓的《国防生产法》，而这受到了争议。
所以，如果我有一根魔杖，我会让国会通过一个版本的法律，不仅能为它奠定坚实的法律基础，因为有一部法律通过，允许政府掌握这些事情。我会加入一些额外的内容，例如对人工智能安全研究所的长期稳定资金支持。它基本上是大脑。它是美国政府的大脑，它集中了大量的技术专家，他们知道正在发生的事情，并正在测试这些系统。让所有这些都建立在坚实的基础上，而不是取决于下一次选举，这会让我非常高兴。之后还有很多事情要做，但这将是一个良好的开端。
主持人Kevin：你可以用魔杖说服全世界的人接受的一个标语？
Miles Brundage：对不起，我忘了那部分。我认为最重要的是，AI 是一种真实存在的事物，而不是科幻小说。比如，现在就有一些你可以免费使用的系统，可以用来解决有趣的推理难题，对论文进行反馈，起草邮件，甚至解决LSAT问题，其能力与许多法学院学生不相上下。这太疯狂了！五年前这根本不可能。我认为，我们应该意识到这种状况的奇特之处，并且任何了解情况的人都同意，我们并没有阻止这一进步。我们应该思考这一点。
主持人Casey：好吧，我告诉你们我正在做些什么来提高我的AI应对能力。我正在学习武术。我认为在这个世界里，我需要能够在肉搏战中击败任何手持笔记本电脑的人。我对我的胜算很有信心。我会随时向你们汇报进展的。
主持人Kevin：好吧，Miles，非常感谢你来到这里。这次谈话并没有让我对AGI更有准备感，但我至少知道了我在哪些方面准备不足。我一直为AGI做好了准备。
参考资料: https://www.youtube.com/watch?v=iTmSbZ2grBs，公开发表于2024-11-03
👇关注公众号后设🌟标，不错过第一手AI新鲜观点和动态
