OpenAI又有高管走了，还发了篇长文

学术 2024-10-27 09:02 北京

内容来自：机器之心

OpenAI 的离职潮仍未止息。

这一次离开的是 Miles Brundage，他是 OpenAI 一位资深研究者和管理者，于 2018 年加入 OpenAI，离职前担任 AGI Readiness 团队的高级顾问，之前还曾领导过 Policy Research 团队。更早之前，他曾在牛津大学人类未来研究所从事研究工作。

这次离开 OpenAI，他写了一篇超过 5000 词的博客，回顾了他在 OpenAI 的工作历程，并分享了自己离职的原因、对 AI 的看法以及未来计划，其中还涉及到 OpenAI 工作方式和企业文化方面的一些隐秘。

消息发布后，许多 AI 领域的人士都留言表示祝福，包括仍然还在 OpenAI 的著名研究者 Noam Brown、a16z 合伙人和 Fellow AI 创始人 Marco Mascorro、谷歌 AI Studio 产品负责人 Logan Kilpatrick 以及大量 AI 领域的研究者和创业者。

剑桥大学 AI 治理与政策研究者 Haydn Belfield 甚至认为 Miles Brundage 离开 OpenAI 就相当于一个时代的终结。

下面我们来看看 Miles Brundage 的「长篇离职公开信」里面究竟写了些什么。

离职公开信概览

2015 年 12 月，OpenAI 作为一个组织宣布成立；自那以来，我都一直为它感到兴奋。OpenAI 宣布成立之后，我彻夜不眠，写下了我对其重要性的看法。甚至在那之前，大约 12 年前，我就决定将自己的一生奉献给与 OpenAI 的大致使命（确保 AGI 造福全人类）相关的领域。

所以这几乎就是我梦想中的工作（为 OpenAI 高管和董事会提供 AGI 达成进度方面的建议），所以离开它并不是一个容易的决定，而且我确信有些人对此有很多疑问。下面我将回答一些问题，希望借此引导人们更准确地讨论我的离开及各种相关话题。

太长不读版：

我想把更多时间投入到涉及整个 AI 行业的问题上，拥有更多发表的自由，更加独立；
我将创立一家和 / 或加入一家已有的非营利机构，并且将把关注重心放在 AI 政策研究和倡导上，因为我认为，如果我们不齐心协力，AI 不太可能尽可能地安全和有益；
我感兴趣的一些研究领域包括评估和预测 AI 进展、前沿 AI 安全的监管问题、AI 的经济影响、有益 AI 应用的加速推进、计算治理；
我认为，对于许多研究和工作而言，OpenAI 依然是一个激动人心的地方，我很高兴看到团队继续加大对安全文化和过程的投资。

我是谁？我在 OpenAI 做什么？

在本周五结束之前，我都是 OpenAI 的一位研究员和管理者。我在这里 6 年多了，按照 OpenAI 的标准来说是很长一段时间了（过去 6 年来它真的成长了很多！）。一开始，我是政策团队的一位研究科学家，之后变成了政策研究团队负责人，现在则是 AGI Readiness（AGI 达成进度）团队的高级顾问。在此之前，我在学术界 —— 先从亚利桑那州立大学获得了科学与技术的人文与社会维度博士学位，然后在牛津大学担任博士后，并在美国能源部政府部门工作过一段时间。

在我看来，我领导过的团队（政策研究和 AGI 达成进度）做了很多非常重要的工作，这些工作塑造了 OpenAI 的部署实践，例如启动我们的外部红队项目并推动前几张 OpenAI 系统卡，并发表了许多有影响力的著作，主题包括语言模型和 AI 智能体的社会影响、前沿人工智能监管、计算治理等。

我非常感谢我在 OpenAI 的时光，也非常感谢我的管理者们多年来的信任，让我承担越来越多的责任，感谢我有幸管理的数十名员工，我从他们身上学到了很多东西，感谢我在各个团队中共事的无数才华横溢的同事，他们使在 OpenAI 工作成为一次如此迷人和有益的经历。

我为什么离开？

我决定从行业外部而不是行业内部来影响和推动 AI 的发展。这是我基于以下考虑得出的结论：

机会成本已经变得非常高：我没有时间研究我认为重要的各种研究课题，在某些情况下，我认为如果我在行业之外研究它们，所得成果的影响力会更大。OpenAI 现在如此引人注目，人们会从许多不同的角度审视其成果，因此我很难发表所有文章，但一些主题在我看来很重要。需要明确的是，虽然我不会说我一直同意 OpenAI 对发表审查的立场，但我确实认为行业中存在一些发表限制是合理的（我曾帮助编写过几个版本的 OpenAI 政策），但对我来说，限制已然太多。

我想减少偏见：当你是某个组织机构的一部分并每天与那里的人密切合作时，就很难对该组织保持公正客观的立场，而且考虑到经济利益冲突，人们有权质疑来自行业的政策想法。我已经尝试过在分析中做到尽可能公正，但我确信其中存在一些偏见，而且在 OpenAI 工作肯定会影响人们对我的言论以及业内其他人的言论的看法。我认为在政策对话中拥有比现在更多的行业独立声音至关重要，我计划成为其中之一。

我在 OpenAI 已经完成了我之前计划要做的大部分工作：自从开始担任 AGI 达成进度高级顾问以来，我开始更明确地思考两种 AGI 达成进度 ——OpenAI 是否准备好管理日益强大的 AI 能力，以及世界是否准备好有效管理这些能力（包括通过监管 OpenAI 和其他公司）。关于前者，我已经告诉高管和董事会（我的建议的受众）我认为 OpenAI 需要什么以及还有什么差距，而对于后者，我认为我可以在外部更有效地完成它。

上面哪一点最重要？这很难说。它们以各种方式互相关联，但每一个都在我的决定中发挥了一定作用。

OpenAI 和世界在迎接 AGI 方面准备得如何了？

简而言之，OpenAI 和任何其它前沿实验室都没有准备好，世界也没有准备好。

确切地讲，我认为这个说法在 OpenAI 领导层中没有争议。需要说明，这不同于这个问题：该公司和世界是否将在某个时间做好准备？（但我认为仍待填补的差距还非常大，足以让我将余生都投入 AI 政策事业中）。

该公司和世界是否在向着做好准备前进？这个问题很复杂，涉及到安全文化随时间的变化（最近董事会的新增成员是朝着正确方向迈出的一步）、监管对组织激励的影响、有关 AI 能力和安全难度的各种事实的影响，以及其他各种因素。

顺带一提，我认为 AGI 是一个含义过多的短语，它暗示了一种超乎实际的二元化思维方式。我的团队最近一直在研究的课题之一是充实「AI 分级」框架。我希望 OpenAI 和我能够很快发表一篇相关论文。但现在我只想指出，当我说「为 AGI 做好准备」时，我的意思是：「准备好安全、可靠且有益地开发、部署和管理日益强大的 AI 系统」。

人们应该在 OpenAI 工作吗？

在 OpenAI 工作是大多数人希望做的最有影响力的事情之一，所以在很多情况下，这个问题的答案是肯定的。当然，人们拥有不同的技能和机会，很难做出笼统的陈述，但我认为 OpenAI 的每一个角色及其工作的慎重性都很重要，对 OpenAI 企业文化的贡献也很重要。在通往更强大的人工智能的道路上，每一个产品的部署都通过影响规范、人工智能的感知和监管方式等而发挥重要作用。我很遗憾失去了一些我在这里拥有影响力的机会，尽管我希望更大程度地影响更大的生态系统。

我认为，在 OpenAI 致力于安全方面的工作尤其具有影响力。

在 OpenAI 工作的任何人都应该认真对待一个事实：他们的行为和言论有助于企业文化，并且当 OpenAI 开始管理极其先进的能力时，可能会产生积极或消极的路径依赖。文化对任何机构都很重要，在前沿人工智能的背景下尤其重要，因为大部分决策不是由法规决定，而是由公司员工决定。

正如我上面提到的以及我的决定所表明的那样，我认为某些政策研究最好在外部进行。我认为政策研究可能比安全和保障工作更常见，OpenAI 内部确实需要一些人推动良好的政策立场。

AGI Readiness 团队发生了什么？

经济研究团队直到最近还是由 Pamela Mishkin 领导的 AGI Readiness 子团队，但现在将由 OpenAI 新任首席经济学家 Ronnie Chatterji 领导。AGI Readiness 团队的其余成员将分布在其他团队中。

接下来我要做什么？

我计划创办一个新的非营利组织或加入现有的非营利组织，并将从事人工智能政策研究和宣传工作。我可能会做一些研究和宣传的结合，但细节待定，这将取决于未来几个月我与潜在联合创始人和合作者的对话。

我对人工智能政策有何看法？

我认为人工智能的优点已经很显著，而且可能会影响更大，缺点也是如此。

我认为人工智能和通用人工智能造福全人类并不是自动的，需要政府、非营利组织、社会和行业的决策者做出深思熟虑的选择，并且需要激烈的公众讨论。值得注意的是，这不仅适用于缓解风险，也适用于确保利益的公平分配，电力和现代医学等领域也是如此。

我认为 AI 能力正在迅速提升，政策制定者需要更快采取行动。这是我最希望能够独立研究的领域之一，因为当这些说法来自产业界时，它们往往会被视为炒作。通过脱离产业界，我将无法获得一些关于最新技术的信息，但我认为公共领域有大量信息可以证明这种紧迫感是合理的，而且我有一些想法，可以比迄今为止的叙事更好地展现这种紧迫性。几年前，我向有效利他主义者（他们对某些 AI 能力需要多长时间才能出现非常感兴趣）辩称，预测这些用处不大。许多应该采取的政策行动与确切的时间表完全无关。然而，我后来改变了主意，并认为大多数政策制定者除非认为情况紧急，否则不会采取行动，而且如果情况确实如此或将来可能如此，就需要令人信服地解释为什么会这样。

我认为，对 AI 能力及其推断的定量评估，结合对某些政策影响的分析，才能真实且有说服力地证明这种紧迫性。人们已经开始从安全角度衡量前沿模型、衡量 AI 随时间变化的趋势以及评估 AI 对劳动力市场的影响，但肯定还需要更多工作。

我认为我们还没有掌握我们需要的所有 AI 政策理念，而且许多常见理念要么很糟糕，要么太模糊，无法给出可信的判断。在 AI 的国际竞争中尤其如此，我发现现有的提案特别糟糕和模糊，不过其中一些想法也获得了更细致入微的讨论，并且趋势向好。前沿 AI 安全和保障的许多方面也需要创造性的解决方案。

另一方面，我认为我们确实有一些我们需要的理念，并且应该在其中一些领域迅速行动起来。这就是我不想把自己局限于研究的原因 —— 在某些情况下，缺少的就是意识或政治意愿。例如，国会应该大力资助美国 AI 安全研究所，这样政府就更有能力清晰地思考 AI 政策，也应该资助工业和安全局，这样政府中就会有人知道先进的 AI 芯片出口后会发生什么。

未来我对研究哪些主题感兴趣？

如果我有更多时间回顾过去六年，我的想法可能会有所变化，但目前我对以下几个相互关联的主题特别感兴趣。这里并不打算穷举所有重要问题，而且未来我可能会更加专注（比如在未来几个月的探索期后，深入研究其中一两个问题）。

评估和预测 AI 进展情况

这是后面各个主题的关键基础之一。如上所述，人们已经有了一些出色的研究成果，但它却因为各种不同原因（包括商业和学术原因）有所偏离核心。我认为在这个主题上，非营利部门有巨大的机会做出更多成绩。

与此同时，我意识到我们最终可能会将 AI 评估和预测提升到非常严格的状态，但政策行动仍然会相对缓慢。因此，除了与人们合作以更好地了解 AI 的进展之外，我还希望以一种能引起共鸣的方式更好地向人们介绍进展速度。我强烈地感觉到 AGI 更容易在产业界实现，但我不知道具体原因，因为实验室的能力与公众可用的能力之间实际上并没有太大的差距。

我有几个想探索的假设。我有兴趣从历史案例中研究为什么某些政策问题被视为紧急或不被视为紧急 —— 例如第二次世界大战和希特勒的崛起、气候变化等。

前沿 AI 安全与保障的监管

我认为，改善前沿 AI 安全与保障是当务之急，因为许多公司（数十家）都很快（最多未来几年时间）会拥有有能力造成灾难性风险的系统。考虑到现在已经没有多少时间可以设立全新的监管机构了，因此我尤其关注在现有的法律体系内采取行动的机会，以及 EU AI Act（欧盟人工智能法案）等已获准许的法案的施行。

如上所述，也可参读论文《The Role of Cooperation in Responsible AI Development》，公司和政府不一定会默认给予 AI 安全与保障应有的关注（并不只是说 OpenAI）。此现象的原因有很多，其一是私人利益和社会利益之间的错位，监管可以帮助减少这种错位。在安全等级方面实现可信的承诺和验证也存在困难，这进一步激励了偷工减料：人们认为其他人会偷工减料以获得优势，也无法确定 ground truth 是什么，或者认为他们以后会改变主意。偷工减料在许多领域都有发生，包括防止有害偏见和幻觉输出，以及投资预防即将发生的灾难性风险。需要明确的是，商业激励措施中有些方法可以促进安全，但我认为假定这些激励措施就足够了是不负责任的想法，特别是对于模糊、新颖、分散和 / 或低概率 / 高幅度的安全风险。

我很高兴了解公司如何能可靠地证明安全性，同时保护有价值且可能被滥用的知识产权。在不泄露敏感信息的情况下证明合规性的难度是实现控制协议的主要障碍，需要创新来解决。这个问题也是有效国内监管的核心。我很高兴能与致力于解决这一问题和其他相关技术 AI 治理问题的人们合作。

AI 的经济影响

我认为，在未来几年（而不是几十年），人工智能很可能会带来足够的经济增长，从而使人们可以轻松地提前退休，过上高标准的生活（假设有适当的政策来确保公平分配这些财富）。在此之前，可能会有一段时期，可以远程完成的任务更容易实现自动化。在短期内，我非常担心人工智能会扰乱那些迫切想要工作的人的机会，但我同时认为，人类最终应该消除为生活而工作的义务，而这样做也是构建 AI 和 AGI 的最有力论据之一。从长远来看，有些人可能会继续工作，但这样做的动力可能会比以前更弱（这是否正确取决于各种文化和政策因素）。就这件事而言，我们在政治、文化或其他方面都还没有做好准备，这需要成为政策对话的一部分。简单地转向「后工作世界」有可能导致文明停滞（参见《机器人总动员》），我们需要对此进行更多的思考和讨论。

我们还需要对人工智能的税收政策影响进行创新分析。例如，有人建议征收「机器人税」，但这究竟会产生什么影响？它与计算税或 AI 增值税等相比有何不同？我们是否不应该做任何专门针对 AI 的事情，而只需要意识到 AI 会让其他类型的税收变得更加紧迫（例如，如果资本和劳动力的回报出现巨大差异）？

加速有益的 AI 应用

虽然 AI 会带来一些好处，而且这些好处正在「自动」出现（通过许多人的辛勤工作），不需要太多的政府参与或支持，但我认为这种情况还没有达到足够的程度。对于从事工业工作的人来说，我们离理想有多远是显而易见的，而受限的 AI 素养和有限的资源又在多大程度上阻碍了 AI 收益的全面普及。

我认为，即使对（几乎）只专注于降低 AI 风险的人来说，认真考虑 AI 的有益应用也是有意义的，因为它们可能会改变不同竞争方对共同利益的看法，从而影响他们是否倾向于采取捷径的可能性。而且有益的应用也可能在降低风险方面提供更大的容错空间（例如，通过使社会对更高级别的人工智能部署或滥用具有更强的适应能力）。

此外，在默认情况下，免费和付费 AI 功能之间的差距很可能会越来越大。曾经有一段短暂的时期，这两者之间是完全等同的（除了次数限制），比如有段时间 4o 是最好的付费模型，用户也可以免费使用。但那个时代已经过去，很快就会成为遥远的记忆，因为各家公司都在争相为愿意支付更多费用的用户提供 test-time 计算服务。我并不是说不应该存在这样的差异，而是我们应该深思熟虑，找到合适的平衡点，以及我们是否可能在不知不觉中走向一个知识拥有者和非拥有者的世界。

在我看来，「AI for good」的初衷是好的，但目前却效率低下，这主要是由于民间社会和政府缺乏足够的专业技术知识，以及良好的规范和理论基础。例如，如果能对以下问题进行更多分析就好了：哪些问题应该 / 不应该期望市场提供解决方案；对于特定问题，是应该构建定制的专用 AI 解决方案，还是应该提高通用 AI 系统处理这些问题的能力；何时应该补贴现有技术，何时应该创造全新的技术等。

当然，也有一些令人兴奋的新想法和新框架被提出来，但我们也希望看到围绕这些更大的问题进行更多的辩论（除了为促进特定有益应用而采取的一次性举措之外），我们也希望看到「AI for good」社区、更注重理论的群体（他们正在思考风险敏感型创新、「d/acc」和社会对人工智能影响的适应力等想法）以及致力于缩小数字鸿沟的群体之间进行更多的相互交流。

计算治理

与软件、数据和人才相比，计算硬件具有独特的属性，使其成为人工智能政策的一个重要焦点：「它是可检测、可排除、可量化的，而且是通过极其集中的供应链生产出来的」。

学术文献对计算治理进行了认真的分析，但一般都远远落后于产业界的发展。例如，对于那些前沿人工智能公司来说，近年来有一个越来越明显的趋势，即扩大推理（而不仅仅是训练）规模可以实现更高的性能，但对其政策影响的公开分析直到最近才真正开始。更广泛地分配计算能力（以及人工智能的相关优势）的想法，例如通过政府为学术界提供更多的计算能力，通常都太少太迟，而且忽视了不断发展变化的世界中的特定问题。

我将如何保持独立性？

我希望这项工作在研究和建议方面是（并且被视为）独立的，我也希望自己是这样被看待的，尽管在实践中这样做并不容易，同时保持接近人工智能的 SOTA 水平。我将继续建设性地与对人工智能有不同看法的部门接触，包括工业、学术界、民间社会和政府的人。

OpenAI 表示愿意为这项新工作提供资金、API 额度和早期模型访问权，并向我保证不会对这项支持进行出版前审查，我对此表示感谢。不过，考虑到接受这些提议可能会损害独立性的现实和 / 或感知，我还没有做出任何最终决定。我将与我的同事共同做出决定。

原文链接：

https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im

http://mp.weixin.qq.com/s?__biz=Mzg4MDE3OTA5NA==&mid=2247592712&idx=1&sn=46894c52ff382f9f110d3f4319713dfa

学术头条

致力于学术传播和科学普及，重点关注AI4Science/大模型等前沿科学进展。

深度访谈｜AI 如何改变预测科学？看看统计学家怎么说

AI斩获6枚金牌！华为Kaggle大师级智能体诞生，自主解决数据科学难题

OpenAI官方指南：12条实用建议，手把手教学生用ChatGPT写作

Stability AI出官方教程了，带你轻松玩转Stable Diffusion 3.5

哈佛、MIT提出「精度感知」Scaling Laws；首个金融LLM综合双语基准｜大模型日报

OpenAI首位投资者《时代》刊文：AI将重新定义「人类的意义」

华为科学智能体 Agent K v1.0已达 Kaggle 大师水平；Meta团队提出自一致性偏好优化ScPO｜大模型日报

终于，AlphaFold3 开源了！代码免费下载，可用于非商业用途

OpenAI大改下代大模型方向，scaling law撞墙？AI社区炸锅了

清华、国科大、智谱团队提出LongReward：利用AI反馈改进长文本大语言模型

创纪录！首幅人形机器人绘制作品拍出108万美元；王慧文回归美团，带队探索AI应用｜一周热门

智谱「新清影」是怎样炼成的？CogVideoX+CogSound 技术详解

AI 的「phone use」竟是这样练成的，清华、智谱团队发布 AutoGLM 技术报告

清华、北大团队推出「安卓智能体」训练评估新框架 AndroidLab

Nature重磅：AI化学家再升级！大幅提升实验效率，推动化学合成进入“智能化”新阶段

研究实锤：别让大模型「想」太多，OpenAI o1准确率竟下降36.3%

清华、北大团队推出「安卓智能体」训练评估框架AndroidLab；Meta提出视频生成加速方法AdaCache｜大模型日报

科研人神器！接入5000万篇正版文献，知乎直答「专业搜索」太能打了

Meta 推出全新视频扩散模型 MarDini；周靖人团队：扩散 Transformer 的上下文 LoRA｜大模型日报

NeurIPS 2024｜清华、加州理工重磅研究：强化自训练方法 ReST-MCTS*，让大模型持续“升级”

港大打造 LightRAG：让大模型 RAG 高效又便宜

深夜重磅！ChatGPT可以“AI搜索”了，但并不完美

OpenAI最新研究：「打假高手」大模型事实性基准SimpleQA来了，已开源

小语言模型SLM综述｜大模型论文日报

大模型已过时、小模型SLM才是未来？苹果正在研究这个

超出人类思维的「系统0」：AI正在创造一种新的思维方式吗？

中国AI大模型出海，如何应对美国管制？最新报告给出了5个建议｜附下载链接

Nature封面：“揭穿”一切！Google DeepMind为AI大模型添加了“隐形指纹”

困扰18亿人的“全球干旱”，被AI更准确预测了

OpenAI又有高管走了，还发了篇长文

前OpenAI研究员：我必须离开；a16z创始合伙人：当前AI发展就像“卖大米”｜一周热门

刚刚，智谱推出情感语音模型 GLM-4-Voice，懂你的情绪，人人可用

不止 computer use，AI 的「phone use」也来了

今天，把电脑交给大模型

清华、腾讯团队提出预训练语言模型知识蒸馏框架 MiniPLM｜大模型论文日报

来了！Stability AI 推出 Stable Diffusion 3.5

深夜重磅！Anthropic 推出 Claude 3.5 Sonnet 升级版和 Claude 3.5 Haiku

刚刚，OpenAI最强竞对官宣：大模型可以使用电脑了

DeepMind创始人最新访谈：今年的诺贝尔奖，就像是AI的分水岭

微软提出新型注意力机制SeerAttention；清华、智谱团队提出“预训练蒸馏”｜大模型日报

OpenAI o1 模型推理模式的比较研究｜大模型论文日报

哈佛重磅突破！AI确定17000多种疾病候选药物，罕见病“孤儿药”不再遥远？

132年未解开的李雅普诺夫函数谜题，被Symbolic Transformer攻克了

Meta被斥：他们污染了“开源”一词；李开复：零一万物绝不放弃预训练模型｜一周热门

“AI调解员”登上Science！Google DeepMind打造，“劝架”水平远超人类

Meta提出思维偏好优化TPO；谷歌推出可穿戴基础模型LSM｜大模型论文日报

美国FDA：警惕AI大模型带来的未知问题，亟需监管创新

3B 超越 7B，Mistral AI 推出端侧模型 Ministral 3B 和 8B

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉