从 OpenAI 离职后，Brundage 写下了这篇长文，记录了他在 OpenAI 的心路历程以及对人工智能的一些思考。我们进行了翻译以飨读者。
其实，大约 12 年前，我就已经决定毕生从事与 OpenAI 的使命相类似的工作。因此，离开我梦寐以求的工作并不是一个容易的决定，我相信不少人会问为什么。在本文中，我回答了几个相关的问题，希望为大家提供一些更准确的信息。
自 2015 年 12 月 OpenAI 宣布成立以来，我一直对它充满期待。那天，我彻夜未眠，写下了自己对于其重要意义的思考。其实，大约 12 年前，我就已经决定毕生从事与 OpenAI 的使命（使 AGI 造福全人类）相类似的工作。
因此，离开我梦寐以求的工作——为 OpenAI 高管及董事会就 AGI 的就绪状态提供建议——并不是一个容易的决定，我相信不少人会问为什么。我在下文中回答了几个这样的问题，希望大家在讨论关于我离职的原因及其他各种相关的话题时有一些更准确的信息。
本文要点：
我希望花更多的时间来研究整个人工智能行业的问题，有更多的出版自由，更加独立；
我将创办一家非营利组织并或加入一家现有的非营利组织，专注于人工智能政策的研究和宣传，因为我认为，只有大家齐心协力，才能尽可能地保证人工智能安全有益；
我感兴趣的一些研究领域包括：人工智能进展评估 / 预测、前沿人工智能的安全和安保监管、人工智能对经济的影响、加速发展对人有益的人工智能应用、计算治理以及总体的 “人工智能大战略”；
我认为，OpenAI 仍然是一个令人兴奋的地方，在那里有很多事可以做，很高兴看到 OpenAI 的团队继续在安全文化和流程方面加大投资；
10 月 25 日下班之前，我都还是 OpenAI 的一名研究员兼部门经理。我在这里已经工作了六年多，按照 OpenAI 的标准，这个时间已经相当长了（在这六年里，OpenAI 有了很大的发展！）。最初，我是政策团队的一名研究科学家，后来成了政策研究主管。目前，我是 AGI Readiness 高级顾问。而在此之前，我一直从事学术相关的工作。在亚利桑那州立大学科学技术专业获得了人文与社会维度博士学位后，我在牛津大学从事博士后研究，之后还在美国能源部的政府部门工作过一段时间。
在我看来，我所领导的团队（政策研究和后来的 AGI Readiness）做了很多非常重要的工作，形成了 OpenAI 的部署实践，例如，启动了我们的外部红队计划，推动了最初的几个 OpenAI 系统卡片，并就语言模型和人工智能代理的社会影响、前沿人工智能监管、计算治理等主题发表了很多有影响力的内容。
我非常感谢在 OpenAI 工作的这段时间，感谢管理层多年来对我的信任，让我承担越来越大的责任；感谢我有幸管理过的数十名员工，从他们身上我学到了很多东西；感谢在不同团队中与我共事过的无数优秀的同事，是他们让我在 OpenAI 的工作成为一段如此迷人而有益的经历。
我下定决心，要从行业外部而不是内部来影响人工智能的发展。下面是我主要考虑的几个因素：
机会成本变得非常高：我没有时间去研究各种我认为重要的研究课题。而且我认为，在某些情况下，我在行业外研究这些课题会更有影响力。OpenAI 现在备受瞩目，其成果会受到很多不同角度的审查，以至于我很难就我认为重要的所有课题发表观点。说实话，我并不是一直都赞同 OpenAI 在出版审查方面的立场，我也确实认为，在行业内存在一些出版限制是合理的（而且我还参与了 OpenAI 政策的多次迭代），但对我来说，这些限制已经太多了。
我想减少偏见：如果你是某个组织的一员，每天都与该组织的人员密切合作，那么你就很难对该组织保持公正。而且，考虑到经济利益冲突，人们有理由质疑来自行业的政策想法。虽然我尽量在分析中做到不偏不倚，但我相信这其中肯定会有一些偏见，而且在 OpenAI 工作肯定会影响人们对我以及其他业界人士发言的看法。我认为，在政策对话中拥有更多独立于行业的声音至关重要，而我计划成为其中的一员。
我已经完成了我在 OpenAI 所要做的大部分工作：自从担任 AGI Readiness 高级顾问以来，我开始更明确地思考两种 AGI 就绪问题——OpenAI 管理日益强大的人工智能的能力的就绪状态，以及世界有效管理这些能力的就绪状态（包括监管 OpenAI 和其他公司）。对于前者，我已经向高管和董事会（我向他们提建议）介绍了相当多我认为 OpenAI 需要做的事情以及存在的差距，而对于后者，我认为我可以在 OpenAI 之外发挥更大的作用。
很难说以上哪一条最重要，它们之间有着千丝万缕的联系。我做出这样的决定，上面每一条都起了一定的作用。
简单来说，不管是 OpenAI 还是其他前沿实验室都没有做好准备，这个世界也没有。
说实话，在 OpenAI 的领导层中，我认为这个说法不存在争议。需要注意的是，这与企业和这个世界是否“在相关的时间做好了准备”是两个不同的问题（我认为距离准备就绪还有很大的差距，以至于我将在职业生涯的剩余时间里从事人工智能政策方面的工作）。
企业和这个世界是否已经做好 AGI 准备，取决于安全和安保文化如何随着时间的推移而发展（最近 董事会成员的 增加 就是朝着正确的方向迈进了一步）、监管如何影响组织激励机制、有关人工智能能力和安全难题的各种事实如何演变，以及其他的各种因素。
顺便提一句，我认为 AGI 被赋予了太多的含义，它暗含着一种二元思维方式，而非其实际的意义。最近，我的团队一直在做的一件事是，完善 这里提到的“人工智能层次”框架。希望不久之后，OpenAI 和我能发表一篇相关的论文。但现在，我只想指出，当我说“做好 AGI 准备”时，我指的是“为安全、可靠、有益地开发、部署和管理能力日益增强的人工智能系统做好了准备 ”。
在 OpenAI 工作是大多数人都希望做的最具影响力的事情之一。因此，在大多数情况下，答案是肯定的。当然，人们有不同的技能和机会，也很难一概而论。但我认为，OpenAI 的每一个角色、每一份工作都很重要，对 OpenAI 组织文化的贡献也很重要。在提升人工智能能力的道路上，每一项产品部署都会影响规范、人们对人工智能的看法以及监管方式等。很遗憾，我失去了一些在这里产生影响的机会，但我希望能通过在更大程度上影响更大的生态系统来弥补。
在 OpenAI，从事安全、安保方面的工作，确保我们能从正在构建的技术中广泛受益，或者从事人工智能能力研究和产品方面的工作，利用自己的影响力推动事情朝着更安全、更有保障、让更多人受益的方向发展，我认为，这些工作会产生特别大的影响。任何在 OpenAI 工作的人都应该认真对待这样一个事实，即他们的行为和言论会对组织文化产生影响，并可能在组织开始管理极其先进的能力时产生积极或消极的路径依赖。对任何组织而言，文化都很重要，但在前沿人工智能领域，文化尤为重要，因为大部分决策都 不是 由法规 决定的，而是由公司员工 决定的。
正如我在上文提到的，也是我做出离职决定的原因，我认为，某些类型的政策研究最好由外部人员来完成。这种情况可能更多地出现在政策研究中，如安全和安保工作中，虽然 OpenAI 内部确实需要有一些人来推动良好的政策立场，但独立的安全和保安研究也很有价值。
直到最近，Economic Research 团队一直是 AGI Readiness 团队中由 Pamela Mishkin 领导的一个子团队。现在，该团队将由 OpenAI 新任首席经济学家 Ronnie Chatterji 领导。AGI Readiness 团队的其余人员将被分配到其他团队。我正在与 Josh Achiam 密切合作，将一些项目移交给他正在组建的 Mission Alignment 团队。
我计划创办一家新的非营利组织（和 / 或加入一家现有的非营利组织），从事人工智能政策研究和宣传工作。我可能会把研究和宣传结合起来，但具体细节和工作比重还未确定。在接下来的几个月里，我将与潜在的联合创始人和合作者进行交流，然后就可以明确了。我的兴趣是面向全球的，但我可能会把重点放在我比较熟悉的国家（如美国）、可能会产生重大影响的政策开端（如欧盟人工智能法案的早期实施）以及各种多边努力（我认为这将越来越重要）上。
我认为，人工智能的好处614547_EN.pdf) 已经很大，而且可能会越来越大，但坏处也是如此。我在这一领域工作的时间比大多数人都长。很遗憾，我看到，对于成本和效益账或者不同风险的优先级等问题，人们的观点两极分化日益严重。我的观点是，有很多事情值得担忧，也有很多事情让人兴奋，我们不必非要选择一件事情来关心，我们应该找出它们的共性之处。
我认为，人工智能和 AGI 并不能自动造福全人类，需要政府、非营利组织、民间和产业界的决策者做出深思熟虑的选择，而这需要公众的热烈讨论才能变得清晰。值得注意的是，这不仅有利于降低风险，也有利于确保利益的公平分配，就像电力和现代医学领域那样。造成这种情况的原因有很多，涉及集体行动问题、各种无标价的负外部性、数字基础设施使用权的起点不对等、财富不均等等。默认情况下，这些都会影响谁成为受益者或受害者以及到何种程度。与铁路、电力等一样，企业和政府的政策对于确保结果的安全和公平至关重要。
我认为，人工智能的能力正在迅速提高，政策制定者需要更快地采取行动。这是我最期待独立开展工作的领域之一，因为来自行业的相关说法往往会被视为炒作。虽然离开这个行业后，我就无法获得一些最前沿的信息了，但我认为，公共领域也有大量的信息可以证明这种紧迫性是合理的。而且，对于如何比现在更有效地整合信息，我有一些想法。几年前，我曾向有效利他主义者（他们对某些人工智能能力需要多长时间才能变成现实的存在相当感兴趣）提出，不一定需要预测才能让他们善用自己的时间。许多应该采取的政策行动有很大的独立性，与确切的时间表无关。不过，我后来改变了想法，我认为大多数的政策制定者都不会采取行动，除非他们认为情况非常紧急，而如果情况确实如此或将来可能如此，就需要有让人信服的理由说明为什么情况会如此。参见：COVID 以及在此之前关于大流行防备的许多警告。
我认为，对人工智能能力及其推断进行定量评估，并结合对某些政策影响的分析，对于真实而有说服力地展示这种紧迫性至关重要。在从安全角度衡量前沿模型、衡量人工智能的长期趋势以及评估人工智能对劳动力市场的影响方面，已经有大量的工作在开展，但肯定还有更多工作的要做。
我认为，对人工智能能力及其推断进行定量评估，并结合对某些政策影响的分析，对于真实而有说服力地展示这种紧迫性至关重要。在从安全角度衡量前沿模型、度量人工智能的长期趋势以及评估人工智能对劳动力市场的影响方面，人们已经做了大量的工作，但肯定还有更多的工作要做。
我认为，我们并不掌握我们所需要的所有人工智能政策理念，而且许多流行的理念都很糟糕或过于含糊，让人无法对其作出有把握的判断。在人工智能的国际竞争方面尤其如此，我认为现有的建议尤其糟糕（如 “尽快与 [竞争国] 竞赛”）和含糊（如 “CERN for AI”）。不过令人鼓舞的是，我们看到，对于其中的一些想法，人们正趋向于进行更细致的讨论。对于前沿人工智能的安全和安保，还有许多方面需要创造性的解决方案。
另一方面，我认为我们确实有一些我们需要的理念，并应在其中一些领域迅速采取行动。这就是为什么我不想仅仅局限于研究——在某些情况下，我们缺少的只是意识或政治意愿。例如，国会应大力资助美国人工智能安全研究所，这样政府就有更强的能力来清晰地思考人工智能政策。同时，他们还应资助工业与安全局，这样政府中就会有人对先进的人工智能芯片出口后的情况有所了解。
我相信，如果我有时间对我过去六年所做的工作进行更多的思考，那么我的观点可能会有所改变。但目前，我对以下六个相互关联的主题特别感兴趣。我并不打算在这里详尽无遗地列出所有的重要问题。而且，随着时间的推移，我可能会关注到更多的问题（例如，在未来几个月的探索期之后，只深入研究其中的一两个问题）。
该主题是清晰思考下文其他主题的基础之一。如上所述，在这方面，人们已经做了一些很棒的工作，但动机（包括商业和学术动机）不同，它被以各种方式扭曲了。我认为，在这一主题上，非营利部门可以做更多的工作。
与此同时，我也意识到，在人工智能评估和预测方面，我们最终可能会非常严格，但政策行动仍然相对缓慢。因此，除了与人们开展合作，以便更好地了解人工智能的进展之外，我还希望以一种能够引起共鸣的方式帮助人们更好地宣传人工智能的发展速度。我有一种强烈的感觉，觉得人工智能 在工业界更容易实现，但我不知道这究竟是为什么，因为实际上，实验室中存在的能力与公众可以使用的能力之间并没有很大的差距。我有一些有兴趣进行进一步探索的假设。我想通过历史案例了解为什么有些政策问题被视为紧急问题，而有些则不被视为紧急问题，例如 COVID 和大流行的一般政策、第二次世界大战和希特勒的崛起、气候变化等。
我认为，考虑到很快（最多在未来几年）就会有不少公司（数十家）拥有能够带来灾难性风险的系统，从安全和安保方面改善前沿人工智能已迫在眉睫。鉴于没有时间建立全新的机构，我对在现有法律授权下采取行动的机会，以及已获批准的法规（如欧盟人工智能法案）的实施尤为感兴趣。
如上所述，这篇文章和一些类似的工作作了更详细的解释。在默认情况下，对于人工智能的安全和安保，企业和政府不一定会给予应有的关注（这并不是专门针对 OpenAI 的评论，上文也不是）。造成这种情况的原因有很多，其中之一是私人利益与社会利益之间的错位，而监管可以帮助缓解这种错位。此外，在安全等级的可信承诺与验证方面也存在一些困难，这进一步助长了投机行为：人们认定其他人会通过偷工减料的方式来获取优势，而自己却无法判断实际情况是什么，或者认为自己以后会改变主意。偷工减料在多个领域都时有发生，包括预防带有偏见与幻觉的有害输出，以及对可能出现的灾难性风险进行预防性投资。显然，在某些方面，商业激励机制可以推动安全性的提升，但我认为，想当然地认为这些激励机制已经足够是不负责任的，尤其是当安全风险不明确、新颖、分散和 / 或属于低概率 / 高风险时。
我很想知道，企业该如何保护他们宝贵且可能被滥用的知识产权，同时又用一种可信的方式证明其安全性。既要不泄露敏感信息，又要证明其合规性，这是军备控制协议的一大障碍，需要通过创新来解决。这个问题也是有效进行国内监管的核心。我很愿意与研究这个问题及其他相关 AI 治理技术问题的人进行合作。
虽然有些人认为，民主国家与专制国家竞争才是应对全球人工智能形势的正确方法，但我认为，拥有并助长这种零和心态可能会增加安全和安保方面的投机风险以及其他非常糟糕的结果。我希望看到的是，学术界、企业、公民社会和政策制定者通力合作，找到一种方法来证明西方的 AI 发展不会对其他国家的安全或政权稳定构成威胁。这样我们就能开展跨界合作，解决未来非常棘手的安全和安保挑战。
即使西方国家在人工智能方面继续大幅超越东方大国，我认为这种可能性非常大，但专制国家拥有的计算硬件和算法进步也足以让他们建立起非常先进的能力，因此，合作至关重要。我知道很多人认为这听起来很天真，但我认为他们并没有充分考虑形势的发展，也没有考虑到国际合作（通过前瞻性、对话和创新来实现）对于管理灾难性风险是多么重要。
我认为，在未来几年（而不是几十年），人工智能很可能会带来足够的经济增长，使人们可以轻松地提前退休，过上高标准的生活（假设有适当的政策来确保公平分配这些财富）。在此之前，可能会有一段时期，那些可以远程完成的任务更容易实现自动化。短期内，我非常担心人工智能会困扰那些迫切需要工作机会的人，但我同时认为，人类最终应该免除为生活而工作的义务，而这也是构建人工智能和 AGI 最有力的论据之一。从长远来看，有些人可能会继续工作，但动力可能会比以前弱（是否如此取决于各种文化和政策因素）。在政治、文化等方面，我们还没有做好准备，这需要成为政策对话的一部分。天真冒失地转向 “后工作世界 ”有可能导致文明停滞（参见《瓦力》），我们需要对此进行更多的思考和讨论。
人工智能对税收政策的影响进也需要进行创新性的分析。例如，有人建议征收 “机器人税”，但这究竟会产生什么影响？它与计算税或人工智能增值税等相比有何不同？我们是不是不应该做任何专门针对人工智能的事情，而只需要认识到，人工智能会让其他类型的税收变得更加紧迫（例如，如果资本和劳动力的回报出现巨大差异）？
虽然人工智能会带来一些好处，而且这些好处正在 “自动 ”出现（通过许多人的辛勤工作），不需要太多的政府参与或支持，但我认为还不够。在工业界的人们看来，那显然远未达到理想的状态，而有限的人工智能知识和资源又严重阻碍了人工智能的全面普及。
我认为，即使对（几乎）只专注于降低人工智能风险的人来说，认真考虑人工智能的有益应用也是有意义的，因为它们可能会改变不同竞争方对共同利益的看法，从而减少投机的可能性。而且，在降低风险方面，有益的应用也可能提供更大的容错空间（例如，通过使社会对更高水平的人工智能部署或滥用具有弹性）。
默认情况下，免费和付费 AI 功能之间的差距也可能越来越大。有很短的一段时间，这两种模式完全相同（除了速度限制），那时 4o 是最好的付费模型，而用户也可以免费使用。但那个时代已经过去，很快就会成为遥远的记忆，因为企业竞相为那些愿意支付更高价格的人提供测试 时间计算 服务。我并不是说不应该有这样的差异，而是说我们应该考虑一下什么程度是合适的，以及我们是否糊里糊涂地进入了一个认知贫富差距巨大的世界。
在我看来，“利用人工智能造福人类 ”的初衷是好的，但目前却效率低下，这主要是由于民间社会和政府缺乏足够的专业技术知识，并且缺乏良好的规范和理论基础。例如下面这些问题，我们应该进行更多的分析：哪些问题我们应该期望通过市场来解决，哪些问题不应该；什么时候应该针对特定的问题量身打造狭义的人工智能解决方案，什么时候应该提高通用人工智能系统处理这些问题的能力；什么时候适合资助已有的技术，什么时候适合创造全新的技术，等等。
当然，也有一些令人兴奋的 新想法和新框架 正在浮出水面，但我们也希望看到，人们围绕这些更大的问题展开更多的辩论（除了为推广特定的有益的应用程序而采取的一次性举措之外）。我们还希望看到，“利用人工智能造福人类“社群、更多以理论为导向的群体（他们正在思考 风险敏感型创新、“d/acc”和社会对人工智能影响的 适应力 等主题，不同团体之间已经有一些交流，但还不够）以及那些致力于缩小数字鸿沟的人们，他们相互之间进行更多的交流。
与软件、数据和人才相比，计算硬件具有独特的属性，这使其成为人工智能政策的一个重要关注点：“它是可检测的、具有排他性的、可量化的，而且是通过高度集中的供应链生产出来的"（引自我参与撰写的这篇论文）。令人担忧的是，对于这些运往海外的计算硬件，政府中负责监督的部门人员配备、资金都严重不足。而且，从更广泛的意义上讲，对于最终应该怎么样，他们几乎没有进行过认真的政策讨论（除了偶尔收紧出口管制、要求公司报告其大型数据中心和训练运行情况之外）。
学术文献中对计算治理的认真分析通常落后于行业发展相当长的时间。例如，对于那些前沿人工智能公司而言，近年来越来越明确的是，扩大推理规模而不仅仅是训练规模，可以实现更高的性能，但对其政策影响的公开分析只是最近才真的开始。有关更广泛地分配计算能力（以及人工智能带来的益处）的想法，例如通过政府为学术界提供更高的计算能力，通常都太少又太迟，而且忽视了发展中国家特有的问题，他们的情况则完全不同。
幸运的是，还有许多令人兴奋的研究问题值得进一步探索，包括上文提到的论文中简单提及的一些政策理念，以及最近发表的论文人工智能技术治理和基于硬件的人工智能治理。但我认为，这方面可能还有更多令人兴奋的想法有待探索，包括关于如何解决下文中将要探讨的人工智能政策中的关键权衡取舍问题的想法。
我们需要就人类如何确保人工智能和 AGI 造福全人类展开更多全局性的讨论。如上所述，我不认为当前已有的方案非常有说服力，而且许多方案都过于模糊，无法进行实际的评估。与逐步建立起 “人工智能大战略 ”相比，明确研究 “人工智能大战略 ”的工作可能会显得空洞无物，但我想至少先评估一下现状，然后再确定怎么做。
下面是关于人工智能大战略的一些问题举例：
我们如何平衡分散式人工智能开发的好处（如降低有害的权力集中的可能性）与坏处（如减少了为每个人工智能开发 “单元 ”配备的安全和安保人才的数量）？
在一个有可能达成人工智能条约或大协议的世界里，或者在一个不可能达成条约或大协议的世界里，企业和国家应该采取什么样的政策行动？同样，国会应采取或不采取哪些行动？
从人工智能研究的国有化或国际化到如今的自由放任，有哪些值得考虑的方案？
除了 “e/acc vs. Pause AI ”之外，关于人工智能理想发展速度的严肃对话应该是什么样的？这种对话既要考虑到持续发展的实际风险和真正好处，同时还要考虑到现有的实际政策选择。
在能源和气候政策等领域，有一些（有争议的）量化框架可以将影响的总体情况提炼为一个单一的数字，例如碳的社会成本，然后可以为净效益分析提供信息。人工智能是否也可以有类似的框架（如 “硅的社会成本”）？
我认为，人工智能大战略与上文讨论的其他主题之间存在着令人兴奋的交集。例如，在大规模运用计算（用于训练和 / 或推理）的环境中采用安全性可验证的、硬件实现的多边否决权，让我们既可以从规模经济中获益，又能分散权力，可谓两全其美。我们需要一个令人兴奋的上层愿景来支持针对此类方法的技术研究，我们也需要一个更好的方法清单来帮助我们评估哪些上层愿景是可行的。
说白了，这些研究兴趣并不完全是新的：在我加入 OpenAI 之前及在 OpenAI 工作期间， 我一直在发表关于所有这些主题的文章，有些是独立的论文，也有许多是系统卡片和 OpenAI 博文。其中一些主要体现了 OpenAI 的兴趣所在，例如这里。但我认为，我将从特定的角度来看待这些问题，并以最快的速度分享我的研究成果，那将与业界的看法有很大的不同。
原文链接：
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
声明：本文为 InfoQ 翻译，未经许可禁止转载。
就在 12 月 13 日 -14 日，AICon 将汇聚 70+ 位 AI 及技术领域的专家，深入探讨大模型与推理、AI Agent、多模态、具身智能等前沿话题。此外，还有丰富的圆桌论坛、以及展区活动，满足你对大模型实践的好奇与想象。现在正值 8 折倒计时，名额有限，快扫码咨询了解详情，别错过这次绝佳的学习与交流机会！
