OpenAI 的离职潮仍未止息...
这一次离开的是 Miles Brundage，他是 OpenAI 一位资深研究者和管理者。
他于 2018 年加入 OpenAI，离职前担任 AGI Readiness 团队的高级顾问，之前还曾领导过 Policy Research 团队。
离职公开信概览
我想把更多时间投入到涉及整个 AI 行业的问题上，拥有更多发表的自由，更加独立； 我将创立一家和 / 或加入一家已有的非营利机构，并且将把关注重心放在 AI 政策研究和倡导上，因为我认为，如果我们不齐心协力，AI 不太可能尽可能地安全和有益； 我感兴趣的一些研究领域包括评估和预测 AI 进展、前沿 AI 安全的监管问题、AI 的经济影响、有益 AI 应用的加速推进、计算治理； 我认为，对于许多研究和工作而言，OpenAI 依然是一个激动人心的地方，我很高兴看到团队继续加大对安全文化和过程的投资。
我是谁？我在 OpenAI 做什么？
在我看来，我领导过的团队（政策研究和 AGI 达成进度）做了很多非常重要的工作，这些工作塑造了 OpenAI 的部署实践，例如启动我们的外部红队项目并推动前几张 OpenAI 系统卡（安全报告），并发表了许多有影响力的著作，主题包括语言模型和 AI 智能体的社会影响、前沿人工智能监管、计算治理等。
我非常感谢我在 OpenAI 的时光，也非常感谢我的管理者们多年来的信任，让我承担越来越多的责任，感谢我有幸管理的数十名员工，我从他们身上学到了很多东西，感谢我在各个团队中共事的无数才华横溢的同事，他们使在 OpenAI 工作成为一次如此迷人和有益的经历。
我为什么离开？
我想减少偏见：当你是某个组织机构的一部分并每天与那里的人密切合作时，就很难对该组织保持公正客观的立场，而且考虑到经济利益冲突，人们有权质疑来自行业的政策想法。
我已经尝试过在分析中做到尽可能公正，但我确信其中存在一些偏见，而且在 OpenAI 工作肯定会影响人们对我的言论以及业内其他人的言论的看法。我认为在政策对话中拥有比现在更多的行业独立声音至关重要，我计划成为其中之一。
我在 OpenAI 已经完成了我之前计划要做的大部分工作：
自从开始担任 AGI 达成进度高级顾问以来，我开始更明确地思考两种 AGI 达成进度 ——OpenAI 是否准备好管理日益强大的 AI 能力，以及世界是否准备好有效管理这些能力（包括通过监管 OpenAI 和其他公司）。
OpenAI 和世界在迎接 AGI 上准备得如何了？
人们应该在 OpenAI 工作吗？
正如我上面提到的以及我的决定所表明的那样，我认为某些政策研究最好在外部进行。我认为政策研究可能比安全和保障工作更常见，OpenAI 内部确实需要一些人推动良好的政策立场。
AGI Readiness 团队发生了什么？
经济研究团队直到最近还是由 Pamela Mishkin 领导的 AGI Readiness 子团队，但现在将由 OpenAI 新任首席经济学家 Ronnie Chatterji 领导。AGI Readiness 团队的其余成员将分布在其他团队中。
接下来我要做什么？
我计划创办一个新的非营利组织或加入现有的非营利组织，并将从事人工智能政策研究和宣传工作。我可能会做一些研究和宣传的结合，但细节待定，这将取决于未来几个月我与潜在联合创始人和合作者的对话。
我对人工智能政策有何看法？
我认为人工智能的优点已经很显著，而且可能会影响更大，缺点也是如此。
我认为人工智能和通用人工智能造福全人类并不是自动的，需要政府、非营利组织、社会和行业的决策者做出深思熟虑的选择，并且需要激烈的公众讨论。值得注意的是，这不仅适用于缓解风险，也适用于确保利益的公平分配，电力和现代医学等领域也是如此。
我认为 AI 能力正在迅速提升，政策制定者需要更快采取行动。这是我最希望能够独立研究的领域之一，因为当这些说法来自产业界时，它们往往会被视为炒作。通过脱离产业界，我将无法获得一些关于最新技术的信息，但我认为公共领域有大量信息可以证明这种紧迫感是合理的，而且我有一些想法，可以比迄今为止的叙事更好地展现这种紧迫性。几年前，我向有效利他主义者（他们对某些 AI 能力需要多长时间才能出现非常感兴趣）辩称，预测这些用处不大。许多应该采取的政策行动与确切的时间表完全无关。然而，我后来改变了主意，并认为大多数政策制定者除非认为情况紧急，否则不会采取行动，而且如果情况确实如此或将来可能如此，就需要令人信服地解释为什么会这样。
我认为，对 AI 能力及其推断的定量评估，结合对某些政策影响的分析，才能真实且有说服力地证明这种紧迫性。人们已经开始从安全角度衡量前沿模型、衡量 AI 随时间变化的趋势以及评估 AI 对劳动力市场的影响，但肯定还需要更多工作。
我认为我们还没有掌握我们需要的所有 AI 政策理念，而且许多常见理念要么很糟糕，要么太模糊，无法给出可信的判断。在 AI 的国际竞争中尤其如此，我发现现有的提案特别糟糕和模糊，不过其中一些想法也获得了更细致入微的讨论，并且趋势向好。前沿 AI 安全和保障的许多方面也需要创造性的解决方案。
另一方面，我认为我们确实有一些我们需要的理念，并且应该在其中一些领域迅速行动起来。这就是我不想把自己局限于研究的原因 —— 在某些情况下，缺少的就是意识或政治意愿。例如，国会应该大力资助美国 AI 安全研究所，这样政府就更有能力清晰地思考 AI 政策，也应该资助工业和安全局，这样政府中就会有人知道先进的 AI 芯片出口后会发生什么。
未来我对研究哪些主题感兴趣？
如果我有更多时间回顾过去六年，我的想法可能会有所变化，但目前我对以下几个相互关联的主题特别感兴趣。这里并不打算穷举所有重要问题，而且未来我可能会更加专注（比如在未来几个月的探索期后，深入研究其中一两个问题）。
评估和预测 AI 进展情况
这是后面各个主题的关键基础之一。如上所述，人们已经有了一些出色的研究成果，但它却因为各种不同原因（包括商业和学术原因）有所偏离核心。我认为在这个主题上，非营利部门有巨大的机会做出更多成绩。
与此同时，我意识到我们最终可能会将 AI 评估和预测提升到非常严格的状态，但政策行动仍然会相对缓慢。因此，除了与人们合作以更好地了解 AI 的进展之外，我还希望以一种能引起共鸣的方式更好地向人们介绍进展速度。我强烈地感觉到 AGI 更容易在产业界实现，但我不知道具体原因，因为实验室的能力与公众可用的能力之间实际上并没有太大的差距。
前沿 AI 安全与保障的监管
我认为，改善前沿 AI 安全与保障是当务之急，因为许多公司（数十家）都很快（最多未来几年时间）会拥有有能力造成灾难性风险的系统。考虑到现在已经没有多少时间可以设立全新的监管机构了，因此我尤其关注在现有的法律体系内采取行动的机会，以及 EU AI Act（欧盟人工智能法案）等已获准许的法案的施行。
如上所述，也可参读论文《The Role of Cooperation in Responsible AI Development》，公司和政府不一定会默认给予 AI 安全与保障应有的关注（并不只是说 OpenAI）。此现象的原因有很多，其一是私人利益和社会利益之间的错位，监管可以帮助减少这种错位。在安全等级方面实现可信的承诺和验证也存在困难，这进一步激励了偷工减料：人们认为其他人会偷工减料以获得优势，也无法确定 ground truth 是什么，或者认为他们以后会改变主意。偷工减料在许多领域都有发生，包括防止有害偏见和幻觉输出，以及投资预防即将发生的灾难性风险。需要明确的是，商业激励措施中有些方法可以促进安全，但我认为假定这些激励措施就足够了是不负责任的想法，特别是对于模糊、新颖、分散和 / 或低概率 / 高幅度的安全风险。
AI 的经济影响
我认为，在未来几年（而不是几十年），人工智能很可能会带来足够的经济增长，从而使人们可以轻松地提前退休，过上高标准的生活（假设有适当的政策来确保公平分配这些财富）。在此之前，可能会有一段时期，可以远程完成的任务更容易实现自动化。在短期内，我非常担心人工智能会扰乱那些迫切想要工作的人的机会，但我同时认为，人类最终应该消除为生活而工作的义务，而这样做也是构建 AI 和 AGI 的最有力论据之一。从长远来看，有些人可能会继续工作，但这样做的动力可能会比以前更弱（这是否正确取决于各种文化和政策因素）。就这件事而言，我们在政治、文化或其他方面都还没有做好准备，这需要成为政策对话的一部分。简单地转向「后工作世界」有可能导致文明停滞（参见《机器人总动员》），我们需要对此进行更多的思考和讨论。
加速有益的 AI 应用
虽然 AI 会带来一些好处，而且这些好处正在「自动」出现（通过许多人的辛勤工作），不需要太多的政府参与或支持，但我认为这种情况还没有达到足够的程度。对于从事工业工作的人来说，我们离理想有多远是显而易见的，而受限的 AI 素养和有限的资源又在多大程度上阻碍了 AI 收益的全面普及。
我认为，即使对（几乎）只专注于降低 AI 风险的人来说，认真考虑 AI 的有益应用也是有意义的，因为它们可能会改变不同竞争方对共同利益的看法，从而影响他们是否倾向于采取捷径的可能性。而且有益的应用也可能在降低风险方面提供更大的容错空间（例如，通过使社会对更高级别的人工智能部署或滥用具有更强的适应能力）。
此外，在默认情况下，免费和付费 AI 功能之间的差距很可能会越来越大。曾经有一段短暂的时期，这两者之间是完全等同的（除了次数限制），比如有段时间 4o 是最好的付费模型，用户也可以免费使用。但那个时代已经过去，很快就会成为遥远的记忆，因为各家公司都在争相为愿意支付更多费用的用户提供 test-time 计算服务。我并不是说不应该存在这样的差异，而是我们应该深思熟虑，找到合适的平衡点，以及我们是否可能在不知不觉中走向一个知识拥有者和非拥有者的世界。
在我看来，「AI for good」的初衷是好的，但目前却效率低下，这主要是由于民间社会和政府缺乏足够的专业技术知识，以及良好的规范和理论基础。例如，如果能对以下问题进行更多分析就好了：哪些问题应该 / 不应该期望市场提供解决方案；对于特定问题，是应该构建定制的专用 AI 解决方案，还是应该提高通用 AI 系统处理这些问题的能力；何时应该补贴现有技术，何时应该创造全新的技术等。
当然，也有一些令人兴奋的新想法和新框架被提出来，但我们也希望看到围绕这些更大的问题进行更多的辩论（除了为促进特定有益应用而采取的一次性举措之外），我们也希望看到「AI for good」社区、更注重理论的群体（他们正在思考风险敏感型创新、「d/acc」和社会对人工智能影响的适应力等想法）以及致力于缩小数字鸿沟的群体之间进行更多的相互交流。
计算治理
我将如何保持独立性？
我希望这项工作在研究和建议方面是（并且被视为）独立的，我也希望自己是这样被看待的，尽管在实践中这样做并不容易，同时保持接近人工智能的 SOTA 水平。我将继续建设性地与对人工智能有不同看法的部门接触，包括工业、学术界、民间社会和政府的人。
原文链接：https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
