突发消息:
OpenAI安全系统团队负责人翁荔(Lilian Weng)近日在社交媒体上宣布,将于11月15日离开公司,结束她近7年的职业生涯。这一消息在AI领域引起广泛关注,尤其是在Sam Altman重回OpenAI后,高管离职的情况依然频繁。
翁荔的重要地位与成就
提到翁荔,可能很多人不知道这个名字,但是提起Lillian Weng,许多AI开发者都会知道,她是AI圈的大网红之一:
她的技术博客广受业内推崇,特别是《LLM Powered Autonomous Agents》一文,系统总结了基于大语言模型的智能体研究现状。这篇文章成为AI Agent领域的入门必读,帮助众多研究者理解AI的基本概念和发展方向。最著名的Agent公式也由她提出,即:Agent=大模型+记忆+主动规划+工具使用。 在OpenAI去年经历管理层变动期间,有句话被它的700多名员工发在推特上,“OpenAI is nothing without its people”,而她就是当时被多家媒体认为是公司不可或缺的安全方面的核心人物。 作为OpenAI安全系统团队的负责人,她的工作重心在于确保AI模型的安全性与可控性。
而就在前不久,她还刚刚现身2024 Bilibili 超级科学晚活动,发表了《AI安全与“培养”之道》的主题演讲。
在翁荔的领导下,OpenAI安全团队取得了重要突破:
开发了业界领先的多模态审核模型。 建立了完整的AI安全评估体系。 参与了从GPT-4到最新版本的所有重要模型发布。 为整个AI行业设立了安全标准。
离职信全文
以下是翁荔发给团队的离职信全文的中文翻译:
亲爱的朋友们:
我做出了一个非常艰难的决定,将于11月15日离开OpenAI,这将是我在公司最后一天。
OpenAI是我成长为科学家和领导者的地方,我将永远珍惜在这里与每一位共事的伙伴度过的时光。OpenAI团队一直是我的知己、导师以及我身份的一部分。
我仍然记得2017年初加入OpenAI时的那份好奇和热情。当时我们是一群怀抱着不可能与科幻未来梦想的人。
我在这里开始了我的全栈机器人挑战之旅——从深度强化学习算法,到感知,再到固件开发——目标是教会一个简单的机械手如何解开魔方。这花费了整个团队两年时间,但最终我们成功了。
当OpenAI进入GPT领域时,我们开始探索如何将最先进的AI模型应用于现实世界。我建立了第一个应用研究团队,推出了初始版本的微调API、嵌入API和审核端点,为应用安全工作奠定了基础,还为早期的API客户开发了许多新颖的解决方案。
在GPT-4发布后,我被要求承担新的挑战,重新考虑OpenAI的安全系统愿景,并将所有工作集中到一个负责整个安全体系的团队。
这是我经历过的最困难、最紧张又令人兴奋的事情之一。如今,安全系统团队拥有超过80位出色的科学家、工程师、项目经理、政策专家,我为我们作为一个团队所取得的一切成就感到极为自豪。
我们见证了每次发布的核心——从GPT-4及其视觉和Turbo版本,到GPT Store、语音功能以及01版本。我们在训练这些模型以达到负责任和有益的目标上设立了新的行业标准。
我特别为我们最新的成就o1预览版感到自豪,它是我们迄今为止最安全的模型,展现了出色的抗破解能力,同时保持了模型的有用性。
我们的集体成就令人瞩目:
- 我们训练模型如何处理敏感或不安全的请求,包括何时拒绝或不拒绝,并通过遵循一套明确的模型安全行为政策,达成安全与实用之间的良好平衡。
- 我们在每次模型发布中提升了对抗性鲁棒性,包括针对破解的防御、指令层次结构,并通过推理大幅增强了鲁棒性。
- 我们设计了严格且富有创意的测试方法,使模型与《准备框架》保持一致,并为每个前沿模型进行了全面的安全测试和红队测试。
- 我们在详细的模型系统卡中强化了对透明性的承诺。
- 我们开发了业内领先的审核模型,具有多模式能力,并免费向公众共享。我们当前在一个更通用的监控框架和增强安全推理能力的方向上工作,将赋能更多的安全工作流。
- 我们为安全数据日志、度量、仪表盘、主动学习管道、分类器部署、推理时间过滤以及一种新的快速响应系统奠定了工程基础。
回顾我们所取得的成就,我为安全系统团队的每一个人感到无比自豪,并极为确信这个团队将继续蓬勃发展。我爱你们。
在OpenAI的七年之后,我准备好重新出发,探索一些新的领域。OpenAI正沿着火箭般的轨迹前进,我衷心祝愿这里的每一个人一切顺利。
附注:我的博客将继续更新。我或许会有更多时间来更新它 & 可能也会有更多时间编写代码。
爱你们的, Lilian
深层原因与行业影响
管理层重组与战略调整
业内普遍认为,翁荔的离职可能与OpenAI近期的战略调整密切相关。公司正在重组核心技术团队,导致部分原有团队的工作重心发生转移。这不是个案,而是一系列高管离职潮的延续。从对齐研究到实用主义
一个典型案例是前核心成员Ilya Sutskever的经历。作为公司早期的核心人物,他从主要模型的开发者转变为独立对齐团队的负责人,失去了对GPT和o1等核心项目的参与权。这种角色转换使其地位逐渐尴尬,最终选择离开。
资源分配的现实考量
在当前阶段,投资者对纯理论的对齐研究兴趣减弱。他们认为在AGI实现之前,过分强调"超级对齐"可能有些为时过早。面对Anthropic等竞争对手的压力,OpenAI新管理层似乎正在调整安全策略的方向:
减少对理论性对齐研究的投入 转向更实用的安全措施,如让模型学习法律和伦理框架 将安全考虑作为模型开发流程的一部分,而非独立研究方向
行业反思
这些变化引发了整个AI行业的深度思考:
如何在有限资源下平衡技术创新与安全研究 如何将安全理念有效融入每一次技术突破 在追求AGI的过程中,如何确保对齐研究与法律伦理框架的有机结合
未来展望
虽然翁荔尚未透露下一步计划,但她表示将继续更新个人博客并投入更多时间到代码编写中。
以她在AI安全领域的专业能力和影响力,业内普遍期待她能在新的平台上继续为AI发展作出重要贡献。这种期待也反映出业界对AI安全问题的持续关注,尽管具体方法论可能正在发生转变。
如果你觉得今天的分享有帮助,记得点赞、收藏并转发,下次找起来更方便哦!