10 月 2 日,OpenAI 官宣已筹集到 66 亿美元新一轮资金,融资后估值达到 1570 亿美元,这笔资金将加快推动其进程,继续巩固在前沿 AI 研究方面的领导地位,增加计算能力,并持续打造帮助人们解决复杂问题的工具。OpenAI 表示,每周全球有超过 2.5 亿人使用 ChatGPT 来提升工作、创意和学习效率。各行业的企业通过其平台提高生产力和运营效率,开发者们也在利用我们的技术创建新一代应用程序。此外,OpenAI 本周三还在旧金山举办了 DevDay,首届开发者大会相比没有太多的技术更新,虽然 OpenAI 开发者体验主管 Romain Huet 早在几天前就表示本次发布会将带来一些新的 API 更新,并没有新模型或者 ChatGPT 功能的计划。OpenAI 11 位创始人中之一的 Wojciech Zaremba 在事后表示,和 Barret Zoph 共事时曾发生过激烈的争执,这些在后来造就了 o1 系列模型的推出,他们对该模型转变为可用的格式做出来重要贡献。研究副总裁 Barret Zoph 在 OpenAI 的研究重点是让 AI 模型更好地解决复杂且多步骤的问题,他还曾表示 OpenAI 比外界想象的更优先考虑研究而不是产品,在上周从 OpenAI 离任后,有传闻 Zoph 计划创办一家新的 AI 公司。Mark Chen 将接替 Bob McGrew 的首席研究官职务,他领导 OpenAI 前沿模型研究,致力于突破模型能力的界限,比如让模型除了文本之外,接受图像以及音频的输入。
Chen 在 o1 系列模型发布后表示,今天的大型神经网络可能拥有足够的测试时间计算能力,从而具有轻微的意识。此外,他还认为,OpenAI 新模型在处理信息时具有一定的自我意识。在 Ilya Sutskever 在今年离任 OpenAI 创办 SSI 后,Jakub Pachocki(下图左一)接替了首席科学家的职务。根据 OpenAI 前员工透露,Pachocki 一直负责组织决策,包括发布新研究成果或何时创建新团队,已经成为 OpenAI 几个最重要项目的关键研究人员之一,其中最知名的就是 GPT-4。不同于 Ilya,Pachoki 更擅长扩大研究模型并使模型在实践中发挥作用,例如优化分布式训练工作,而这些技能非常重要,尤其是 OpenAI 及其竞品公司都在竞相训练更先进的模型下,以更低的成本服务更多的用户将成为一种优势。根据 OpenAI 现任以及前任员工透露,o1 模型的开发除了以上三位,还包括 Jerry Tworek、Noam Brown、Shenjia Zhao、Hongyu Ren、Kevin Lu 以及 Szymon Sidor。其中,Shenjia Zhao、Hongyu Ren 以及 Kevin Lu 领导了 o1-mini 模型的大部分工作,而 o1-mini 在代码和数学领域表现出了更强的性能。Prafulla Dhariwal 自 2016 年以来一直在 OpenAI 工作,目前负责 GPT-4o 的开发,曾参与 GPT-3 以及 DALLE2 等模型等开发工作,就连 Altman 本人也曾对他给予高度评价。训练方面, Alex Radford 是 GPT-1 原始研究论文的主要作者,他的下属 Nick Ryder 在 OpenAI 负责预训练。
Ryder 自 2019 年加入 OpenAI 以来,一直在参与 OpenAI 许多重要模型以及产品的开发,包括 GPT-3、GPT-4、ChatGPT 以及下一个旗舰大模型 Orion。根据 OpenAI 官网披露的信息,其组织结构呈现出明确的层级和分工,涵盖预训练、后训练、多模态、优化与架构、推理等核心模块。其中,预训练和后训练模块分别有独立的负责人负责数据采集、基础设施、以及项目的具体执行,多模态模块则涵盖音频、视觉等不同技术领域。架构与优化团队跨模块协作,确保模型性能和架构的优化。此外,推理和推理生产化团队负责模型的部署和推理系统的生产化。每个模块在顶层领导的协调下,有明确的技术分工和团队合作,以确保技术开发的顺利进行和高效运作:预训练模块由 Aidan Clark、Alex Paino 和 Jacob Menick 负责,他们领导预训练模型的开发与数据准备工作。数据采集则由 Alex Carney、Ian Sohl 和 Qiming Yuan 负责,确保模型拥有丰富且高质量的数据支持。Reimar Leike 作为分词器负责人,管理 GPT-4 的分词器开发工作。
后训练模块的负责人是 Liam Fedus 和 Luke Metz,他们专注于模型的微调和优化。为了支持这一过程,Jiayi Weng、Randall Lin 和 Youlong Cheng 负责后训练的基础设施,确保模型训练在强大的硬件和软件环境中进行。
多模态模块由 Prafulla Dhariwal 领导,涵盖多模态处理的不同领域。Alexander Kirillov 负责后训练中的多模态部分,Alexis Conneau 和 James Betker 领导音频预训练,Jamie Kiros、Rowan Zellers 等人则专注于视觉感知模块。该模块集成了音频和视觉生成的能力,为多模态人工智能系统提供支持。在 GPT-4 的架构设计和优化方面,Clemens Winter 和 Lia Guy 负责模型的整体架构设计。优化方面的负责人 Sam Schoenholz 和 Daniel Levy,确保模型在性能和效率上的持续优化。推理模块的负责人是 Felipe Petroski Such,他负责模型推理的整体工作,而 Henrique Ponde de Oliveira Pinto 则负责推理生产化,确保推理系统能够大规模应用。科学模块由 Gabriel Goh 和 Ishaan Gulrajani 领导,专注于基础研究。音频模块的管理者 Christine McLeavey,负责音频处理与管理。同时,Jordan Sitkin 领导应用工程团队,负责实际应用的工程实现。