上周 Sam Altman 和其他 20 位开发人员坐下来讨论 OpenAI 的 API 及其产品计划。萨姆非常开放。讨论涉及实际的开发人员问题以及与 OpenAI 的使命和人工智能的社会影响相关的大局问题。
内容要点：本文是 OpenAI 的 Sam Altman 在 Clubhouse 上的一次访谈的摘要，主要涉及以下几个方面：
- OpenAI 目前严重受 GPU 限制，这影响了他们的 API 的可靠性、速度和功能。他们正在努力降低智能成本，提高上下文窗口长度，扩展微调 API，并提供有状态的 API。
- OpenAI 的近期路线图包括发布更便宜更快的 GPT-4，支持多模态输入输出，以及开源 GPT-3。
- OpenAI 不会与他们的客户竞争，除了 ChatGPT 这个杀手级应用程序。他们也呼吁对未来的模型进行监管，但不赞成禁止现有模型。
- OpenAI 的内部数据表明，模型性能的比例定律继续存在，使模型变大将继续产生性能。这对 AGI 开发的时间表具有重大影响。
以下是要点：
1. OpenAI 目前严重受 GPU 限制
整个讨论中出现的一个共同主题是，目前 OpenAI 非常受 GPU 限制，这推迟了他们的许多短期计划。最大的客户抱怨是关于 API 的可靠性和速度。Sam 承认他们的担忧，并解释说大部分问题是 GPU 短缺造成的。
更长的 32k 上下文还不能推广给更多人。OpenAI 还没有克服注意力的 O(n^2) 扩展，因此虽然看起来很有可能他们很快就会有 100k - 1M 令牌上下文窗口（今年）任何更大的东西都需要研究突破。
微调 API 目前也受到 GPU 可用性的瓶颈。他们还没有使用适配器或LoRa等高效的微调方法，因此微调的运行和管理需要大量计算。将来会更好地支持微调。他们甚至可能举办社区贡献模型的市场。
专用容量产品受 GPU 可用性的限制。OpenAI 还提供专用容量，为客户提供模型的私有副本。要获得这项服务，客户必须愿意预先支付 10 万美元。
2. OpenAI 的近期路线图
Sam 分享了他所看到的 OpenAI 的 API 临时近期路线图。
2023:
更便宜更快的 GPT-4——这是他们的首要任务。总的来说，OpenAI 的目标是尽可能降低“智能成本”，因此随着时间的推移，他们将努力继续降低 API 的成本。
更长的上下文窗口——在不久的将来，上下文窗口可能高达 100 万个令牌。
Finetuning API——微调 API 将扩展到最新的模型，但具体形式将取决于开发人员表示他们真正想要的东西。
一个有状态的 API——当你今天调用聊天 API 时，你必须反复传递相同的对话历史并一次又一次地为相同的令牌付费。将来会有一个记住对话历史记录的 API 版本。
2024:
多模态——这是作为 GPT-4 版本的一部分进行演示的，但在更多 GPU 上线之前不能扩展到所有人。
3. 插件“没有 PMF”并且可能不会很快出现在 API 中
许多开发人员对通过 API 访问 ChatGPT 插件很感兴趣，但 Sam 表示他认为这些插件不会很快发布。除了浏览之外，插件的使用表明它们还没有 PMF。他建议很多人认为他们希望他们的应用程序在 ChatGPT 中，但他们真正想要的是他们应用程序中的 ChatGPT。
4. OpenAI 将避免与他们的客户竞争——除了 ChatGPT
不少开发人员表示，当 OpenAI 可能最终发布对他们具有竞争力的产品时，他们对使用 OpenAI API 进行构建感到紧张。Sam 表示 OpenAI 不会发布 ChatGPT 以外的更多产品。他说，伟大的平台公司拥有杀手级应用程序的历史由来已久，而 ChatGPT 将允许他们通过成为自己产品的客户来改进 API。ChatGPT 的愿景是成为工作的超级智能助手，但还有许多 OpenAI 不会触及的其他 GPT 用例。
5. 需要监管，但也需要开源
虽然 Sam 呼吁对未来的模型进行监管，但他认为现有模型并不危险，并认为监管或禁止它们将是一个大错误。他重申了他对开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。他们尚未开源的部分原因是他怀疑有多少个人和公司有能力托管和服务大型 LLM。
6. 比例定律仍然成立
最近有很多文章声称“巨型 AI 模型的时代已经结束”。这不是对意思的准确表述。
OpenAI 的内部数据表明，模型性能的比例定律继续存在，使模型变大将继续产生性能。扩展的速度无法维持，因为 OpenAI 在短短几年内就将模型放大了数百万倍，而这种做法在未来将无法持续。这并不意味着 OpenAI 不会继续尝试让模型变得更大，这只是意味着它们的规模每年可能会增加一倍或三倍，而不是增加许多数量级。
缩放继续起作用的事实对 AGI 开发的时间表具有重大影响。扩展假设是这样一种想法，即我们可能拥有构建 AGI 所需的大部分内容，并且大部分剩余工作将采用现有方法并将它们扩展到更大的模型和更大的数据集。如果扩展时代已经结束，那么我们可能应该期望 AGI 离我们更远。缩放定律继续成立的事实强烈暗示了更短的时间表。
