Bob负责OpenAI所有research项目的管理，包括GPU资源分配。在AGI，管GPU大概就相当于管了公司的所有预算。在Bob担任leadership role之前，OpenAI的research管理是比较不成体系的，Bob帮OpenAI建立了整个research管理体系。OpenAI历史上很多次YOTO（you only train once）的梭哈，背后都离不开Bob的学术嗅觉，能够拍板给最多的GPU资源。推测Bob离职，和John Schulman类似，都是老一批纯粹的AGI researcher，和OpenAI目前越来越偏向商业化的风气的冲突。
Barret是VP of post training，非常年轻，16年才从usc本科毕业，22年9月才加入OpenAI。他和Jason Wei都是Google Brain很少数的本科生hire，两个人目前也都非常成功。Barret属于一路开挂，运气值满格，在Google和Noam一起做了Switch Transformer（全世界第一个真正意义的万亿参数MOE），然后带着开源代码和另一个作者William一起加入了OpenAI。因为Switch Transformer的fine-tuning工作，Barret一去OpenAI就参与了两个爆炸级工作：ChatGPT和GPT4 post training。尤其是ChatGPT，Barret加入的时候，正好是Sam听说Anthropic要release一个chatbot，于是把所有资源都投入进去做ChatGPT，ChatGPT也成了天字第一号明星项目。Barret也是一炮打响，从此走上了人生的快车道。所以说很多时候，选择远远大于努力啊。不过目前对于o1这个项目，Barret的重要性还好，虽然是leadership，但不是core contributor。
Mira的离开有些意外。不过虽然是CTO，但是对于OpenAI的影响其实是最小的。Mira之所以当时CTO，主要是因为当年Greg不想管理，只想一个人快乐的编程，于是就推举了Mira做CTO。Mira基本上不管research，主要是管理产品和客户关系。之前也有几次在外面胡说八道的新闻。
如果Bob和Barret加入竞争对手，或者自己成立startup，会进一步加速o1的技术扩散。长期看也会利好整个AGI的竞争格局，会有更多玩家有能力参与进来。
我们最近有一篇o1的详细解读分析报告，也欢迎各位客户咨询。
我们在上上周o1刚出的时候写过一篇《o1模型十问十答》，很多关键点都在那篇文章中提过了。
2024-09-14
也将一些最近与客户讨论中提到的一并聊聊。
1.o1训练非常费卡
我们在最近的小范围路演中，一直提到o1是第一代RL以及post-train用卡需求超过pre-train的，而且后续同代模型可能不止超过pre-train一倍量。
RL的Scaling Law还在早期，还没有收敛，所有方法都在尝试，可能还没到或者看到pre-train对应的GPT3 level。
以前的RL是几百卡，现在是几万卡。不要从过去的paper和经验里找答案。
o1-preview不是一个很大的模型，也稍微澄清一下。同时也是一个半成品模型，带有科研性质，后面我们很快会看到完整版模型。
2.o1推理也非常费卡
o1的平均token数可能到gpt4o的5倍，单次query的价格可能是4o的10-20倍。
同时o1也非常慢，我们最近密集和开发者朋友交流后的感受是：价格不一定是阻碍，但是延迟肯定是非常大的阻碍。
价格可以通过premium账户完成，但延迟没有办法，只能靠模型工程优化，和nvl架构。
Long Context之前没有pmf，现在有了，对应推理的边际变化非常显著。
怎么把延迟从10秒以上变成1秒以下，就会非常依靠nvl架构。甚至还会将多个nvl架构连起来，以支持o1的推理需求。
3.RL非常适合准备数据
RL最关注的是边际变化，数据质量高1-2个数量级，但数据量可以边训练边生成。
这使得RL非常适合为下一代模型准备pre-train的数据。
4.这一代对NV更加依赖
训练的时候RL没有收敛，算子范围扩大，对CUDA依赖性更强。
虽然不需要那么大的集群，但实际上pre-train和post-train都是同一集群在使用，未来可能有变化。
推理硬件端可能会更加依赖nvl架构。
推理软件栈会更加复杂，也更加有趣，比如OpenAI的Triton，未来做得好可能会更加有机会。
5.开发者反馈续
最近聊了不少开发者，简单讲讲看到的。
在Coding领域里，低级错误减少了很多，高级难点部分提升，整体可用性明显提升。
在数据分析/统计领域里，也是类似的，而且因为数据分析不在意延迟，COT能力会更好发挥，甚至在部分场景看到了o1在建模中自调参、自拟合的能力，但需要非常具体的场景。
在Exam/教育领域里，正确率明显提高，单次做题场景已经都可用了，但后面还有更多跟纠正学生错题相关的软场景需要调。
COT不够可控，开发者都需要适应时间。
6.应用大面的变化
我们很可能见到4季度OpenAI收入和Azure AI收入都出现加速，这在三季度可能还不会。
o1的单价太高了，1%的query占比都会带来10-20%的收入。
在过去turbo和4o更新后，我们都在半年内看到了模型query占比提高到30%以上。
欢迎与我们咨询路演，了解o1的详细架构，以及对行业的深远影响。
我们正在发售一篇报告，其内容是：
特斯拉Robotaxi与FSD的Scaling Law
尚有数篇报告正在调研中，其内容是：
AI客服的进展与影响：NICE、FIVN、NOW
AI咨询行业：PLTR、AI、ACN
ASIC调研与技术趋势
季度调研系列：META、MSFT、AMZN、AAPL、NVDA
我们已经发售了九篇报告：
算力需求场景测算
AI与GPU在META中的应用
微软Copilot进展、GenAI售卖场景以及如何影响公有云选择
北美算力租赁厂商近况及供需平衡情况
互联技术以及未来发展趋势
美国数据中心与电力情况
2Q24季度调研：META与MSFT
AI手机
草莓与前沿大模型进展
除了报告外，我们也承接定制化的投研需求。
对报告感兴趣，有定制化投研需求，或者对我们的日常调研纪要（每月超过50篇AI调研纪要）感兴趣的请联系下面的久谦销售同事，或者点击共识粉碎机底栏菜单页的投研服务：
OpenAI o1模型十问十答
NV大涨与RL自己的Scaling Law
