Orion模型要发布了?Scaling Law不是到头了吗?

文摘   科技   2024-10-26 00:00   上海  
我们的新书正在发售,老铁们帮我们带带货吧!
今天看到一条刷屏的文章,据美国媒体Verge报道,OpenAI 计划在 12 月之前推出其下一个前沿模型 Orion。
这一代模型按进度不一定已经完成Posttrain和Alignment工作,但按照OpenAI过去的习惯,其也曾经提前超过6-9个月时间就给早期测试者(比如之前的Reid Hoffman)使用。不过随后Sam Altman在x亲自辟谣了这条新闻,可谓是真真假假,虚虚实实。

不过,Orion项目,GPT5级别的模型,还有草莓和o1/o2,毫无疑问是目前下一代前沿研究的重点,也关系着未来AGI还能走多远。之前一直有声音,说pre training已死,scaling law到头,小算力的post training可能会成为未来的范式。OpenAI这个新模型的信息leak,至少表示OpenAI还在不断研发下一代的模型,继续scaling law。

我们一直强调,要理解未来AI和算力的发展,一定要充分理解scaling law。scaling law不是简单的模型参数或者数据量,而是代表着amount of compute。这个compute包含着多种方面,除了模型参数和数据量,还是合成数据、强化学习,以及海量的实验

昨天我们点评了特斯拉的scaling law,马斯克也强调了,自动驾驶、机器人代表的具身,和LLM base的AGI,看起来会有两条并行的scaling 路径,两者会有合作,但两边都独立需要巨大的算力。

一个更大的问题是算力是否和英伟达能画上等号?

针对这些问题,我们最近有自动驾驶、Scaling Law、ASIC芯片等多篇深入研究,欢迎咨询销售。



我们正在发售一篇报告,其内容是:

3Q24季度调研:MSFT、META、AMZN

尚有数篇报告正在调研中,其内容是:

AI咨询行业:PLTR、AI、ACN

ASIC调研与技术趋势

3Q24季度调研:NVDA

AI客服的进展与影响:NICE、FIVN、NOW

我们已经发售了十篇报告:

算力需求场景测算

AI与GPU在META中的应用

微软Copilot进展、GenAI售卖场景以及如何影响公有云选择

北美算力租赁厂商近况及供需平衡情况

互联技术以及未来发展趋势

美国数据中心与电力情况

2Q24季度调研:META与MSFT

AI手机

草莓与前沿大模型进展

Robotaxi与FSD的Scaling Law

除了报告外,我们也承接定制化的投研需求。

对报告感兴趣,有定制化投研需求,或者对我们的日常调研纪要(每月超过50篇AI调研纪要)感兴趣的请联系下面的久谦销售同事,或者点击共识粉碎机底栏菜单页的投研服务:



算力租赁崩了吗?


解密OpenAI高管集体离职与o1模型十问十答续


共识粉碎机
寻找与共识的不同
 最新文章