流言四起!商业化受阻?Scaling Law失效?大模型行业怎么了?

文摘   2024-09-04 23:16   上海  

本号向来是做一些严肃的学术分享或论文推荐,很少涉及行业八卦内容。但最近随着国内外的各种"小道消息"的疯传,还有英伟达市值的巨幅震荡,一系列很有意思的新闻或者八卦都放出来了,一时兴起也来总结分享一下。

信息或许并不完全真实,都来自于网友的爆料和公开内容。

国产大模型六小猫

博主"橘子汽水铺"在文章 Orange AI 的 8 月小结 中提到:

大模型6小虎的情况,略显悲观:

小虎一号,广进计划后,人数降到500人,扩张结束,轻装上阵,冲刺上市。

小虎二号,预训练不做了,C端也不做了,B端也不赚钱,暂时迷茫。

小虎三号,聚焦重点业务,锁 HC 了。

小虎四号,继续保持静默状态。

小虎五号,从繁华世界进入静默状态。

小虎六号,继续扩张,逆势而行,至少两个朋友拿到了他们的 offer。

橘子汽水铺

大模型六小虎是AI创投圈的说法,是对国内相对最知名的六家大模型创业公司的叫法。其实熟悉大模型行业的人,很容易就可以对行入座。

比如一些博主分析:

一号是智谱,人员规模最大,也是最接近于能上市的。

二号是零一万物,近期算法联创跑路,又传言说产品团队也跑路了,大概符合。

三号是百川,百川做医疗的执念很深,在这几家里也算是难得有能说得清楚的“重点”业务了。

四号是Minimax,排除法,Minimax在过去半年确实很低调了。

五号是月之暗面,繁华世界,还转入静默,也只有moonshot符合了。

六号是阶跃星辰,从行业人员流动来看确实是在扩张。

孔某人,公众号:孔某人的低维认知从目前国内LLM模型公司八卦谈起

此外,在各个平台,对六小虎突然多了很多负面的言论,恰似当年计算机视觉为代表的AI大爆发时的"CV四小虫",而大模型却恰似CNN时代的人脸识别。


这也从某种意义上反映了从国内基座模型(LLM预训练基座)的创业公司遭遇的危机,网友描述的"一片萧条"可能略显夸张,但是从各种爆料来看,国内大模型创业公司大多陷入了商业化的原地踏步,技术迭代也开始放缓,距离北美大厂商业大模型的距离可能不仅没有减小,甚至还有被进一步放大的可能。

国内大模型APP 30日后用户几乎全部流失?

最近网传这个图,下载量较高的几个国内大模型APP的30天后用户留存率几乎为0

在量子位智库的文章 中国AI智能助手7月数据报告 中,调研了国产大模型的混战局面,从从用户规模、用户增长、用户活跃和用户粘性四大角度出发统计了多项数据:

 

可以看出Web端第一梯队是月之暗面的kimi和百度的文心一言,第二梯队是字节豆包和阿里通义。而APP的留存率方面则是豆包和kimi较为领先。但整体APP的用户粘性看起来比较糟糕(上图为3日/7日留存率),30日留存率几乎归零,则说明了大多数C端客户,下载大模型APP就是图个新鲜,可能用几次就不再使用了。

Scaling Law 或已放缓

以下是来自博主"韭研公社"的一条消息:记近期硅谷VC、ai创始人交流要点。

1. AI仍是硅谷唯一的话题,但是没有去年那么狂热了,主要是scaling的速度有所放缓(需要警惕这也是对于训练算力的需求放缓),大约3-4周前谷歌内部训练Gemini下一代模型(比上一代大10倍,类似GPT-5)时2次都失败了。这也解释了为什么GPT-5延期发布。硅谷目前认为LLM层面再把模型做大难度较大,原因在于:

a) MOE后post-training效果不太好,模型没有收敛(如今开源dense模型又成为主流,或许这点可信度较高)

b) 数据是瓶颈,全互联网的真实数据几乎要消耗殆尽,而合成数据大量使用已经很难再获得使用真实数据那般的提升(这点苏神早在文章 当生成模型肆虐:互联网将有“疯牛病”之忧? 准确预言到了)

2. 不排除GPT-5继续延期,OpenAI下一步精力是在Q3-Q4发GPT-4o+草莓(基于self-play RL强化学习),预计数学和coding能力大幅提升,但泛化推理能力和认知能力提升还没有看到路径。Claude预计下半年发3.5 opus,OpenAI最近团队动荡且大量精力被商业化牵扯,Anthropic模型能力可能会反超OpenAI

3、 Killer App:硅谷VC重注在视频生成和代码生成,行业赛道没有那么热,还是得磨时间。很多行业应用不一定能赚资本利得,但本身是门好生意,ai-native的软件开发团队比原来人数可以减少一半

这些或许真实的下水道消息,表达了硅谷VC和大模型创业者对这两年大家奉为圭臬的Scaling Law的一些悲观观点。

训练数据量已经很难继续Scale了,模型尺寸继续Scale的性价比也不高了。无脑堆规模的预训练或许将会放缓,而对训练数据质量的把控、对后训练算法的研究或许是现阶段的突破点。

大模型能力增长速度不可能一直保持像去年到今年初一般的高速,增速放缓也是符合预期的合理现象。大模型性能不能像摩尔定律一般成倍增长,而大模型的成本和API价格却以远胜摩尔定律的规律下降。

而商业化层面,C端和B端的Killer App都尚未出现,LLM落地之路道阻且艰。

而英伟达的波动,使得从业者更为恐慌,这其实并不代表LLM不再被看好。波动一方面来自于前期英伟达杠杆率过高,去杠杆过程必然带来极大的波动率;另一方面来自于台积电CoWoS-L封装工艺过于复杂,遇到了产能良率瓶颈,导致最新的B200芯片产能不足的负面消息。

Scaling Law 或已放缓,大家也是时候可以重新冷静思考,无论是技术,抑或是商业化之路

点击👇关注 “思源数据科学”

👇点个“赞”和“在看”吧

思源数据科学
Towards AGI
 最新文章