在AI大模型时代遨游,你不得不知道的一些事

科技   2024-10-11 16:31   浙江  

用户到底为什么而买单/产品和研发要抛弃的历史包袱

在大模型时代之前,其实企业和企业之间的软件产品壁垒来自两个地方:

  1. 交互,让用户用起来感觉舒服。

  2. 打磨,我花了五年修复了用户遇到的一万个bug,所以我的产品比你好。


但是无论如何,你很难构建技术壁垒。非你加产品不可的情况几乎只是梦里的事情。但是大模型时代的应用产品,是可以做到的,效果好到用户压根离不开,其他企业则可能和你至少有三个月或者半年的差距,用户别无选择。

所以产品不要只想着交互,研发不要只想着所谓打磨,有非常多的机会你可以做出别人做不出的效果,而效果在AI时代,才是让用户 wow 的东西。

什么叫 llm-native 应用

llm-native,就是充分挖掘大模型的,以大模型为全流程驱动,就像当年数据库之于web。

应用到底能不能做厚

很多人看到我这句话,其实并没有理解这句话的含义。inference scaling 是应用层继续做厚的起点,同样的模型,可能最终效果差异会很大。这在之前是不太现实的。现在对大模型应用就是“包了Prompt 的代码” 想法的人还大有人在,在之前确实你很难做出差异,但是现在可以了。inference scaling就是天然留给应用层的模型扩展点。

推理到底是变快了还是变慢了

很多人无法理解这句话,无论硬件还是推理软件都是越来越快的牙。

推理提升的速度一定架不住需求的复杂度上升 需要有这个认知 这事就通了。所谓需求,实际上是用户需要更大的输入,更好的输出效果,要达成这个目标,目前要么继续加大参数,要么在推理时消耗更多token(更多思考),这些会进一步增加了窗口大小,显存使用以及计算量。需求永远都是比现有效果要高很多的,所以虽然推理的速度在提升,但提升速度会远不如人们对效果的需求,这种失衡的结果就是,大家感觉有大模型的应用越来越慢了


祝威廉
架构/大数据/机器学习的心得和体会,也会因为爱情和生活写首诗
 最新文章