https://zhuanlan.zhihu.com/p/718513570
1. 大模型：AI仍是硅谷的热门话题，但不如去年狂热
硅谷对AI的关注依然持续，但热度有所降低，主要原因是大模型扩展速度的放缓，尤其是训练算力需求的下降。大约3-4周前，谷歌内部在训练Gemini下一代模型（比上一代大10倍，类似GPT-5）时，两次尝试都失败了。这也解释了GPT-5的发布延迟。目前，硅谷普遍认为，在LLM层面，进一步扩大模型规模变得更加困难，主要是因为：- MOE（混合专家模型）后的后期训练效果不佳，模型难以收敛
在日常使用GPT-4的过程中，我发现其输出在许多场景下已经非常接近“完美”。这里的“完美”并不意味着通用人工智能（AGI）已经实现，而是在现有系统形态下，基于有限的信息给出的回复，已接近理论上应该有的最佳回答。许多问题之所以没有得到满意的答复，主要是因为输入的信息不足。虽然模型拥有强大的上下文处理能力，在搜索和总结类场景中表现出色，但在复杂推理场景中，我们不能期望现有技术能实现长上下文的复杂推理。现有模型更像是一种“快速思考”系统，对于涉及多阶推理、前后信息对比、路径探索和经验积累等复杂任务，不应期望其能在内部完成。COT（思维链）的应用实际上表明推理是外部化的，而“慢思考”应通过Agent架构来实现。对于一些问题，比如精确的数学计算，不应期望现有模型直接解决。对人类来说，简单的计算依赖记忆，而稍复杂的计算（如心算）则是一种逻辑推理与记忆的结合过程。因此，大模型使用工具进行计算是合理的解决方案。“压缩即智能”是一个有趣的观点，但人类最高层次的智能，比如物理理论，并不是通过简单的归纳和压缩得出的。压缩是一种归纳方法，例如，如果给大模型提供各种物体自由落体的视频，它可能得出“重的物体下落更快”的错误结论。真正的智能需要推理、假设和实验支持，而不仅仅依赖于数据压缩和归纳。如果现有的大模型无法解决你手头的问题，问题真的是因为模型不够智能吗？还是我们需要的是更好地理解如何利用工具和方法来解决问题，而不是一味追求更大参数的模型？后台回复关键词【进群】
加入大模型/CV/NLP/推荐/算法求职交流群
后台回复关键词【大模型】
代码+论文最全整理！
你好，我是对白，硕士毕业于清华，大厂算法工程师，拿过8家大厂算法岗SSP offer。
创业做过无人机、机器人和互联网+教育，保研清华后开始系统接触AI。
我每周至少更新一篇原创，分享AI算法、技术干货和职场感悟。下方关注可加我私信交流，点击蓝字查看我的算法学习之路。
您的“点赞/在看/分享”是我坚持的最大动力！
坚持不易，卖萌打滚求鼓励 (ฅ>ω<*ฅ)
