大语言模型的能力边界在哪里？
争论的焦点：LLM能否学会骑自行车？
华盛顿大学计算机科学教授Pedro Domingos在Twitter上抛出了一个颇具挑战性的观点：
"LLM只能学习我们能说出来的东西。例如，LLM不能学会骑自行车。"
这个观点立即引发了谷歌DeepMind研究主管Edward Grefenstette的强烈反对。Grefenstette认为：
"这完全是错误的。LLM只是离散序列数据上的序列模型。它们可以学习任意序列数据（例如动作）。"
他进一步解释道，考虑到已有大量关于离散化连续动作空间的先前研究，没有理由说LLM不能被训练来骑自行车。
深入理解LLM的本质
Grefenstette的回应不仅驳斥了Domingos的观点，还揭示了对LLM本质的深刻理解：
LLM不仅限于语言：虽然我们常说"语言模型"，但这更多是一个历史遗留的术语。实际上，LLM可以处理各种形式的离散序列数据。
动作也可以被建模：骑自行车这样的连续动作完全可以被离散化，从而被LLM学习和生成。
训练方法的多样性：Grefenstette指出，LLM的训练并不局限于自回归方式，还可以使用教师强制（teacher forcing）等技术。
LLM的潜力远超想象
这场辩论也揭示了一个重要事实：我们可能低估了LLM的潜力。
虽然目前LLM主要应用于自然语言处理任务，但其底层原理使它有潜力处理更广泛的问题，包括：
控制机器人执行复杂动作
生成音乐或其他艺术形式
模拟复杂系统的行为
随着研究的深入，我们可能会看到更多跨领域的LLM应用，和融合不同模态的多模态AI系统，以及能够学习和执行复杂物理任务的AI代理。
当然，要实现这些目标，还需要解决诸多挑战，包括如何有效地离散化和表示复杂的物理动作，以及如何设计合适的训练数据和评估方法。
你认为LLM能学会骑自行车吗？
相关链接
👇
👇
👇
👇
本文同步自于知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
- 每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
- 每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
- 每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
- 一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
- 二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
