别让 AI 沦为“背书匠”：Karpathy 揭示大语言模型的真正学习之道
人工智能领域极具影响力的研究者Andrej Karpathy以“让大语言模型（LLM）上学”为喻，精辟地指出了当前大语言模型训练的不足。他认为，我们不能仅仅让 AI 背诵知识，更要培养其独立思考和解决问题的能力。他强调了试错学习的重要性，并呼吁构建更全面的训练数据集，让 AI 真正掌握知识。
原文：
Andrej Karpathy
我们需要让大型语言模型（LLMs）上学。
当你翻开任何一本教科书时，你会看到三种主要类型的信息：
- 1. 背景信息/阐述。教科书的核心内容，解释概念。当你仔细阅读时，你的大脑会基于这些数据进行训练。这相当于预训练，即模型通过阅读互联网积累背景知识。
- 2. 带有解答的例题。这些是专家如何解决问题的具体示例，是用来模仿的演示。这相当于监督式微调，即模型基于人类编写的“理想答案”进行微调，以使其成为一个助手。
- 3. 练习题。这些是给学生的提示，通常没有解答，但总会给出最终答案。通常在每一章的末尾都有很多这样的练习题。它们提示学生通过试错来学习——他们必须尝试很多方法才能得到正确的答案。这相当于强化学习。
我们已经让大型语言模型接受了大量的1和2，但3还是一个新兴的、尚待开发的领域。当我们为大型语言模型创建数据集时，这与为它们编写教科书没什么不同，都需要这3种类型的数据。它们需要阅读，也需要练习。
更深层次的解读：
Andrej Karpathy的这段话，表面上是在谈论如何更好地训练大型语言模型，但实际上触及了人工智能学习的本质，以及我们如何构建更智能、更具适应性的 AI 系统。他的比喻不仅仅是简单的类比，而是揭示了学习过程的三个关键要素，这三个要素对于人类和人工智能都至关重要：
- 1. 知识积累 (背景信息/阐述 = 预训练)： 这强调了基础知识的重要性。就像学生需要学习学科的基础概念才能进行更深入的学习一样，LLM 也需要通过大量的文本数据进行预训练，吸收各种知识和语言模式，建立起理解世界的基础。这种预训练并非追求精准的答案，而是建立一个广泛的知识库。
- 2. 模仿学习 (例题 = 监督式微调)： 这一步强调了榜样的力量和实践的指导。通过观察专家如何解决问题，LLM 可以学习正确的解题思路和输出格式。这就像学生通过例题学习解题方法，并模仿老师的思考方式一样。监督式微调的目的在于让 LLM 更好地理解人类的意图，并生成更符合人类期望的输出。
- 3. 试错学习 (练习题 = 强化学习)： 这是最关键也最被忽视的一步，强调了自主探索和反馈的重要性。学生通过练习题，在试错的过程中不断学习、调整、最终掌握知识。而 LLM 需要通过强化学习，在试错的过程中不断优化策略，最终找到解决问题的最佳方案。这种学习方式的重点不在于直接给出正确答案，而是鼓励模型进行探索和迭代，从而发展出更强的推理能力和解决问题的能力。
如果您想要让大模型写出优质的短篇小说，以及对其他内容感兴趣，也欢迎点击下面的链接，效果不错哦，很多朋友都说好。
效果如下
