在最新的哈德逊论坛演讲中，AI领域的领军人物Yann LeCun分享了他对下一代人工智能系统的展望。LeCun，作为Facebook AI研究院的首席科学家和纽约大学的教授，对目前大型语言模型（LLM）的发展方向持批判态度，并提出了他对人类水平AI的看法。
LeCun指出，尽管扎克伯格等业界领袖一直在询问达到人类水平AI的时间表，但LeCun认为这至少需要数年时间。他强调，人类智能的四个基本特征——推理、规划、持久记忆和理解物理世界——是目前AI系统所缺乏的。他预测，即使我们开发出了具备这些能力的系统，要达到人类水平的智能仍需更多时间。
LeCun提出了一个名为“目标驱动AI”的架构，这是他对下一代AI系统的愿景。他透露，Facebook AI研究院（Fair）已经将重点转移到了这一长期项目上，而不再专注于LLM。
在演讲中，LeCun批评了当前AI系统依赖的自监督学习技术，特别是自回归预测的局限性。他指出，这些技术无法实现真正的推理，并且只能处理离散数据。
LeCun还探讨了莫拉维克悖论，即简单的人类任务对机器来说非常困难，而复杂的抽象思维任务对机器来说却相对容易。他通过比较人类儿童和LLM处理数据的方式，强调了我们无法仅通过训练文本达到接近人类水平的智力。
LeCun提出了一种新的AI架构，该架构通过优化算法进行推理，而不是仅仅运行神经网络的几层。这种架构涉及到世界模型的使用，即对世界如何运作的心理模型，以及目标函数的概念，用于测量目标实现的程度。
他还讨论了分层规划的概念，即人类和动物如何通过在不同的抽象层次上规划来实现复杂任务。LeCun认为，这是智能行为的一个重要方面，但在AI系统中实现这一点仍然是一个巨大的挑战。
LeCun提出了联合嵌入预测架构（JEPA），这是一种新的架构，它放弃了预测像素，而是学习一个关于世界中发生事情的抽象表示，并在该表示空间中进行预测。他认为，这种方法比传统的生成模型和概率模型更有效。
最后，LeCun强调了开源AI的重要性，认为这是实现多样化和文化敏感的AI助手的关键。他呼吁业界领导者支持开源AI平台，以便全球社区可以贡献并根据自己的需求调整AI模型。
LeCun的演讲对未来AI的发展提出了深刻的见解和挑战，他的观点可能会对AI领域的研究和商业化产生重要影响。他预测，达到人类水平的AI将是一个渐进的进化过程，而不是一夜之间的突破。
核心💡观点
a）当前的人工智能系统尚未实现人类智能的四个核心特质：推理、规划、长期记忆以及对物理世界的理解。即便未来我们开发出具备这些特质的系统，它们要达到人类的智能水平仍需经过长时间的优化和学习。
大型语言模型（LLM）在预测时仅依赖于之前的文本信息，无法预见未来的语境。
自回归预测的局限在于其缺乏深入的推理能力，并且只能处理已经被离散化的数据。
b）莫拉维克悖论揭示了一个现象：一些对人类来说简单的任务对于机器来说却异常困难，而那些复杂和抽象的高级思维任务，如语言操作或下棋，对机器来说却相对简单。
例如，一个10岁的孩子能在一次尝试中学会清理餐桌并操作洗碗机，而一个17岁的孩子大约在20小时内就能学会开车。然而，我们至今未能实现5级自动驾驶汽车，也没有能够清理餐桌的家用机器人。
仅依赖文本训练，AI无法达到接近人类水平的智能。视觉信息虽然冗余，但如果数据高度压缩，就会变得随机，无法从中学习。学习需要数据的冗余性，以便掌握数据的深层结构。
c）过去十年的尝试表明，通过预测视频像素来实现对“世界一般知识”的学习是行不通的。因为视频的未来可能性众多，使得这项任务几乎不可能完成。
人类通过感知系统了解世界的现状，并结合记忆形成对世界的认知模型。
世界的不可预测性要求我们引入潜在变量，这导致需要在多个与观察结果兼容的预测中进行选择。因此，在进行预测时，我们必须处理这种不确定性。
人类和某些动物能够进行“分层规划”，但如何让AI实现这一点仍是一个未解之谜。这对于智能行为至关重要。我们尚未找到如何学习具有层次结构、在不同抽象层次上工作的世界模型的方法。
尽管我们尝试通过训练系统来预测视频中的事件，类似于训练神经网络预测文本，以帮助学习常识，但这些尝试并未成功。
d）解决方案可能在于联合嵌入预测架构（JEPA）。与其试图预测像素，不如转而学习一个关于世界事件的抽象表示，并在这个表示空间中进行预测。
例如，预测行星的轨迹只需要知道其位置和速度这三个方向上的六个数字。
我们应该放弃传统的生成模型，转而采用JEPA架构；放弃概率模型，转而采用基于能量的模型；放弃对比方法和强化学习，这些是目前机器学习领域的四大支柱。尽管这些观点可能让我在当下不受欢迎。
拓展📚阅读：
Yann LeCun最新万字演讲：致力于下一代AI系统，我们基本上不做LLM了
演讲🎤视频：
【Yann LeCun最新演讲“Human-Level AI”@ Husdon论坛 2024.10】
https://www.bilibili.com/video/BV1tKyGYYELP/?share_source=copy_web&vd_source=3e8879f4c6cdec045f1e45e6ba33888c
