《机器如何才能达到人类智能水平？》由 图灵奖得主Yann LeCun 撰写的66页PPT报告，探讨了人工智能如何实现人类水平的智能，包括推理、规划、学习世界模型以及拥有持久记忆等方面，并对当前的技术进行了分析和批判，同时也提出了未来研究的方向和建议。一下是这篇报告的简要介绍。
1. 实现人类智能水平的 AI 需求
智能助手的必要性
在未来，我们与数字世界的交互将主要通过 AI 助手进行。这些智能助手需要具备人类水平的智能，能够理解世界的运行方式，拥有记忆、推理和规划的能力。高级机器智能的要求 能够从感官输入中学习世界模型，例如从视频中学习直观的物理知识。 具备持久的记忆，如大规模的联想记忆。 可以规划行动以实现目标。 能够进行推理，为未见过的问题提供新的解决方案。 系统是可控且安全的，而不是通过微调来实现。
2. 推理和规划的实现方式
推理的本质和传统方法
推理和规划不仅仅是前馈传播，复杂的推理需要优化目标。许多传统的 AI 方法都使用了基于优化的推理，如概率图模型、贝叶斯网络、机器人中的模型预测控制以及 “经典” AI 中的搜索和规划。这种基于优化的推理可以实现零样本 “学习”，找到未见过问题的创新解决方案。基于能量的模型（EBM） 捕捉依赖关系：EBM 是一种能够形式化和理解所有模型类型的方法，它通过给兼容的 x 和 y 对赋予低能量，给不兼容的对赋予高能量来捕捉变量之间的依赖关系。 潜在变量 EBM：引入潜在变量 z 来捕捉 y 中 x 所没有的信息，并通过自由能最小化来正则化 z 的信息内容。
3. 现有语言模型的局限
自动回归语言模型（LLMs）的不足
LLMs 使用前馈推理，逐个输出标记，但这对于高级机器智能来说是不够的。LLMs 最多只能近似大脑中韦尼克区和布洛卡区的功能，缺乏规划能力。与人类智能的差距
人类可以轻松地学习各种技能，如儿童可以在几分钟内学会清理餐桌和使用洗碗机，青少年可以在 20 小时的练习后学会开车，而机器人的智能与之相比还差得很远。这体现了莫拉维克悖论，即人类容易的事情对 AI 来说困难，反之亦然。
4. 世界模型的构建与应用
世界模型的基本概念
世界模型用于感知世界的状态，并预测行动序列后的结果。它结合了任务目标和防护栏目标，通过找到使目标最小化的行动序列来进行操作。不同类型的世界模型 目标驱动的 AI：多步 / 循环世界模型：在多个时间步应用相同的世界模型，并将防护栏成本应用于整个状态轨迹，类似于模型预测控制，但使用的是训练好的世界模型。 目标驱动的 AI：非确定性世界模型：考虑世界的不确定性，通过潜在变量对可能的预测进行参数化，可以对最坏情况或平均情况进行规划，并预测和量化结果的不确定性。 目标驱动的 AI：分层规划：采用分层的世界模型和规划，高层次进行更长期、更抽象的预测，低层次根据高层次的预测定义子任务目标，每个层次都有防护栏目标确保安全。
5. 认知架构与学习方法
模块化认知架构
包括配置器、感知器、世界模型、成本计算、行动器和短期记忆等模块，共同实现目标驱动的 AI。学习世界模型的方法
强调通过自我监督学习从感官输入中学习世界模型，以解决现有模型的不足。
6. 对不同架构的分析与比较
生成式架构与联合嵌入架构
生成式架构试图预测世界的所有细节，而联合嵌入架构只预测抽象表示。联合嵌入架构更适合于部分可预测的世界，例如在图像和视频处理中。联合嵌入架构的类型
包括确定性联合嵌入预测架构（DJEPA）、联合嵌入预测架构（JEPA）等，它们通过计算抽象表示并使其相互可预测来工作。
7. 基于能量的模型训练
训练的挑战与方法分类
训练基于能量的模型面临能量表面可能塌陷的问题。解决方法分为对比方法和正则化方法。对比方法通过压低训练样本的能量并提高对比样本的能量来训练，但在高维情况下扩展性差；正则化方法则通过最小化能取低能量的空间体积来训练。具体的训练方法与应用
介绍了如 VICReg 等方法，通过方差、不变性和协方差正则化来训练模型，并在图像识别等任务中取得了良好的效果。还介绍了蒸馏方法，如 DINOv2，它通过蒸馏进行自我监督学习，具有无需负样本、速度快等优点。
8. 实验结果与应用案例
不同模型在图像和视频任务中的表现
比较了各种模型在 ImageNet、视频动作识别等任务中的性能，如 I-JEPA 在图像识别任务中表现出快速训练和优于生成式方法的特点，V-JEPA 在视频动作识别任务中取得了较好的效果。DINO-WM 的应用
DINO-WM 是一个使用 DINO 特征训练的世界模型，用于行动规划。通过实验展示了它在不同环境和任务中的表现，如在 PointMaze、Wall 等环境中的规划性能，以及与 Dreamer v3 等模型的比较结果。
9. 对未来研究的建议
技术方向建议 放弃生成式模型，采用联合嵌入架构。 放弃概率模型，采用基于能量的模型。 放弃对比方法，采用正则化方法。 放弃强化学习，采用模型预测控制，仅在规划未达到预期结果时使用强化学习来调整世界模型或评估器。 研究问题提出
包括大规模世界模型训练、规划算法、联合嵌入架构中的潜在变量学习、非确定性环境中的学习和规划、潜在变量正则化、不确定性下的规划、分层规划以及大规模可微分联想记忆等问题。对 AI 发展的愿景
未来的通用虚拟助手应该是开源的，构成人类知识和文化的宝库，不同的语言、文化和价值系统可以对其进行微调。同时，需要大规模的计算基础设施来支持推理。
阅读最新前沿科技研究报告，欢迎访问欧米伽研究所的“未来知识库”
截止到10月25日 ”未来知识库”精选的100部前沿科技趋势报告
接下来，我们将为您逐一展示这100部精选报告的完整标题列表。
1. 牛津大学博士论文《深度具身智能体的空间推理与规划》230页
2. 2024低空经济场景白皮书v1.0（167页）
3. 战略与国际研究中心（CSIS）人类地月空间探索的总体状况研究报告（2024）
4. 人工智能与物理学相遇的综述（86页）
5. 麦肯锡：全球难题，应对能源转型的现实问题（196页）
6. 欧米伽理论，智能科学视野下的万物理论新探索（50页报告）
7. 《美国反无人机系统未来趋势报告（2024-2029 年）》
8. Gartner 2025 年主要战略技术趋势研究报告
9. 2024人工智能国外大模型使用手册+中文大模型使用手册
10. 详解光刻巨人ASML成功之奥妙-241015（94页）
11. CB Insights：未来变革者：2025年九大科技趋势研究报告
12. 国际电信联盟2023-2024年联合国人工智能AI活动报告388页
13. 《人工智能能力的人类系统集成测试和评估》最新51页，美国防部首席数字和人工智能办公室（CDAO）
14. 2024瑞典皇家科学院诺贝尔化学奖官方成果介绍报告
15. MHP：2024全球工业4.0晴雨表白皮书
16. 世界经济论坛白皮书《AI价值洞察：引导人工智能实现人类共同目标》
17. 瑞典皇家科学院诺贝尔物理学奖科学背景报告资料
18. AI智能体的崛起：整合人工智能、区块链技术与量子计算(研究报告，书）
19. OpenAI o1 评估：AGI 的机遇和挑战（280页）
20. 世界知识产权组织：2024 年全球创新指数（326页）
21. 美国白宫：国家近地天体防御策略与行动计划
22. 【CMU博士论文】持续改进机器人的探索，243页
23. 中国信通院：量子计算发展态势研究报告2024年58页
24. 2024年OpenAI最新大模型o1革新进展突出表现及领域推进作用分析报告
25. 【新书】通用人工智能，144页
26. 联合国：《未来契约》、《全球数字契约》和《子孙后代问题宣言》三合一
27. 世界气候组织：2024团结在科学中，守卫地球系统的未来
28. 世界经济论坛 《量子技术助力社会发展：实现可持续发展目标》研究报告
29. 人工智能科学家：迈向全自动开放式科学发现
30. 欧盟：石墨烯旗舰项目十年评估报告
31. 美国信息技术和创新基金会：美国的数字身份之路研究报告
32. 麦肯锡：2024能源转型挑战未来研究报告
33. 联合国贸易与发展会议：2024世界投资报告
34. 兰德：评估人工智能对国家安全和公共安全的影响
35. 兰德：2024评估人工智能基础模型市场的自然垄断条件
36. 经合组织：2015-2022 年生物多样性与发展融资
37. ITIF：中国半导体创新能力研究报告
38. 英国皇家学会：数学未来计划， 数学和数据教育的新方法研究报告
39. 欧盟：10年人类大脑计划创新评估报告
40. GLG格理集团：2024深度解读半导体行业关键趋势和专家洞见报告15页
41. 华为智能世界2030报告2024版741页
42. 联合国：2024为人类治理人工智能最终报告
43. 达信Marsh：2024全球科技产业风险研究报告英文版27页
44. 鼎帷咨询：2024英伟达人工智能发展战略研究报告149页
45. 【博士论文】大语言模型的测试与评价：准确性、无害性和公平性，223页pdf
46. 麦肯锡：2024世界能源产业展望
47. 世界经济论坛《太空：全球经济增长的 1.8 万亿美元机遇》
48. 世界经济论坛：世界“技术先锋”名单100家公司名单
49. 世界经济论坛：2024绘制地球观测的未来：气候情报技术创新
50. 核聚变技术作为清洁能源供应替代来源的全球发展和准备情况
51. 大模型生成的idea新颖性与人类对比研究报告（94页）
52. IQM ：2024 年量子状况报告
53. 2024十大新兴技术研究报告
54. 2024地球观测 (EO) 洞察带来的全球价值（58页）
55. 2023-2024世界基础设施监测报告
56. 世界银行：2024世界发展报告，中等收入陷阱
57. 2024国际前沿人工智能安全科学报告132页
58. 斯坦福大学2024人工智能指数报告
59. 美国总统科学技术顾问委员会：《利用人工智能应对全球挑战》63页报告
60. 柳叶刀行星健康：2024地球系统安全与健康评估报告
61. 中国未来50年产业发展趋势白皮书III
62. OpenAI o1系列产品原理与安全最新研究报告（80页）
63. 国家互联网信息办公室：国家信息化发展报告2023年110页
64. 埃森哲：2024年风险研究报告-重大颠覆需要持续重塑英文版39页
65. 36氪研究院：2024年中国城市低空经济发展指数报告41页
66. 美国信息技术与创新基金会：《中国在量子领域的创新能力如何》研究报告
67. 理解深度学习500页报告
68. 鼎帷咨询：2024全球人工智能发展研究报告44页
69. 【伯克利博士论文】大型语言模型迈向能够学习和发现一切的机器
70. 《量子技术：前景、危险和可能性》45页报告
71. 英国皇家学会报告：人工智能在科学、技术、工程和数学领域的应用
72. 未来今日研究所：2024世界技趋势报告（980页）
73. 面向大规模脉冲神经网络：全面综述与未来方向
74. 大模型+知识库市场全景报告
75. 《太空力量的理论基础：从经济学到不对称战争》2024最新94页报告
76. CBInsights：2024年第二季度全球企业风险投资状况报告英文版124页
77. 英国科学院：数据管理和使用：21 世纪的治理（2024），99页
78. 兰德智库：展望2045 一项前瞻性研究探讨未来 20 年全球趋势的影响
79. 世界知识产权组织：2024年世界知识产权报告：让创新政策促进发展
80. 全球灾难风险研究所：评估大型语言模型接管灾难的风险
81. 牛津马丁学院：人工智能风险国际科学评估的未来
82. 联合国贸易和发展署：2024世界投资报告
83. 兰德公司：人工智能军事应用的新风险和机遇
84. 英国皇家学会：AI时代的科学发展趋势研究报告
85. 百页风电行业研究方法论：从中国到世界从陆地到海洋-240902，98页
86. 中国信通院发布《大模型落地路线图研究报告（2024年）》
87. 星河智源：2024年无人驾驶技术全景报告35页
88. 星河智源：2024年光刻机技术全景报告37页
89. 人形机器人行业研究方法论：特斯拉领衔人形机器人的从1到N
90. 兰德：展望2045一项关于未来20年全球趋势影响的前瞻性研究报告英文版45页
91. 《军事创新与气候挑战》2024最新152页报告
92. 麦肯锡：2024困难点：驾驭能源转型的物理现实（196页）
93. 《麻省理工科技评论》万字长文：什么是人工智能？
94. 软件与服务行业：从特斯拉智能驾驶看人形机器人发展路径
95. 中国信通院：中国数字经济发展研究报告2024年82页
96. CB Insights：2024年第二季度全球风险投资状况报告 244页
97. 脑启发的人工智能：全面综述
98. 二十年关键技术跟踪报告
99. 中国首部城市大脑系列建设标准（8项）汇编
100. 麦肯锡2024技术趋势展望报告100页
