👇关注公众号后设🌟标，掌握第一手AI新动态
本文内容整理自Alexandr Wang在Scale AI领导力峰会的主题演讲，公开发表于2024年11月20日。原始内容参考：https://www.youtube.com/watch?v=eRYP2arKkk0
Alexandr Wang在Scale AI领导力峰会的主题演讲
★内容导读：
Alexander Wang在本次演讲中的主要观点可以总结如下：
AGI临近： AI技术发展迅速，即将达到或超越AGI（通用人工智能）/超智能的临界点，这需要业界共同反思和应对。 AI发展的三个阶段： AI发展经历了研究阶段（2012-2018，以AlexNet为标志）、规模化阶段（2018-2024，投资激增）、创新阶段（2024至今，需注重算法创新而非单纯规模扩张）。 AI的三大支柱： 计算能力、数据和算法是驱动AI进步的三大核心要素，任何一个方面的进步都会推动整体发展。 通往超智能的五大挑战：
数据墙： 可用训练数据即将耗尽，需要探索合成数据、更高级的数据类型等解决方案。 评估难题： 当前评估方法存在缺陷，需要更具挑战性的评估标准来衡量真正的进步。 自主智能体（Agent）的局限性： 可靠的自主AI智能体尚未成熟，需要发展更先进的强化学习和数据类型。 算力与能源瓶颈： AI发展对算力和能源的需求巨大，可能成为瓶颈。 中美AI竞争： 中美在AI领域的竞争激烈。 ScaleAI的贡献： ScaleAI在计算机视觉、自动驾驶、大型语言模型等领域做出了贡献，并积极参与AI安全测试和评估工作）。 未来展望： 未来AI发展方向包括具身AI、机器人、更强大的推理模型以及能够自我改进的AI研究智能体。 需要关注算力、能源基础设施建设，寻找突破数据墙的方法，制定更具挑战性的评估标准。
Alexandr Wang简介
Alexandr Wang 是人工智能领域一颗冉升的新星，他是Scale AI公司的创始人兼首席执行官。Scale AI 成立于2016年，旨在为企业提供高质量的数据标注服务，以支持机器学习和人工智能的发展。
Wang 出生于1997年，是一位美籍华裔。他年少成名，曾在麻省理工学院学习物理和计算机科学，19岁时从麻省理工学院辍学创办了Scale AI。 在短短几年内，他带领Scale AI迅速成长为一家估值数十亿美元的独角兽公司，其客户包括OpenAI、Waymo、Airbnb等知名企业，以及美国国防部等政府机构。
Scale AI 的成功在于其高效、准确的数据标注平台。该公司利用机器学习技术和人工标注相结合的方式，为客户提供图像、视频、文本等多种数据类型的标注服务，帮助客户训练更强大的AI模型。Wang 的远见和领导力被业界广泛认可，他也因此多次登上福布斯等知名商业杂志的榜单。 他坚信数据是人工智能发展的基石，而Scale AI 正是在为这个基石的构建添砖加瓦。
演讲全文
Alexandr Wang： 非常感谢各位的光临。各位，我们这里汇聚了非常不同寻常的人才。我们有来自政府部门的人员，包括情报机构和国防部政策制定者，我们非常荣幸能邀请到他们。我们还有许多研究人员以及来自AGI实验室的各位，他们正在构建这项令人难以置信的技术。此外，我们还有来自世界一些最大型企业以及对整个项目至关重要的其他代表。这是我们举办峰会的第二年，我和Nat感谢所有人的到来，特别是那些再次参加峰会的朋友们。
我们想通过简短的介绍开始本次会议，介绍一下我们目前所处的阶段。我们将其命名为“暴风雨前的宁静”，因为对于许多AI行业人士来说，我们正站在AGI或超级智能（无论你称之为什么）的边缘，这一点非常清晰。这项技术正在变得非常强大，并将继续快速改进。因此，我们想借此机会反思一下我们目前所处的阶段。这将是一个简短的概述，之后我们将深入探讨我们在本届峰会中的常规主题。
你们许多人都了解我的部分背景：我来自洛斯阿拉莫斯，我的父母都是洛斯阿拉莫斯国家实验室的武器科学家。这是最后一个拥有当前技术浪潮许多特质的重大项目——一项最初其可行性尚不确定的极其先进的技术。道路相当清晰，但它围绕着原子弹的推测性发展展开。这对于国家安全和地缘政治产生了深远的影响。
我重新审视了参与曼哈顿计划的科学家的语录，奥本海默的两句名言引起了我的注意。他说：“科学中深刻的事物之所以被发现，并非因为它们有用，而是因为它们有可能被发现，这是一个深刻而必要的真理。”他还说：“当你看到一些技术上很酷的东西时，你就去做吧，只有在你取得了技术上的成功之后，你才会去争论接下来该怎么办。”当我们今天考虑AI时，这些观点尤其令人感到共鸣。
现代人工智能的历史表明，没有人预料到最初的深度神经网络会带来如此强大的AI系统。尽管人们对AI安全问题进行了大量的讨论，但我们现在正站在这项极其强大的技术面前，关于如何适当地驾驭它，还有许多悬而未决的问题。要解决这个问题，将AI更普遍地视为一项技术可能会有所帮助。
AI由三大支柱构成：计算、数据和算法。这三大支柱共同推动了我们在AI领域看到的所有进步。AI的一个显著特点是，它比其他主要技术（如聚变）更容易避免瓶颈。这三大支柱中的任何一项进步都会导致AI技术的进步。例如，计算能力的增强会直接影响AI的进步，数据和算法的创新也是如此。O1就是一个最新的例子，尽管计算能力在一段时间内停滞不前，但算法的改进还是带来了显著的模型改进。
新模型的开发速度令人震惊，难以跟上。我们定期评估新模型，感觉很难跟上所有发布的语言模型。第一个大型深度神经网络AlexNet于2012年为ImageNet进行了训练，标志着AI看似田园诗般的时代开始，尤其是在2012年到2018年期间。在那段时间里，在各种会议上取得了显著的进展，并且推出了一些主要的模型。现在，我们在两次会议之间看到有十几种模型发布，这促进了各种形式的AI的飞速发展。
我喜欢将现代AI时代划分为三个主要阶段。第一个阶段是研究阶段，大约持续时间为2012年到2018年。从AlexNet开始，它专注于基本的图像识别，这个时期AI主要是在识别YouTube视频中的猫。然后，我们从2018年到2024年过渡到扩展阶段，一直持续到今天。在这个阶段，投入到模型中的资源增加了10000多倍。仅今年一年，估计就有2000亿美元用于训练这些模型，从而带来了令人难以置信的性能提升。
当我们进入我认为的创新时代——从现在到超级智能出现——值得注意的是，尽管我们正在大力投资模型，但未来可以有意义地花费的资金数量是有限的。因此，除了扩展之外，创新对于推动我们前进至关重要。我们需要在高级推理和测试时间计算等领域取得进展，才能朝着超级智能迈进。
在ScaleAI，我们有幸对这些进步做出了重大贡献，尤其是在早期专注于计算机视觉的AI方面。我们与主要的自动驾驶汽车项目合作。值得注意的是，Waymo现在已经在旧金山推出了L4级自动驾驶汽车，这标志着一个重大的里程碑。我们还与OpenAI和各个实验室合作，见证了这些模型的演变，从GPT-2上的RLHF实验到目前强大的推理模型。
随着这一进展的展开，我们观察到出现了两个关键趋势。第一个是越来越需要对这些模型进行全面的测试和评估。最近，我们参与了在DEF CON上进行的首次针对模型的公开红队演习，并得到白宫的一些支持。我们继续与国防部合作开展测试工作，并启动SEAL项目用于公开评估这些模型。企业和政府已经大量采用，我们将在本届峰会的后续环节进一步讨论这一点。
为了使我们的展望更具体，我们认为实现超级智能面临五大挑战。第一个挑战，通常被幽默地称为“数据墙”，仍然是一个真正的问题。专家预测，我们可能会在2027年到2030年之间用完用于训练这些模型的公开数据，另一些人估计时间会更早。
重要的是，我们可以采取行动来解决这个问题。一些关键的解决方案包括突破数据墙，使用前沿数据，这可能包括合成数据和更先进的数据类型，这些数据类型为学习推理和多模态等复杂概念提供了更高的样本效率。
我们面临的第二个挑战是评估——这是一个在AI圈子之外经常被误解的领域。评估是我们用来评估这些模型进展的重要基准和激励措施。目前，许多评估都饱和或容易过拟合，这意味着模型在这些评估中的表现非常好，这使得衡量真正的进步变得复杂。为了解决这个问题，我们需要建立更具挑战性的评估，这些评估能够准确地反映朝着超级智能的进步。
为了解决这些问题，Scale公司正与人工智能安全中心合作开发“人类的最后一次考试”（Humanity's Last Exam），精心挑选跨学科的极具挑战性的研究问题。我们相信，如果我们能够有效地解决这个问题，这可能代表着向通用人工智能（AGI）迈出的实质性一步。此外，我们还开发了私有的专家评估方法，以评估这些模型提供的全方位能力，并欢迎各位与会者的合作。
接下来的挑战与我们一直在讨论的智能体有关。尽管炒作不断，但可靠的自主人工智能智能体仍然不是现实。人工智能智能体的开发与自动驾驶汽车从L1到L5的演进之间存在明显的平行关系。我们可以对智能体进行类似的分类：L1可以代表简单的聊天机器人，L2可以是用于离散任务的助手，而从L3到L5的进步可能会产生越来越强大的智能体，能够在不同程度的人工监督下执行复杂的工作流程。
跨领域的有效推理能力将带来巨大的经济价值，智能体支架和远程操作基础设施的重要性将日益增强。尤其是在智能体需要在执行任务时引入人工干预的情况下，我们设想未来许多人可能主要作为人工智能智能体的远程操作员来开展工作。增强的强化学习和高级数据类型是我们必须关注的重要组成部分。
第四个挑战是一个重大的瓶颈，我将简要说明：芯片和能源。保守估计表明，未来五年，数据中心将需要100千兆瓦的电力。这相当于巨大的财务投资。虽然我没有针对这一挑战的解决方案，但承认它的重要性至关重要。
最后，我们必须注意中国作为美国近乎同等竞争对手的地位。目前，美国在算法方面处于领先地位，数据方面可能落后，计算能力方面可能领先。
最后，我想表达我对人工智能未来发展前景的兴奋之情。值得注意的是，具身人工智能和机器人技术拥有改变体力劳动巨大潜力。我们也渴望开发能够长时间思考的模型，这些模型有可能解决癌症甚至千年难题等复杂问题。地平线上一个令人瞩目的前景是，能够自我改进的人工智能研究人员智能体的出现，这将标志着人工智能发展的一个关键里程碑。
总之，令人兴奋的技术里程碑即将到来，同时我们也需要应对许多挑战才能实现这些进步。我们必须关注计算和能源基础设施、前沿数据、解锁私有数据源以及制定具有挑战性的基准。这是人类历史上非同寻常的时刻。我们都是这场旅程中的参与者，共同努力推动超级智能的发展，并使其正确运行。
再次感谢各位的出席。我们今天准备了一系列精彩的会议，涵盖前沿能力、芯片、“评估墙”（eval wall）、企业采用等等。敬请期待一个惊喜小组讨论，届时将邀请ChatGPT的四位共同创造者中的两位。非常感谢大家！
参考资料: https://www.youtube.com/watch?v=eRYP2arKkk0，公开发表于2024-11-20
关注公众号后设🌟标，掌握第一手AI新动态
