迪安·鲍尔
2024 年 11 月 20 日
这篇文章最初发表于HyperDimension。
事情开始加速发展，规模不断扩大，任何事情都不像人们所期望或计划的那样发生，这已变得很不寻常。
《毁灭的世界》， GJ Meyer
周二，美中经济与安全审查委员会发布了年度报告，向国会提出了有关美国对华政策的建议。该委员会由国会于 2000 年成立，旨在研究美中关系。在我看来，该委员会在华盛顿颇受尊重。
这份冗长的文件并没有太多吸引我注意的地方。但第一条建议却让每一位人工智能政策研究人员的手机同时亮了起来：
委员会建议：
- 国会建立并资助一个类似曼哈顿计划的项目，致力于竞相获得通用人工智能 (AGI) 能力。通用人工智能通常被定义为在所有认知领域都与人类能力相当甚至更好的系统，并且会在每项任务中取代最敏锐的人类思维。委员会建议国会采取的具体行动包括：
- 向行政部门提供广泛的多年期合同授权，并为领先的人工智能、云计算和数据中心公司及其他机构提供相关资金，以符合美国 AGI 领导地位目标的速度和规模推进既定政策；
- 指示美国国防部长为人工智能生态系统中的项目提供国防优先和分配系统“DX评级”，以确保该项目获得国家优先考虑。
在我看来，这段文字更像是一份插入内容，而不是报告的组成部分。文章中有一些定制的措辞，例如“在每项任务中夺取人类最敏锐的头脑”，与报告的其余部分并不特别一致。据我所知，“通用人工智能”、“AGI”和“曼哈顿计划”等术语在这份 800 页的报告中除了这项建议外，其他地方都没有提到。尽管报告中有一节详细讨论了中美在人工智能领域的竞争（见第三章）。
我初步得出的结论是，这是报告作者（或其中一部分人）放出的试探性想法，目的是将这个想法塞进奥弗顿之窗，看看公众的反应。请允许我给出我自己的看法。
关于报告
与往常一样，有几个事实值得注意。首先，国防优先权和分配系统 (DPAS) DX 评级赋予国防部（或任何其他相关联邦机构）优先使用其认为建设“AGI”所需的任何设备、服务和其他商品的权利。然而，它不允许美国政府扣押私人资产。
相反，美国政府将成为 Nvidia 销售的每一款 GPU 的第一购买者。他们将成为美国本土超大规模数据中心中每款现有 GPU 的第一购买者。他们还将成为任何从事 AGI 研究的公司制作的所有模型的第一购买者。他们还将成为 Scale AI 等公司提供的服务的第一购买者，这些服务包括为模型训练目的在全球范围内收集人工生成的数据。他们还将购买每台工业电力变压器，以及完成工作所需的任何其他东西。
那么，我们谈论的就是政府对赢得“AGI”竞赛所必需的任何经济资源的近乎指挥和控制权。以及美国政府在未来几年不惜一切代价投入的无限承诺——可能是数千亿美元。
您可能会想，有了这样一份来自如此受人尊敬的（并受联邦政府委托的）团体的详细报告，对于如此规模的提案（作者提出的第一个建议）应该会有大量的解释。
但你错了。AGI 曼哈顿计划的这个提案最令人惊讶的可能是上面引用的部分是对设想政策的最详细陈述。
报告的第三章相当详细地介绍了美国和中国在各种新兴（和已出现）技术方面的竞争。报告指出，我们在很多技术上都取得了胜利。报告对美国和中国在人工智能方面竞争的重要载体进行了相当全面的智库式总结。然而，报告并没有为它在所有政策中首先推荐的激进的曼哈顿计划政策提供理由。
以下仅是本报告可以解决的一些问题。
未问的问题
我们有多确定大型多模态模型本身就是决定性军事优势的来源？报告引用的许多军事用途（自主无人机、自主武器上更好的目标识别和协调等）不太可能由大型多模态通用代理驱动。
虽然“AGI”在军事上确实有许多用途，但这些用途是否更像电力或计算机？没有电力或计算机，现代军事就不可能存在，但总的来说，我们并不认为我们最可怕的武器从根本上是“电气化”或“计算机化的”。相反，我们认为这些通用技术是使武器成为可能的机器——电力、计算机和软件支撑着制造武器的工厂、将这些武器带到战场的供应链和物流、使武器具备能力的内部系统，以及帮助军事领导人确定是否以及如何在战斗中使用这些武器的通信基础设施。
在你看来，电力“曼哈顿计划”或计算机“曼哈顿计划”有多大用处、多明智、多有成效？这听起来像制造一把原子弹的任务吗？曼哈顿计划似乎是思考如何构建 AGI 组织的最佳模板吗？核武器似乎是推理 AI 的最佳技术类比吗？
正如我一贯所写 ，我认为这些问题的答案远非显而易见。事实上，我本能地反对核武器或曼哈顿计划对 AGI 的思考有用的想法。
也许你会同意我的观点，认为核武器并不是一个思考 AGI 用途的糟糕方式。但你仍然可以争辩说，正如利奥波德·阿申布伦纳 (Leopold Aschenbrenner) 在他的《态势感知》系列文章中所说的那样，AGI 有更显著的相似之处。据说，AGI 将需要耗资 1000 亿美元甚至 1 万亿美元的数据中心。当然，这种基础设施似乎很容易受到“曼哈顿计划”式结构的影响。
但是我们真的需要这样的设施吗？过去几周，有（有争议的）报道称， OpenAI、Anthropic 和 DeepMind 的下一代大型模型没有达到这些公司的内部预期。今年大部分时间，我都有这样的直觉：下一代大型模型（GPT-5 和类似模型）相对于预期会令人失望。这是因为缩放定律的 确切含义（很少有人讨论），而不是它们的印象含义（这是人们倾向于讨论的）。
简而言之，规模定律表明，随着数据、计算和模型大小的增加，模型的交叉熵损失将会减少。可以将其视为衡量模型对其预测的信心程度的标准 — — 对于大型语言模型来说，这将是它对文本序列中下一个标记的预测。我一直怀疑，进一步降低交叉熵损失本身是否会产生让消费者聊天机器人用户震惊的天才见解。相反，正如 Nathan Lambert 所彻底说明的那样，增加模型尺寸会提高鲁棒性— — 说得粗俗一点：模型正确完成困难任务的频率。这对于代理（可以代表用户采取行动的模型）等用例可能至关重要，但可能不会在标准聊天机器人查询的消费者中脱颖而出。
模型特定特征的增加是否能证明建造 1000 亿美元的数据中心和随之而来的千兆瓦能源基础设施是合理的？请记住，开发人员必须为交叉熵损失的每一次边际改进花费成倍的资金，并且这种改进会随着每个新模型（更昂贵）而变得越来越小。这种改进对于构建 AGI是否是必要的？
即使事实证明这些措施确实必不可少，我们能确定与中国展开 AGI“竞赛”是最明智的做法吗？我们先不考虑这种做法是否是最安全的做法，而是要考虑，在 AGI 的指挥与控制竞赛中，美国获胜并不明显。正如 Dylan Patel 在最近接受 Dwarkesh Patel 采访时所言：
我们（美国）还没有准备好千兆瓦数据中心。我认为，中国可以在六个月内建成，地点在三峡大坝周围或许多其他地方。他们有能力建造变电站。他们有发电能力。一切都可以像拨动开关一样完成，但他们还没有做到。然后他们可以疯狂地集中芯片。现在他们可以说，“哦，NVIDIA 在第三季度和第四季度发货的一百万个芯片，H20，让我们把它们都放在这个数据中心里。”他们只是还没有进行集中化工作。
也许 1000 亿美元的集群从来都是不现实的。例如，作为扩展模型训练计算的替代方案， OpenAI 的新o1 范式强调扩展推理计算。这有多重要？推理计算需要与训练计算不同的数据中心配置。这些数据中心必须放置在靠近人口密集中心的地理位置，而训练集群可以位于任何地方（请在美国本土！）。这些不同类型的设施之间的理想组合是什么？本质上，国防部是否会以最佳方式做出这样的决定？如果不需要这种大规模计算集群，或者它没有许多人想象的那么有用，那么美国政府究竟能增加什么价值呢？
那么实际实施情况如何呢？谁将领导这一计划？顶级人工智能公司是否会合并，以便汇集资源？合并顶级人工智能实验室可能会遇到哪些人际、组织、技术、经济和法律障碍？鉴于这些公司对 AGI 开发都有不同的技术方法，谁将最终决定我们应该采取哪种方法？在这些公司工作的许多非美国公民是否会被允许参与美国的“曼哈顿计划”？军方会向公众发布 AGI 吗？还是他们会只为联邦政府（以及各种国际和企业合作伙伴）保留对它的访问权限？
在美国联邦政府对微软、OpenAI、Nvidia 等公司进行反垄断调查的同时，AGI 曼哈顿计划是否会继续进行？在美国联邦政府试图拆分全球最大的计算机所有者谷歌的同时，AGI 曼哈顿计划是否会继续进行？公平地说，特朗普总统已经表达了他不想拆分谷歌的意愿——但联邦政府在人工智能政策上表现出的认知失调程度并不能让我有信心他们会比目前领先的公司更好地管理 AGI 发展。
结论
理论上，所有这些问题都可以得到解答。实际上，我怀疑其中一些问题目前还无法得到解答。其中一些问题肯定会成为激烈辩论的主题。然而，在这份近 800 页的报告中，这些问题一个都没有提出，也没有得到任何解答。
https://www.thefai.org/posts/questions-unasked-and-unanswered
