Leopold Aschenbrenner 关于人工智能的论文系列：《对未来10年态势的感知》。
无论你是否对人工智能感兴趣，每个人都应该读一读。
如果你没时间阅读或英文的问题，可以阅读以下的核心要点
从GPT-4到AGI：计算数量级（OOM）的变化
AI进展迅速：GPT-2到GPT-4在4年内从“学龄前儿童”提升到“聪明的高中生”水平。
预期发展：到2027年，我们可能会看到类似的飞跃，这可能会带我们进入人工通用智能（AGI）。
进展的来源：进展来自于三个方面：更多的计算能力、更好的算法和“去限制”（使模型不受约束）。
计算能力的增长：计算能力以每年约0.5数量级（OOMs）的速度增长，这比摩尔定律快大约3倍。
算法效率的提高：算法效率也以每年约0.5数量级的速度增长，这通常被忽视，但与计算能力同样重要。
“去限制”带来的提升：这类提升难以量化，但也很巨大，如强化学习人类反馈（RLHF）和链式思维（chain-of-thought reasoning）。
综合提升：我们在4年内可能会看到有效计算能力提升5个数量级以上，这相当于另一个GPT-2到GPT-4的飞跃。
未来展望：到2027年，我们可能会有能完成AI研究人员和工程师工作的模型，这就是AGI。
数据瓶颈：我们正逐渐耗尽训练数据，这可能会减缓进展，除非我们找到新的方法来提高样本效率。
AGI的预期时间：即使进展放缓，我们也有可能在本十年内看到AGI。问题更多是“2027年还是2029年”，而不是“2027年还是2050年”。
从AGI到超智能：智力爆炸
AGI只是起点：一旦我们拥有了AGI，进展不会止步于此。我们会很快获得超智能。
AGI系统的复制：我们将能够运行数百万个AGI系统副本，这些系统将自动化AI研究。
研究效率的提升：不再是实验室里的几百名研究人员，而是有超过1亿的“研究人员”24小时不停地工作，这可以将十年的进展压缩到不到一年内完成。
算法进步：我们可能在一年内看到算法进步超过5个数量级，这相当于在AGI的基础上再来一次GPT-2到GPT-4的飞跃。
潜在瓶颈：有限的计算资源可能是瓶颈，但目前看来，没有任何瓶颈能够决定性地减缓进展。
超智能的强大：超智能AI将拥有难以想象的强大能力。它不仅比人类快，还会比人类更加聪明。
解决问题和创新：它可以解决长期存在的科学难题，发明新技术，并带来巨大的经济和军事优势。
经济增长：我们可能会看到每年超过30%的经济增长率，一年内经济多次翻番是可能的。
9.动荡的时期：智力爆炸及其直接后果可能是人类历史上最动荡的时期之一
挑战：竞赛到万亿美元级别的计算集群
庞大的AI计算集群：我们正朝着大规模AI计算建设前进，到2028年，单个训练集群的成本可能超过1000亿美元。
未来的计算集群：到2030年，我们可能会看到成本超过1万亿美元的集群，这些集群可能需要占用美国20%以上的电力生产。
AI投资激增：到2027年，整体AI投资可能达到每年1万亿美元，而到2030年则可能达到每年8万亿美元。
初期迹象：NVIDIA数据中心的收入已经达到了每年900亿美元的运行率，这只是一个开始。
大科技公司的资本支出：微软和谷歌在2024年的资本支出可能各自超过500亿美元，大部分用于AI。
AI收入快速增长：OpenAI的收入在6个月内从10亿美元增长到20亿美元的运行率。
未来预期：到2026年，可能会有一家大科技公司达到每年1000亿美元的AI收入。
电力成为主要瓶颈：美国的电力生产在过去十年几乎没有增长。
解决电力问题：美国可以通过天然气解决这个问题，我们有充足的供应，并且可以快速增加产能。
10.芯片生产的扩大：芯片生产也需要大规模扩展。台积电（TSMC）可能需要建造几十座新的价值200亿美元的工厂
挑战：实验室的锁定——AGI的安全性
AI实验室安全性差：目前AI实验室的安全性极差，我们基本上是把AGI的秘密拱手送给中国。
算法秘密的价值：算法秘密比计算能力的价值高出10倍以上，而我们不断在泄露这些秘密。
模型权重的保护：保护模型权重也至关重要，窃取这些权重可能会让对手立即赶上。
需要政府级别的安全措施：AGI需要政府级别的安全措施，私人公司无法应对国家级别的威胁。
必要的安全措施：我们需要与外部网络隔离的数据中心、极端背景审查、在敏感隔离设施（SCIFs）中工作等。
安全措施的影响：这些措施会在一定程度上减缓研究进展，但这是必要的，国家利益比任何一个实验室的优势更重要。
紧迫的时间表：如果我们在接下来的12到24个月内不解决这个问题，很可能会将关键的AGI突破泄露给中国。
最重要的任务：确保AGI安全可能是我们今天需要做的最重要的事情，以确保AGI的发展顺利进行。
挑战：超级对齐
控制比我们聪明得多的AI系统是一个未解决的问题：目前的技术无法应对这一问题。
人类反馈强化学习（RLHF）：虽然现在效果很好，但在面对超智能系统时将失效。
解决“信任交接”问题：我们需要解决如何确保超人类AI按照我们的意图行事的问题。
有前途的研究方向：包括可扩展的监督和泛化研究。
自动化对齐研究：我们可能需要自动化对齐研究本身，以跟上AI能力的提升。
智力爆炸的紧张局面：这使得局势异常紧张，我们可能会在几个月内从人类水平迅速跃升到大大超越人类的水平。
多层防御：除了对齐之外，我们还需要多层防御措施，如安全、监控和有针对性的能力限制。
极高的能力和决策：要做好这一点需要极高的能力和愿意做出艰难取舍。
9.准备不足：我们远没有做好充分准备，现在太过依赖运气。
项目
美国政府的介入：到2027/2028年，美国政府可能会深入参与AGI的开发。
“AGI曼哈顿计划”：我们可能会看到某种形式的“AGI曼哈顿计划”。（我的注释：我对美国是否能进行这样的项目持怀疑态度，但希望能被证明是错的）
私营公司的局限：私人公司无法处理超级智能带来的国家安全问题。
政府的必要性：我们需要政府介入以确保安全、稳定国际局势等。
并非全面国有化：这可能类似于国防部与国防承包商之间的关系，而不是字面意义上的国有化。
国会的拨款：国会可能需要拨出数万亿美元用于芯片和电力建设。
民主国家的联盟：我们可能会看到民主国家组成联盟，共同开发超级智能。
技术的民用应用：技术的民用应用将继续蓬勃发展，类似于核武器之后的核能发展。
核心AGI研究团队的安全：核心AGI研究团队可能会转移到一个安全地点。万亿美元的计算集群将以创纪录的速度建成。
告别的思考之一
未来的转变：如果我们对所有这些的预测是正确的，到2030年代末，世界将发生彻底的转变。
AGI现实主义者的观点：我们需要采取一个“AGI现实主义”的视角。认识到其力量和危险，确保美国的领导地位，并且严肃对待安全问题。
世界命运的重担：世界的命运可能取决于目前仅有的几百人对当前情况的认知。
和平与自由的责任：我们将和平与自由归功于美国在经济和军事上的卓越地位。我们必须通过AGI来维持这一优势。
最大的风险：可能的最大风险是超级智能使得新的大规模毁灭手段广泛扩散。
民主盟友的领先优势：我们需要民主盟友的健康领先优势，才能有希望安全地应对未来的挑战。
国际局势的不稳定性：这可能是历史上见过的最不稳定的国际局势之一。先发制人的激励可能是巨大的。
告别的思考之二
迅速锁定AI实验室：我们需要迅速确保AI实验室，以防止在接下来的12-24个月内关键突破泄露出去。
建设计算集群：计算集群必须建设在美国，而不是在提供容易资金的独裁国家。
美国AI实验室的责任：美国AI实验室有责任与情报机构和军方合作。我们必须为防御目的开发AI。
AI的影响类似于COVID：未来几年AI领域将与COVID-19早期阶段相似：大多数人没有预见到，然后迅速转变。
AI的财务影响：到2025/2026年，AI预计将推动大型科技公司年收入超过1000亿美元，市值将达到10万亿美元。
AI自动化工作：全面的AI代理人预计将于2027/2028年开始自动化软件工程和其他职业。
关于AGI的共识：随着实证结果继续震惊人们，我们将形成一个关于我们即将迎来AGI时代的共识。
恐怖的AI演示：大约在2026/2027年，随着先进AI能力的真实性感受，华盛顿的氛围可能会变得沉重，可能包括帮助新手制造生物武器等演示。
核心AGI研究团队：核心AGI研究团队很可能会在2026年末或2027年搬到一个安全的地点。
面临的巨大挑战：该项目将面临巨大的挑战：快速发展AGI、抵御中国、管理数百万个AI，并避免灾难性后果。
告别的思考之三
历史上的领导挑战：无论谁担任领导，都将面临人类历史上最艰难的任务之一。
历史重要性：如果我们成功，这将是人类历史上最重要的成就之一。
自由和民主的赌注：所面临的赌注不亚于自由、民主甚至人类本身的生存。
严肃对待智能爆炸的可能性：我们必须像科学家最初对核链反应的可能性一样严肃对待智能爆炸的可能性。
从历史中学习：正如许多人最初对Szilard关于核链反应的观点持怀疑态度一样，我们不能在AGI方面犯同样的错误。
AGI技术的力量：我们正在开发人类历史上最强大的技术，我们必须以适当的方式对待它。
AGI安全的关键重要性：如果我们不能正确处理AGI的安全问题和安全性，那么我们所做的其他事情都将毫无意义。
AGI发展的不可避免性：无论我们是否接受，AGI的发展都是不可避免的。问题在于我们是否做好了准备。
加大对齐研究、安全措施和未来挑战准备的努力：我们迫切需要大幅增加对齐研究、安全措施以及应对未来挑战的努力。
政府的国家安全优先级：政府必须意识到并开始将AGI发展作为其国家安全的优先事项。
做出艰难的取舍：我们必须愿意做出艰难的选择，比如使用天然气发电，即使这与气候目标相冲突。
技术资本加速的全面展开：技术资本的指数增长已全面展开。2023年是“AI唤醒”的一年。做好迎接急剧变革的准备。
未来的狂野岁月：我们目睹了人类历史上技术进步最惊人的加速。未来几年将是动荡不安的时期。
原文地址：https://situational-awareness.ai/from-gpt-4-to-agi/
解锁未来，掌控AI 大模型的力量！评论区留言，加入“零基础掌握AI”群
