比真人还逼真！神秘AI生图模型Aurora遭泄露，马斯克急拔网
![]()
比真人还逼真！神秘AI生图模型Aurora遭泄露，马斯克急拔网
【导读】虽然才出现一天就神秘下线，但马斯克的Aurora生图模型已经让全网网友玩疯了！更惊人的是，在10万块H100上训练的Grok 3，本周就要和我们见面了。
OpenAI六年元老再发文：全球AI狂飙，我们应该拉手刹还是踩油门？
【导读】前段时间离职后留下公开辞职博客的OpenAI六年元老Miles Brundage最近再发一文，讨论了一个相当热门但棘手的问题：当今的AI发展速度，应该加速、减速还是维持现状？
10月末，OpenAI在政策研究领域方面的6年元老Miles Brundage离职，顺便发表了一篇博文，解释自己离职的原因，并直言——我们远远没有为AGI做好准备。
因此，离开OpenAI对他来说并不是一个容易的决定。但是为了有更多时间研究自己认为重要的课题，更独立、自由地发表观点和作品，Brundage决定转而加入（甚至自己创办）非营利组织，将重点放在AI政策研究和倡导上。
Miles Brundage本科毕业于乔治华盛顿大学，本科期间担任过美国能源部的特别助理，之后前往亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担任AI政策研究员。
2018年，Miles Brundage加入了刚刚成立3年的OpenAI担任政策方面的研究科学家，之后又在2021年升任研究主管，目前是AGI准备工作的高级顾问。
为何离开OpenAI
总体来看，Brundage的离职是希望从行业外部而非内部影响AI的发展，这与今年Geoffrey Hinton离开谷歌的原因如出一辙，具体有如下几个考虑因素：
机会成本
本职工作已经占去了几乎全部的时间，因此Brandage感觉很难从事自己认为重要的研究课题。甚至在某些情况下，身处行业之外时，从事这些研究能更有影响力和说服力。
而且，OpenAI目前已经如此引人注目，成果发布前就需要从许多不同的角度进行审查，以至于无法发表某些主题的文章。
但值得注意的是，Brundage并不是完全反对OpenAI在出版物审查方面的立场，他认为行业中存在出版限制是合理的，他本人也帮助编写了OpenAI政策的几个迭代版本，但公司目前施加的限制确实已经太多了。
减少偏见
如果选择成为某个组织的一部分，并且每天都和那里的同事们密切合作，你就很难对这个组织保持公正。
Brundage表示，他在分析中尽力追求公正，但仍然会有偏见的存在。而且在OpenAI工作这件事本身，就会影响到外界如何看待自己的观点和研究。考虑到财务利益上的冲突，人们有理由质疑来自行业的政策想法。
在有关政策的对话中，有更多独立于行业的声音至关重要，而Brundage计划成为其中之一。
在OpenAI，能做的都做了
从入职至今，Brundage认为自己作为「AGI准备状态高级顾问」的工作已经完成了大部分。
「AGI准备状态」（AGI Readiness）主要分为两种：一是OpenAI要准备好管理日益强大的AI能力，二是整个世界也要准备好有效管理AI能力，包括通过监管OpenAI和其他公司。
对于前者，Brundage已经向他的负责对象——OpenAI的高管和董事会——详细介绍了他认为OpenAI需要做什么，以及差距在哪里；而对于后者，他认为自己在OpenAI外部能够更加有效。
虽然失去了一些在OpenAI发挥影响力的机会，但Brandage希望在更大程度上影响整个生态系统。
AGI，我们都没准备好
Brundage认为，对于即将到来的AGI，OpenAI或任何其他的前沿实验室都还没有准备好，这个世界也还没有准备好。
原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7
但需要明确的是，他不认为这种「没准备好」的状态与OpenAI领导层的声明相冲突；同时他也暗示，虽然距离理想的标准存在相当的差距，但是我们仍可以在相关时间点步入正轨，为此Brundage将在余下的职业生涯中致力于人工智能政策。
科技公司和这个世界是否走上了AGI准备的正轨，是一个复杂的函数，取决于安全和保障方面的文化如何随着时间的推移而发挥作用、监管如何影响组织的激励措施、各种有关AI能力和安全方面困难的事实，以及各种其他因素。
此处，Brundage特别表扬了OpenAI最近新增加董事会成员的决定，新吸纳的成员包括前陆军上将Paul M. Nakasone和CMU机器学习系主任Zico Kolter，这都是朝着正确方向迈出的一步。
顺便一提，Brundage表示，「AGI」这个术语承载了太多意义，它现在更多地暗示着一种二元思维方式，而不是实际意义，因此有必要澄清一下，此处的「为AGI做好准备」，指「准备好安全、可靠且有益地开发、部署和管理能力日益强大的AI系统」。
最近，他和团队正在充实OpenAI提出的AGI五级框架，不久后或许会发表一篇正式的论文。这个框架曾被彭博社披露，引来了不少争议。
虽然Brundage对AI政策抱持着谨慎和批判的态度，但对于AGI前景的预测，他的确称得上是一个「技术乐观主义者」，观点与硅谷的风投大佬Khosla非常一致。
他认为，在未来短短的几年内，人工智能很可能能够实现足够的经济增长。假设我们能制定出适当的政策来确保公平分配，人类就能实现高生活水平的提前退休。
但在此之前的短期时间中，AI很可能会抢走一些迫切需要工作的人的机会，尤其是那些可以远程完成的、容易自动化的任务。
但事实是，人类最终应该摆脱为谋生而工作的义务，这也为构建AI和AGI提供了最强有力的论据之一。从长远来看，有些人可能会继续工作，但不会像现在这样有如此迫切的激励因素。
一个「后工作世界」（post-work world）的风险之一就是文明的停滞（比如电影「机器人总动员」所展现的），但我们目前还没有在政治、文化或其他方面为此做好准备，因此需要更多的思考、辩论和政策讨论。
很多人都描绘过「AI造福人类」的前景，这些描述似乎是出于好意而非阴谋论。但目前存在效率低下的问题，很大程度上是由于民间社会和政府的技术专业知识不足，以及缺乏良好的规范和理论基础。
例如，对于出现的问题，我们是否应该期望市场机制给出解决方法？什么时候应该构建定制化、应用范围狭窄的AI解决方案，什么时候应该提高通用AI系统的能力来解决？在各种情况中，正确的方法是继续补足现有的技术，还是创造全新的技术，等等。
要不要在OpenAI工作
「要不要在OpenAI工作」，这个问题听起来有点凡尔赛，可以类比下「斯坦福和MIT该选哪个」。
但如果屏幕前的你拿到了offer正在纠结该去OpenAI还是谷歌DeepMind，Miles Brundage的经验或许能帮助你解决这个甜蜜的烦恼。
在OpenAI工作是大多数人希望能做到的最有影响力的事情之一，所以在大多数情况下，答案是肯定的。
考虑到每个人拥有的技能和机会不同，很难做出笼统的陈述，但有一点是确定的——OpenAI 的每一个角色，以及每个人对待工作的谨慎程度都很重要，对OpenAI组织文化的每一项贡献也很重要。
在通往更强大AI的道路上，每一次产品的部署都会发挥重要作用，比如影响行业规范，以及人们认知和监管AI的方式。
在OpenAI工作，无论是AI的安全与保障，抑或是AI能力和产品方面的研究，发挥个人的能动作用来推动AI安全都是非常有影响力的。
下面这段话，似乎是Brundage的一段隔空喊话，写给他仍在OpenAI工作的前同事们：
「任何在OpenAI工作的人都应该认真对待这样一个事实：他们的行为和言论有助于组织文化，并且当这个组织开始掌管极其先进的能力时，可能会创造正面或负面的路径依赖。文化对任何组织都很重要，但在前沿AI的背景下尤其重要，因为大部分决策不取决于监管法规，而是来自公司中的人。」
正如Brundage在前文所表示的，他认为某些政策研究最好在外部进行，AI的安全和保障工作有时也是如此。尽管OpenAI内部确实需要一些人来推动公司采取良好的政策立场，但存在独立的安全研究也很有价值。
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/
10天后，似乎是觉得这篇文章意犹未尽，Brundage再次发文，题为「AI发展是应该加速、放缓，还是保持不变？」
虽然标题是问句，导读的一句话也充满了不可知论色彩，但文章的结论非常明确——谨慎起见，我们应该为全社会的AI发展安装一个「刹车」。
负责托管维基百科的Chris Albon转发了这篇博客并大力赞赏，将Miles Brundage的内容产出与致力于教育领域创业的Andrej Karpathy相提并论。
现在再加上刚离职的Lilian Weng，不得不说，OpenAI的「离职潮」大大丰富了高质量AI博客的创作和产出。
Miles Brundage本科毕业于乔治华盛顿大学，本科期间担任过美国能源部的特别助理，之后前往亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担任AI政策研究员。
2018年，Miles Brundage加入了刚刚成立3年的OpenAI担任政策方面的研究科学家，之后又在2021年升任研究主管，目前是AGI准备工作的高级顾问。
当今的AI发展
人工智能应该更快、更慢还是保持不变？在回答这个问题之前，我们先简要回顾一下目前的人工智能进步有多快。
2021年出版的一本书——《人工智能简史》（A Brief History of Artificial Intelligence），其中的观点在短短3年后的今天就已经过时了。
比如书中提到，「理解一个故事并回答有关问题」以及「解释照片中发生的事情」，这些任务并没有完全被AI解决；但从GPT、Claude、o1等模型中可以看到，这些方面已经有了很大的进步，甚至很可能超过了人类表现。
举出这些例子并不是为了特意挑刺或抬杠，而是我们要明白一点——严肃的专家经常在人工智能领域犯下严重错误。
虽然某些情况下，人们确实对人工智能的进展过于乐观，但总体而言，近十年来，坚持唱深度学习的反调确实不是一个成功的策略。
另外还有下面这张著名的图表，告诉我们AI的发展如何让各种评估基准越来越快地饱和。
在物理、化学和编码等领域的测试问题上，AI开始超越专家表现，例如基本全新的GPQA问答基准（Google-Proof Question Answering），去年11月刚刚发布，现在却正在被碾压。
在解决谷歌搜索都无法完成的，孤立的、研究生级别的任务上，AI可以比大多数专家做得更好，即使专家有半个小时的时间来解决问题。
在有挑战性的推理基准上，o1大大超过GPT-4o
这种最新的进展的驱动力是AI系统向新范式的过渡，即所谓的「思维链」（chain of thought，CoT），在给出答案之前先思考问题。
GPQA基准仅仅是一个孤立的短期任务，AI系统在需要花费数小时/数天/数周/数年的「长期」任务上还无法超越专家，但科技公司正在积极推动这一点，并极有可能在10年内实现。
这些进步开始与机器人技术相结合，真正智能的AI系统无疑将大大加速机器人技术的发展。
棘手的问题——AI发展的理想配速
尽管在我看来，对AI进步速度的争议会随着时间的推移而减少，但这个问题目前仍然非常模糊，因为能在不同的规模和层面上控制它，比如单个公司、一个国家或一组国家，或全球范围，也区分不同类型。
例如去年发表的一篇文章中，就做出了如下区分：
人工智能的快速发展可区分为横轴和纵轴：纵轴指的是开发更大更强的模型，这伴随着许多未知因素和潜在的人类生存风险；相比之下，横轴强调将当前模型融入经济的各个角落，并且风险相对较低，回报较高。
本文下面的内容主要关注全球范围内AI在纵轴上的扩展/进步，也就是大多数人所理解的AI进步的意思；而且最终我们关心的是全球成果，因此无论人工智能发生在哪里，都应该考虑它的进展。
有些人可能认为这是一个棘手的问题，原因之一是他们认为这是对技术看法的「试金石」，而技术本身就已经是一个很大的争议了。
但事实并非如此。实际上，有很多人总体上支持技术发展，但对人工智能感到担忧。
比如，在这份旨在重视AI风险的倡议书上，不乏各种大力推动技术发展的大佬，比如比尔·盖茨、前OpenAI首席科学家Ilya Sutskever、DeepMind联创兼CEO Demis Hassabis、Anthropic联创兼CEO Dario Amodei、OpenAI CEO Sam Altman等人。
原文链接：https://www.safe.ai/work/statement-on-ai-risk
在本文作者Miles Brundage看来，AI发展的配速之所以成为一个难题，其真正原因在于，即使大家的出发点是一个共同的合理道德前提，例如「不要杀死所有人」和「更多的人 vs. 更少的人应该从技术中受益」，一系列相关的经验问题仍然很难解决。
AI总体发展的理想配速可能取决于以下问题的答案，而每个问题实际上都可以成为一个单独的领域：
让功能强大的AI系统变得安全是超级容易、容易、困难还是超级困难？
中国在人工智能方面是否有可能超越美国？这是否会因改变人工智能进步而采取的不同步骤而有所不同？
人工智能的快速进步是会有助于还是损害我们应对其他重大社会挑战/风险的努力（例如气候变化）？
类似的问题还有很多。这些问题本身就很难回答，而要将它们整合到一个整体框架中，以得出关于AI理想进展速度的有用结论就更加困难。
我们是否需要刹车
需要澄清的是，本文所指的「刹车」并非用「一刀切」的方式完全停止AI技术的发展。而是基于事实和对上述问题的回答，通过详细定义、分析的技术和政策选项来减缓人工智能的进步。
在Brundage看来，我们应当安装（经过设计和辩论的）「刹车」，因为当前AI的进步明显快于社会能够有效理解和塑造的速度，而且这种情况可能不会很快改变——甚至，二者之间差距可能逐渐扩大。
理想情况下，政策制定者能够掌控一切，但我们不知道最坏的情况是否会发生，所以要为各种情况做好准备。
值得一提的是，去年Brundage曾写过一篇文章，详细分析了他所见的AI进步和社会准备度之间的差距。
原文链接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai
目前来看，上述定义的「刹车」仍不存在，一部分证据是，我们看到了「科技公司单方面暂停AI开发」这种不切实际的提议。
这类政策不会发生也不会起作用，至少在未来很长一段时间内是这样，因为负责任的AI开发是一个集体行动问题。Brundage仍在OpenAI任职时，他和团队在2019年发表的论文就详细解释了这一点。
原文链接：https://arxiv.org/pdf/1907.04534
大部分人都会担心AI的发展。人们看到问题的存在，之后就会四处寻找答案，并提出一些非常简单的解决方案，但政策制定是困难的，需要远见、辩论和认真的研究。
OpenAI、哈佛肯尼迪学院、牛津、剑桥等机构在今年2月联合发表了一篇论文，讨论安装「刹车」的一种可能性——「算力储备」（compute reserve）。
原文链接：https://arxiv.org/pdf/2402.08797
这类似于设置一个有黄金储备的中央银行，对市场经济的发展进行宏观调控；「算力储备」也是如此，调节AI发展的步伐节奏。
尽管已经有了一篇104页的论文打底，但「算力储备」的方案仍存在很多问题和模糊之处。这不一定是正确的解决方案，但我们确实应该对此和相关想法进行更多讨论，还有人工智能税等等更多场景。
如果需要设计一个刹车的话，我们要不要同步配套一个「油门」？
Brundage认为，这也是必要的，但目前我们看到的是，已经有各种小型的「油门踏板」被踩得很紧。
例如，CHIPS法案将更多资金投入美国半导体制造；初创公司、风投和大型科技公司不断尝试在横轴和纵轴上扩大AI规模；教育机构不断培养研究人员和工程师；消费者们「用钱包投票」，通过为科技公司提供收入来间接支持AI更快地进步。
考虑到减速方面的协调困难，单方面加速比单方面减速更容易。因此，从分配政策研究注意力的角度来看，关注困难的问题更有意义，也就是如何放缓AI的发展。
结论和后续步骤
总而言之，这篇博文着重论证了两点：
1. 对于标题中的这个问题（AI发展应该加速、放缓，还是保持不变？），仍没有人能给出合理且明智的答案
2. 尽管如此，谨慎地安装「刹车」是明智的做法，从而为可能发生的情况做好准备
Brundage表示，目前缺乏「刹车」的情况让他非常担忧，而且在他职业生涯下一阶段关注的主题中，「进展速度」这个问题相当重要。
尽管他表示，「AI监管措施」与「国家竞争力」之间并不存在大多数人所认为的那种联系，但他发表过的一篇推文直言：「与过度监管相比，缺乏监管，特别是与安全+出口管制相关的监管，更有可能导致美国失去AI领域的领先地位」
https://x.com/chrisalbon/status/1852799633380237453
https://milesbrundage.substack.com/p/should-ai-progress-speed-up-slow
来源：新智元
为伟大思想而生！
AI+时代，互联网思想（wanging0123)，
第一必读自媒体
商务合作、投稿及内容合作，请联系后台小编
或271684300@qq.com
