泰格马克｜如果通用人工智能在特朗普下届任期内到来，其他事情都不重要了

2023 年 3 月，超过 33,000 人（包括名人堂级人工智能专家）签署了一封公开信，呼吁科技行业暂停开发比 OpenAI 的 GPT-4 更强大的人工智能模型六个月，而不是继续急于开发通用人工智能（AGI） 。这封信由一个名为未来生命研究所的组织牵头，信中写道：“只有当我们确信强大的人工智能系统的效果是积极的，风险是可控的，我们才能开发它们。”

剧透：业界并未听从这封信的号召。但它确实引起了极大的关注，表明除非在真正需要之前采取保障措施，否则 AGI 可能会失去人类的控制。这只是这家成立十年的研究所的众多举措之一，旨在围绕人工智能的风险和引导该技术走向负责任方向的最佳方式展开对话。

为简洁起见，我们对本次采访进行了编辑。

即使人工智能行业六个月内没有停顿，你所做的工作是否能够实现你所希望的目标？

我带头写这封暂停信的目的并不是我认为会暂停。当然，我没那么天真。目标是让对话成为主流，让人们在社交上安全地表达自己的担忧。事实上，我觉得这是一个巨大的成功。

它确实引起了很多关注。

许多利益相关者过去对此没有发表太多意见，现在开始谈论它。我觉得整个社会都有很多被压抑的焦虑。许多人担心谈论这件事会显得很愚蠢，或者害怕被贴上某种卢德分子恐怖怪物的标签。然后，当他们看到这些领域的领导者也表达了担忧时，这对其他任何想谈论它的人来说都得到了社会认可。这让另一封灭绝信的可能性公开化，然后，我认为这反过来又直接导致了参议院的听证会和国际人工智能峰会的召开，人工智能安全研究所的成立，等等，这些都是非常受欢迎的。

过去 10 年，我感觉自己有点像孤狼麦奎德 (Lone Wolf McQuaid)，权力制造者们对此毫无反应。而现在，情况已经完全改变了。

令我印象深刻的是，即使他们的老板不愿意，大型组织中的人们也愿意阅读你的信件。

但 2023 年 5 月的停业信实际上是所有老板都签署的。我认为这有点像是一些领导人的求救信号，因为任何公司都不可能单方面暂停。他们只会被竞争对手打败。唯一的好结果是制定安全标准，为每个人提供公平的竞争环境。

就像如果没有 FDA，任何制药公司都不能单方面暂停药物的发布。但如果有 FDA，没有人可以在新药获得 FDA 批准之前发布它们，那么所有不安全的药物都会自动暂停。这确实极大地改变了行业内的激励结构，因为现在他们将开始在临床试验和研究上投入大量资金，从而获得更安全的产品。

基本上美国的每个行业都有这种模式。我们不仅将其用于制药，还将其用于汽车、飞机，甚至三明治店。我们必须请市政卫生检查员检查厨房里是否有太多老鼠。而人工智能作为一个行业完全是异常的。绝对没有有意义的安全标准。如果 Sam Altman自己的预测成真，并且他很快获得 AGI，他就可以合法地发布它，看看会发生什么。

您对应该制定什么样的法规有多清楚的了解，尤其是考虑到人工智能的发展速度比三明治店安全甚至药品都要快？

我认为这其实相当简单。困难的是建立制度框架来执行现有的标准。你需要召集所有关键利益相关者，从低标准开始，然后逐渐提高标准。

比如汽车，我们一开始并没有要求安装安全气囊或防抱死刹车系统。我们一开始是安装安全带，后来有人开始安装交通信号灯和限速装置。这些都是很基础的东西，然后就从那里开始发展了。但是，当安全带法出台时，它已经对这个行业产生了变革性的影响，因为死亡率大幅下降，汽车销量开始大幅增加。

我认为人工智能也是一样的。标准中有一些非常基本、毫无争议的内容。人工智能，你的产品不能教恐怖分子如何制造生物武器。谁会反对呢？或者证明这不是某种你可以失去控制的递归式自我改进系统。

但即使你只是从那开始，它也会自动暂停 AGI 的发布。然后，我认为，我们将看到焦点重新转移到各种奇妙的工具上：人工智能治愈疾病、解决更多痛苦，无论什么，它显然都符合这些标准。我对 Web 峰会上讨论的很多内容非常乐观，它能带来多少好处。而焦虑主要来自于失去控制，因为时间线已经变得如此之短。所以如果你能确保 AGI 获得相当于临床试验的效果，那么人们就会重新关注所有好东西。

您能否尽您所能预测一下新政府是否会对此产生影响？

我认为这取决于唐纳德·特朗普会在多大程度上听取伊隆·马斯克的意见。一方面，有很多人非常反对监管，他们试图说服特朗普废除拜登的行政命令，尽管这招很无力。另一方面，伊隆十多年来一直支持人工智能监管，并再次支持加州监管SB 10 47。这一切实际上都归结为化学反应和相对影响力。

我认为，这个问题是特朗普政府最重要的问题，因为我认为 AGI 很可能会在特朗普政府任期内真正实现。因此，在本届政府任期内，这一切都将得到决定：我们是否会跌入悬崖，或者 AI 是否会成为有史以来最好的事物。

坦率地说，如果我们失去了对 AGI 的控制，其他一切都不重要了。签署的灭绝信中，人们在谈论人类灭绝时并不是在开玩笑。他们对此非常认真。我对所有其他政治都有自己的看法，你当然也有，但我们可以把这些都抛在一边。如果我们灭绝了，那么特朗普和卡玛拉·哈里斯分歧的其他政治问题就都不重要了。或者即使我们没有灭绝，但我们已经失去了对一些新的自我改进机器人物种的控制。

当然，每个人都在试图说服特朗普朝这个方向或那个方向发展。但如果特朗普最终推动人工智能安全标准，我认为埃隆的影响力可能是关键原因。

“我称之为数字神经科学”

就最近发展而言，还有哪些事情对您的工作有影响？

我仍然身兼两职。我的日常工作就是在麻省理工学院担任书呆子，为我的团队进行多年的人工智能研究。但我们非常关注与人工智能控制和信任相关的技术问题。笔记本电脑上的软件大部分是由 [人类] 编写的，所以我们知道它是如何工作的。对于大型语言模型，我们已经习惯了这样一个事实：我们不知道它们是如何工作的。当然，OpenAI 中也没有人知道它们是如何工作的。

但实际上有一些非常令人鼓舞的消息，我们开始更多地了解它们的工作原理。我称之为数字神经科学，就像你可以把你的大脑拿出来做各种聪明的事情，并试图弄清楚它是如何工作的。我们仍然不了解你的大脑是如何工作的，但有些方面我们现在几乎完全了解了，比如你的视觉系统。

人工神经科学的发展速度要快得多。大约一年半前，我在麻省理工学院组织了迄今为止规模最大的一次人工智能会议。从那时起，该领域便开始蓬勃发展。人工神经科学之所以发展速度比普通神经科学快得多，是因为普通神经科学有上千亿个神经元，很难一次测量超过一千个神经元。而且人工神经科学存在噪声，在将电极插入人们的大脑之前，必须先向IRB申请伦理审批。

而当它是一种数字智能时，你可以随时测量每一个神经元，你可以测量突触，而且没有道德委员会。这是科学家理解系统的梦想，而且进展非常快。所以现在我们正在绘制所有不同概念在人工智能中的存储方式，并开始弄清楚它是如何完成某些有趣的任务的。

评估一下你应该在多大程度上信任人工智能是有用的。它还可以用来评估人工智能实际上知道和思考什么。例如，我们写了一篇论文，其中我们能够构建一个测谎仪：我们可以看到人工智能认为什么是真什么是假，然后我们可以将其与它声称的真什么是假进行比较，看看它是在撒谎还是在说实话。所以这些都是小步骤，但这里有一个不断壮大的社区，正在以非常非常快的速度取得进展。我们不应该如此悲观，认为我们将永远对这些东西的工作原理一无所知。

如果我们真的了解它们，那么它们是否比现在更容易控制呢？

这取决于你想控制什么，但如果你的安全标准规定你必须证明它永远不会教恐怖分子如何制造生物武器，那么一个简单的方法就是确定它是否了解生物学。如果知道，你就删除它，直到你有一个模型，它完全熟悉莎士比亚、飞机和其他一切，但它对生物学一无所知，所以它不可能帮助制造生物武器。

在某些情况下，了解生物学可能是一件很棒的事情。

当然，但也许这些技术需要更长的时间才能获得 FDA 许可。但您可以明白我的意思，也许您可以确定生物学方面没有问题，但有些方面您不想知道。我的意思是，这就是您在组织中的做法。如果您是 CIA 的负责人，并且您确实想保护某些知识，那么您不会将其放在每个员工的头脑中。保证某人不会泄露信息的最好方法是让他们不知道。同样，没有理由要求每个 LLM 都必须知道一切。如果您拥有的机器只知道您允许每个人都知道并通用的东西，那就安全得多。

然后，如果你要向 Dana-Farber 出售某种产品用于癌症研究或其他用途，也许他们可以找到一位更了解生物学的人。但你可能不需要它来做你的工作，对吧？我的工作肯定不需要它。

“我们必须停止纵容人工智能行业”

你打算写更多公开信吗？还有其他你想引发讨论的事情吗？

我认为我们真正迫切需要的是人工智能的国家安全标准。我们必须停止纵容人工智能行业，像对待其他所有行业一样对待它们。如果有人说我们应该关闭 FDA，并且生物技术公司不需要制定安全标准，那就太荒谬了。人工智能是一种奇怪的行业。出于某种原因，他们可以为所欲为，但它是新生事物。一旦我们得到这个标准，其余的事情就会水到渠成。因为那时人们就会开始创新以满足这些标准。

我们看到，在某些情况下，欧盟甚至对美国科技公司也产生了重大影响。

我认为欧盟法案相当薄弱，但它绝对是朝着正确方向迈出的一大步。目前，关于如何在实践中实施所有这些措施，正在进行大量技术工作，如果美国等其他司法管辖区愿意，它们可以很容易地复制这些措施。

我还认为，这很酷，它只是虚张声势，让一些公司虚张声势，如果这项法案通过，它们将离开欧盟。这些公司仍然在这里，所以当他们现在说，“哦，如果美国制定一些标准，我们将不得不离开美国”时，美国立法者会知道这是虚张声势，我不能责怪这些公司这样做，因为烟草公司也做过同样的事情。而且这些公司总是本能地试图抵制监管。但我能想到的过去每一项成功的法规或安全标准总是遭到天塌下来的指控。

尽管有很多人工智能业内人士表示希望立法发挥作用。

我不想特别评判任何人，但我确实觉得有些可笑，有些人说：“哦，请监管我们。”然后当有人提议制定像欧盟法案或 SB 10 47 这样的监管时，他们却说：“哦，但不是那样的。”所以，是的，我认为这些决定需要民主地做出。听听公司的意见，但在做出决定时他们不应该参与其中。

https://www.fastcompany.com/91228731/max-tegmark-future-of-life-interview