2024诺贝尔物理学奖获得者Geoffrey Hinton：我很担心未来人类能否控制AI｜中企荐读

编译｜董斌

Geoffrey Hinton（杰弗里·辛顿）被誉为“人工智能之父”，是人工神经网络和深度学习领域的先驱，他的研究不仅跨越了人工智能、机器学习，还深入物理学、认知心理学等多个领域。日前，Geoffrey Hinton荣获2024年诺贝尔物理学奖，在获奖的当日，他接受了多伦多大学的访谈。

在访谈中，Hinton教授回顾了人工智能研究初期的坚持，强调了好奇心驱动基础研究的重要性。对于人工智能的未来，Hinton教授既充满期待也心存忧虑，他担忧人工智能超越人类后可能带来的风险，并呼吁加强对AI安全性的研究。

主持人：非常荣幸地向大家介绍，这位是我们多伦多大学的名誉教授，2024年诺贝尔物理学奖的桂冠得主——Geoffrey Hinton教授。Hinton教授，欢迎您的到来。

Hinton：非常感谢您的邀请。我现在还有点恍惚。凌晨一点在加州接到那个电话时，我还在犹豫要不要接。我认为获得诺贝尔物理学奖不仅是对我个人的认可，更是对长期以来投身于神经网络研究的众多同事们的肯定。他们在神经网络尚未取得显著成效时，就已经默默付出很多了。

同时我还要特别感谢我的两位导师，一位是David Rummelhart，他和我一起研究了反向传播算法。另一位是我的同事Terry Sinovsky，我们共同研究了玻尔兹曼机等课题，他教会了我很多关于大脑的知识。

此外，我还要感谢我的学生们。幸运的是，我有很多比我聪明得多的学生，他们不仅实现了很多想法，还取得了卓越的成就。让我特别自豪的是，我的一位学生解雇了山姆·阿尔特曼。

主持人：当您得知获奖时，您用了“目瞪口呆”这个词来形容自己的感受。您为什么会如此惊讶？

Hinton：我完全不知道自己被提名了，而且严格意义上来说我也不是物理学家。因为我在大学第一年就放弃了物理专业。我和Terry Sinovsky在玻尔兹曼机上的一些早期研究也受到了统计物理学的启发。但最近的工作与物理的关系较小。所以获得诺贝尔物理学奖对我来说真的是非常惊讶。我很高兴诺贝尔委员会承认了人工神经网络领域的巨大进步。

主持人：当您得知自己获得诺贝尔奖时，您第一个通知了谁？

Hinton：是我远在澳大利亚的姐姐。

主持人：她当时有什么反应？

Hinton：她好像说了句“我的天哪”之类的话。

主持人：您提到今早得知获得诺贝尔奖的消息时感到非常震惊。能跟我们分享一下您今天一天的经历吗？

Hinton：我当时在加利福尼亚，凌晨一点多的时候，我刚刚入睡，电话就响了。接完电话后可能又睡了一个小时。有很多人都在试图联系我，还有很多多年未见的老朋友也发来了消息。

主持人：您在公开场合曾直言不讳地讨论过AI发展的风险和技术挑战，而现在您又获得了这一殊荣。您如何看待这两者之间的关系？

Hinton：我从未建议过要放缓AI的发展，因为我认为这在现实中是不可行的。AI在很多领域，包括医疗领域，都有着巨大的积极作用，我们能够看到它的成效。我们没有机会也没有理由去放慢AI的发展速度。

实际上，诺贝尔委员会在颁奖时也提到了我对AI安全性的讨论。我认为我们需要认真努力地去确保它的安全性。

我很担心在未来是否能够控制AI

主持人：现在的加拿大研究环境与您刚开始研究时有什么不同？实现更多研究突破面临的最大障碍是什么？

Hinton：不同之处是现在人们普遍认识到了神经网络的有效性。在加拿大有个叫做加拿大高级研究院的组织，它大力支持在加拿大具有优势的研究领域。虽然这里资金没有那么充裕，但使用得非常“明智”。特别是NSUC这个为主要研究提供资金的委员会，他们非常注重基础好奇心驱动的研究。神经网络方面的所有进展都源于这种基本的好奇心驱动的研究，而不是通过在应用问题上投入大量资金。

主持人：在人工智能还未像现在这样广受欢迎之前，您就已经致力于其基础研究了。能否分享一下当时的感受？

Hinton：这项研究非常有趣，但也有些让人沮丧。因为在当时，AI领域的大多数人都认为神经网络永远不会有大作为。他们认为这些研究只是浪费时间，认为我们永远无法使用神经网络来学会复杂的事情，比如理解自然语言。但事实证明他们的看法是错误的。

主持人：当人们谈论AI和技术领域的成就时，你的名字总是被提起。您认为对加拿大来说应如何保持其在AI领域的领先地位？

Hinton：加拿大可以继续资助以好奇心为驱动的基础研究，这对于留住顶尖研究人员至关重要。同时，在人工神经网络的时代，我们需要大量计算资源以留住大学的研究人员。政府正在采取措施，为AI研究的计算资源预留了20亿加元。我认为他们已经尽了最大努力。尽管我们比中国或美国小得多，但考虑到资源有限，加拿大的表现已经相当不错。

主持人：即使在AI研究不受欢迎的时期，您也始终坚持研究人工神经网络。对于坚持那些不受欢迎或看似徒劳的努力，您有什么建议？

Hinton：我的建议是，如果你相信某件事，就不要轻易放弃，直到你明白这个信念为什么错误。虽然有时你可能会发现自己的信念是错误的，但只要没有看到错误的原因，就继续研究你所相信的事情。不要让别人告诉你你的信念是荒谬的。

主持人：在人工智能领域，您的贡献将如何被铭记？

Hinton：我希望人工智能能够极大地提升生产力，让每个人的生活都变得更加美好。我相信它在医疗保健等领域将发挥巨大作用。但我非常担心，当人工智能变得比我们更聪明时，我们是否能真正控制它们。

主持人：您能否详细解释一下刚才提到的关于山姆·阿尔特曼的评论？

Hinton：OpenAI成立之初非常强调安全性，其主要目标是开发通用人工智能并确保其安全性。我之前的一位学生Ilya是首席科学家。但随着时间的推移，事实证明山姆·阿尔特曼对安全性远不如对利润的关注。我认为这很不幸。

主持人：您能详细谈谈对AI的担忧吗？您是否认为人工智能有可能超越人类的智慧？为什么您会这么想，这种情况会在多久的将来发生？

Hinton：我认识的大多数顶尖研究人员都认为，人工智能最终将会超越人类的智慧。对于这一时间点，大家的看法各不相同。有人认为将在未来20年内的某个时刻发生，有些人则认为会更早，当然也有人认为需要更长时间。但不可否认的是，在未来，人工智能的智慧将会超越我们。因此，或许我们需要认真思考接下来可能会发生什么。

主持人：您曾提及AI的未来充满不确定，我们需要更深入地理解它带来的机遇与风险。您是否认为政府会出手，对AI实施更严格的监管？政府又该如何更好地助力AI研究呢？

Hinton：我认为，政府可以鼓励大企业将更多资源投入AI安全研究。现在，几乎所有的资源都用于模型的改进、追求新颖性。市场上的模型性能不断提升，这当然是好事。但我们在AI安全方面的投入却远远不够，也许只占总资源的1%。或许我们需要将大约三分之一的资源投入到AI安全中，因为如果AI变得不安全，后果将不堪设想。

主持人：您和Hopefield博士都曾警告过不加控制的人工智能可能带来的危险，以及我们对它工作原理的了解还远远不够。那么我们如何才能避免灾难性的后果呢？

Hinton：目前还没有能够完全避免人工智能风险的方法。这就是为什么我们需要更多的研究来深入了解人工智能。因此，我希望优秀的年轻研究人员能够投身于人工智能安全领域的研究。政府也应该强制大型公司提供必要的计算设施来支持这一研究。

主持人：您认为学生甚至专业人士过度依赖大型语言模型会导致他们的思维能力下降，还是会使他们在更高层次上运作？

Hinton：我并不认为这会导致思维能力下降。这就像当初袖珍计算器刚出现时一样，有人担心孩子们会因此不再学数学，无法进行乘法运算。但实际上，有了袖珍计算器，你就不需要再去做那些繁琐的乘法运算了。大型语言模型也是一样，人们可能不会再去记忆那么多数据，因为你可以直接向大型语言模型提问，它会告诉你答案。AI会让人们变得更聪明，而不是更愚蠢。

主持人：对于如何防止AI未来可能带来的严重后果，您有什么建议？大家很关心在使用AI时应该如何谨慎。

Hinton：我认为，单靠个人谨慎使用是远远不够的。开发AI的人需要谨慎对待开发过程，而且需要在大型企业中进行研究，这些企业有足够的资源，我不相信个人使用方式能产生多大影响。

主持人：您说过很难预测可能出问题的具体情况，但如果不得不猜测一下，您认为哪些领域会出现问题？

Hinton：AI带来的风险是多样化的，每个风险都需要不同的解决方案。比如来自网络攻击等方面的危险就非常直接。去年网络钓鱼攻击的数量增加了1200%。由于大型语言模型的普及，网络上“钓鱼攻击”变得更容易，拼写和语法错误已经不再是识别这些攻击的明显标志。

主持人：AI何时会超越人类能力？届时会发生什么？

Hinton：目前，没人知道具体的时间，但大多数优秀的研究者认为这将会发生。我认为AI超越人类可能会在5到20年之间发生。但不知道到时具体会发生什么。如果你环顾四周，很少看到更智能的事物被不太智能的事物控制的例子。这让人担心，当AI变得比我们更聪明时，它是否会接管控制权？

主持人：您觉得人工智能领域的下一个前沿领域会是什么？

Hinton：我已经76岁了，可能不会再亲自投身太多前沿研究。我会把时间花在倡导人们重视安全工作上。我觉得机器人领域的前沿研究就特别吸引人，它能让AI在操作物体上变得更加熟练。目前，我们在这方面比计算机或神经网络要强得多，但未来肯定还会有很多进步。不过这需要时间。

大型语言模型在推理方面会越来越厉害。像OpenAI的最新模型和Google的Gemini模型，它们的推理能力正在迅速提升。

主持人：您刚刚提到了人工智能可能带来的问题，比如网络攻击、虚假视频等。您能不能分享一些更具体的例子，来说明您认为人工智能能起到哪些积极作用？

Hinton：当然可以。以医疗领域为例，安大略省的预算中有很大一部分都用于医疗，而人工智能已经在这个领域发挥作用了。我在2016年就曾预测，到现在为止，人工智能应该已经能够阅读所有放射科医生会看的扫描图像了。但那个预测有点过于乐观，也许真正能够看懂扫描图像还需要5年时间。但我们正在朝那个方向前进。人工智能在诊断方面会更加准确。

目前，医生在处理难以诊断的病例时，准确率只有40%。而AI的准确率能达到50%，如果医生和AI结合起来，准确率也许就能提高到60%或更高，这是很大的进步。

未来，你甚至可能拥有一个AI家庭医生，它已经看过一亿名患者，拥有丰富的知识，并且在处理你的任何疾病时都会更加出色。

主持人：在今天的新闻发布会上，我们有没有遗漏您想提到的任何事情，或者在各种问题中可能忽略的内容？

Hinton：我想强调下好奇心驱动的基础研究的重要性。人工神经网络的基础工作几乎都是由大学研究人员完成的，他们几乎都是在追随自己的好奇心。资助好奇心研究非常重要，它不像其他类型的研究那么昂贵，但它为后来那些非常昂贵且涉及大量技术的事物奠定了基础。

主持人：为什么我们还没有看到您预测的人工智能在医疗保健中发挥的更大作用？是否还有什么障碍阻止了这种情况的发生？

Hinton：一个障碍是医学行业非常保守，这是有充分理由的。因为如果犯错误就会导致人死亡，那么采取保守策略是明智的。因此，他们相对较慢地采用新技术。

另一个原因是我对AI系统在阅读扫描图像方面超过放射科医生的速度判断有误。在很多不同类型的扫描中，AI系统已经可以与放射科医生相媲美了，并且在某些方面甚至更胜一筹。我认为再过几年，它们肯定会比放射科医生更出色。我们将看到放射科医生与AI系统之间的合作，其中AI系统负责阅读扫描图像，而放射科医生则检查其是否犯错。过一段时间后，也许AI系统将承担全部工作。