这个概念对至少三个重要学科产生了巨大的影响：统计物理、计算机科学与人工智能，以及神经科学。
作者 | 王启隆
10 月 8 日，瑞典皇家科学院在瑞典首都斯德哥尔摩揭晓了今年（2024）的诺贝尔物理学奖，获奖者为美国普林斯顿大学 John J. Hopfield 和加拿大多伦多大学 Geoffrey E. Hinton，以表彰他们“基于人工神经网络实现机器学习的基础性发现和发明”。两位科学家使用物理学方法训练人工神经网络。今年的获奖者从 1980 年代开始就在人工神经网络方面开展了重要的工作。
对于关注 AI 领域的朋友来说，Geoffrey Hinton 的名字并不陌生。人称”人工智能教父“和“深度学习教父”的他是加拿大认知心理学家和计算机科学家，1947 出生，现年 77 岁，有两任妻子，两个孩子。早在 2018 年，他就已经获得了计算机领域的终极奖项「图灵奖」。
今年人工智能领域的先驱拿了物理学的诺贝尔奖，让全球的网友都因此摸不着头脑，很多中国网友还引用了《三体》的名场面调侃：“物理学不存在了！”
这次获奖的起源，是美国普林斯顿大学的科学家 John Hopfield 在 1982 年发明了“霍普菲尔德神经网络”（Hopfield neural network），而这个 Hopfield 网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfield 网络也提供了模拟人类记忆的模型。
随后，Geoffrey Hinton 在 1985 年使用 Hopfield 网络作为新网络的基础，它采用了一种不同的方法——玻尔兹曼机。它可以学习识别给定类型数据中的特征元素。Hinton 使用了统计物理学的工具，通过给机器输入在实际运行时很可能出现的例子来训练它。玻尔兹曼机可以用来对图像进行分类，或者为它所训练的模式类型创建新的例子。Hinton 在这项工作的基础上，帮助开启了当前机器学习的爆炸性发展。
你可能会觉得这段故事很熟悉：没错，这里提到的“玻尔兹曼机”，就是 Hinton 曾在今年的采访中提到的“一生中最满意的失败作品”，欢迎回顾《深度学习之父 Hinton 万字访谈录：中美 AI 竞赛没有退路可言》一文，下图便是节选自 Hinton 当时的回答。
这一次诺贝尔获奖，Hinton 是否圆了自己曾经在玻尔兹曼机上的梦呢？
此外，作为 AI 领域最具影响力的人物， Hinton 曾经培养了许多优秀的学生，其中不仅包括了 2018 年和他同获图灵奖、并称“人工智能三大教父”的 Yann LeCun，还有 OpenAI 的前首席科学家、ChatGPT 背后的功臣 Ilya Sutskever。恩师获奖，满天下的桃李都出来贺喜，直接把这两天的推特变成了 AI 界的“名人回忆录”。
教父
首先是上文提到的 Yann LeCun，他不仅是 2018 年的图灵奖得主，还是 Hinton 的博士后，现今在 Meta 公司任首席 AI 科学家，为开源模型 Llama 作出了巨大贡献。LeCun 昨天早早就发表祝贺，表示自己和获奖的两位都曾共事：
Yann LeCun：
恭喜 John 和 Geoff！
两位都是我的前同事。我曾在多伦多 Geoff 的实验室读博士后。之后，我加入了贝尔实验室（Bell Labs），John 当时在那里担任兼职科学家（也是加州理工学院的教授）。事实上，我加入的部门会研究神经网络就是因为 John。
我第一次见到他们两人是在 1985 年。1985 年初，我在莱苏什 (Les Houches) 的一个研讨会上认识了 John。1985 年 6 月，我在巴黎的 Cognitiva 会议上认识了 Geoff。
Dmitry Krotov：
鉴于今天 #诺贝尔奖2024 带来的重大新闻，我想分享一些关于 Hopfield 网络的个人想法。
这个概念对至少三个重要学科产生了巨大的影响：统计物理、计算机科学与人工智能，以及神经科学。
在统计物理学中，Hopfield 模型成为了最常研究的哈密顿量之一。围绕这一理论已经发表了成千上万篇论文，并出版了多本专著。这一理念为数百位物理学家进入神经科学和人工智能领域提供了切入点，我就是其中之一。
在计算机科学领域，Hopfield 网络是结束 AI 寒冬（1974-1981）并引领后续人工神经网络复兴的主要驱动力。Hopfield 1982 年的论文标志着现代神经网络时代的开始。
现在，汇聚了超过 15000 名顶尖 AI 研究人员的主要 AI 会议 NeurIPS 的历史可以追溯到 1984 年至 1986 年间在加州理工学院举行的“Hopfests”会议，详见 John Moody 编写的 1991 年 NeurIPS 会议录。
Hopfield 网络为受限玻尔兹曼机的发展提供了重要的灵感，而后者在深度学习的早期阶段起到了关键作用。基于能量的建模这一在人工智能领域内突出的范式，正是从 Hopfield 的能量记忆模型发展而来的。
在神经科学中，Hopfield 网络成为许多后续记忆计算模型的基础。将记忆回溯比喻为在能量景观中滚下山丘的概念，已经成为神经科学中的经典隐喻。
最后，再次祝贺两位获奖者！@JohnHopfield @GeoffreyHinton
Yann LeCun：
雇用我到贝尔实验室的 Larry Jackel 曾在 1986 年到 1996 年期间负责“雪鸟研讨会”(该研讨会又名“计算神经网络”)。
到了 1997 年，他的兴趣发生了变化。他告诉我：“我不想再经营雪鸟了。要么你来接管它，要么它就此消失。”所以我将研讨会的名称改为“会学习的机器”，并于 1997 年开始举办，最终邀请了 Yoshua Bengio 来帮忙。
到了 2000 年代后期，该研讨会已经成为日益壮大的深度学习社区的主要聚会场所。2013 年，我们将研讨会变成了一个会议，并将其命名为“国际学习表征会议”（ICLR）。
Yoshua Bengio：
@JohnHopfield 和 @GeoffreyHinton 及其合作者们，在物理与人工智能之间建立了一座美丽而富有洞察力的桥梁。他们发明的神经网络不仅受到了大脑的启发，也受到了物理学中的核心概念如能量、温度、系统动力学、能垒、随机性和噪声的作用等的启发，这些理论将局部属性（例如原子或神经元的属性）与全局属性如熵和吸引子联系起来。并且，他们超越了物理学范畴，展示了这些观念如何能够产生记忆、学习以及生成模型；这些概念至今仍是现代人工智能研究的前沿课题。
他们的思想对我产生了深远的影响，以至于我在研究生阶段选择神经网络中的学习作为自己的研究方向。他们激励我去寻找那些像物理定律一样简单的抽象原则，但同时也能解释生物智能及人工智能。我为他们也为我们的领域感到由衷的高兴。
如此看来，给神经网络颁发诺贝尔物理学奖是不是还真有些道理呢？
谈及 Yoshua Bengio，就不得不提他的弟弟 Samy Bengio 也是 AI 领域的先驱人物。这位 Bengio 弟弟和 Geoffery Hinton 当年都在谷歌大脑（Google Brain）一起工作，建立了深度学习大厦的“地基”。
回顾深度学习历史最浓墨重彩的一页，就是谷歌大脑的两位传奇人物 Jeff Dean 和吴恩达（Andrew Ng）等通过深度学习技术，成功让 16000 台电脑学习 1000 万张图片后，在 YouTube 视频中“认出”了猫。这次 Hinton 获奖，自然也唤起了吴恩达对过往光辉岁月的回忆，他表示，自己就是第一个给 Hinton 取“深度学习教父”绰号的人。
吴恩达（Andrew Ng）：
我是第一个称 Geoff Hinton 为“深度学习教父”的人，后来他被称作“人工智能教父”。很高兴看到他和 John Hopfield 一起获得人工智能诺贝尔奖。恭喜 @geoffreyhinton ！
Demis Hassabis：
热烈祝贺我的好友兼前 Google 同事 @geoffreyhinton 与 John J. Hopfield 共同获得诺贝尔物理学奖！Geoff 当之无愧，他为现代 AI 领域的深度学习革命奠定了基础。
2012 年，Hinton 和他的学生 Alex Krizhevsky 和 Ilya Sutskever 共同开发的 AlexNet 在李飞飞所创建的 ImageNet 大规模视觉识别挑战赛（ILSVRC）中取得了突破性的成绩，显著降低了图像分类错误率，被广泛认为是深度学习新时代的开端。两人的研究轨迹一直交汇着，令李飞飞在祝贺之余也连连感叹：
李飞飞（Fei-Fei Li）：
这太令人兴奋了！#AI的深远影响才刚刚开始。祝贺 @geoffreyhinton 和 John Hopfield！
不到一年前，@geoffreyhinton 还和我公开讨论过 AI 的历史及其对未来的影响。我非常荣幸并感谢 @geoffreyhinton 对我的科学工作和新书《我所看到的世界》的支持。
Ilya Sutskever：
恭喜 @geoffreyhinton 获得诺贝尔物理学奖！！
Max Tegmark：
祝贺 @geoffreyhinton 和 John Hopfield 获得 2024 年诺贝尔物理学奖！您的出色工作有助于证明智能是一个物理过程 - 最终是我们宇宙中最强大的过程。
27 岁天才创始人 Joel Hellermark 在今年为 Geoffery Hinton 做了一场相当成功的采访，成功到他自己“吹了一年”，这次也是不例外，在祝贺之余也进行了宣传：
Joel Hellermark：
恭喜 @geoffreyhinton 获得诺贝尔物理学奖！您不仅在工作上堪称楷模，而且在好奇心和善良方面也堪称楷模。
Aidan Gomez：
非常感谢 @geoffreyhinton。他是我们这个领域（人工智能）和加拿大真正的英雄。
Nick Frosst：
恭喜 @geoffreyhinton :) 我想不出还有比他更值得的科学家了
他对探索和发明的热情永远激励着我。但他的善良、幽默和指导让我受益最多。
感谢 Geoff 所做的一切！恭喜！
Russ Salakhutdinov：
衷心祝贺 Geoff Hinton @geoffreyhinton 获得诺贝尔奖！这是多么不可思议的荣誉啊！
对于能够成为您的博士生，与您一起工作并向您学习，我感到非常荣幸。
Jim Fan：
从现在开始，我将把机器人技术重新定义为 *深度物理计算*
恭喜第二位图灵奖和诺贝尔奖得主！我刚刚查了一下，第一位是 Herbert A. Simon，他曾获得了图灵奖和诺贝尔经济学奖。
机器学习 -> 统计力学
损失函数（Loss Function）-> 能量泛函
优化模型 -> 最小化自由能
训练好的模型 -> 达到平衡分布
KL 散度（KL Divergence） -> 自由能差
高斯噪声 -> 随机热涨落
随机步骤 -> 布朗运动
SGD（随机梯度下降） -> 定向布朗运动
GPU -> 模拟粒子加速器
扩散模型 -> 朗之万动力学
强化学习 -> 控制理论
机器人学 -> 物理计算
音频学习 -> 一维信号处理
图像学习 -> 二维信号处理
视频学习 -> 三维信号处理
多模态模型 -> 多维信号处理
Sora -> 学习型物理引擎
这活你能打几分？给神经网络颁发诺贝尔物理学奖究竟合不合适呢？欢迎在评论区留下你的看法。
