2024 年 10 月 8 日北京时间 17 时 45 分许，约翰·J.霍普菲尔德 (John J. Hopfield) 和杰弗里·E.欣顿（Geoffrey E. Hinton）因通过神经网络研究对现代机器学习作出的奠基性贡献，获得 2024 年诺贝尔物理学奖。
约翰·J.霍普菲尔德是美国物理学家、神经科学家，普林斯顿大学教授。霍普菲尔德 1933 年出生于美国伊利诺伊州，1958 年获得康奈尔大学博士学位。他在 1982 年发明了著名的霍普菲尔德神经网络（Hopfield neural network），这是第一个能够储存多种模式，并具备记忆功能的神经网络模型，是神经网络发展早期的一座重要的里程碑。霍普菲尔德神经网络的诞生为递归神经网络的发展铺平了道路，其提出的能量最小化原理，对于解决优化问题产生了深远影响。
物理学家约翰·霍普菲尔德（John hopfield）于 1982 年发现的联想记忆模型，通过搜索相似词来找到正确词汇。想象一下，你试图回忆一个相当不寻常且很少使用的词，比如用于描述电影院或者无障碍通道中那种倾斜地面的词汇。你在脑海中搜寻：它有点像斜面（ramp）……或许是滑坡（radial）？不，不是。对了，是斜坡（Rake）！
霍普菲尔德神经网络能够存储模式，并且可以重现这些模式。当网络接收到一个不完整或稍有失真的模式时，该方法能够找到与之最相近的已存储模式。
霍普菲尔德运用其在物理学领域的背景，探究了分子生物学中的理论问题。有一次，他受邀参加一场关于神经科学的会议，接触到了有关大脑结构的研究。会议内容令他着迷，并让他开始思考简单神经网络的动力学特性。当神经元共同作用时，它们能产生新的、强大的特性，如果你只关注网络中的每一个独立神经元，是很难察觉这些特性的。
1980 年，霍普菲尔德离开了彼时就职的普林斯顿大学，他的研究兴趣已超越了物理学同僚们的研究领域。他接受了在南加州帕萨迪纳的加州理工学院（Caltech）化学与生物学教授职位。在那里，他得以利用学校的计算机资源进行免费实验，并发展他对神经网络的构想。
然而，他并未放弃自己的物理学基础，还从中汲取了灵感，理解了由众多协同工作的小组件构成的系统如何产生新的有趣现象。他尤其受益于具有特殊特性的磁性材料，这些特性源于其原子自旋——一种使每个原子成为微小磁体的性质。相邻原子的自旋会相互影响，这使得自旋方向一致的区域得以形成。他利用描述自旋相互影响时材料特性如何变化的物理学原理，构建了一个包含节点和连接的模式网络。
网络用“地形”保存图像
霍普菲尔德构建的神经网络中，节点与节点之间连接的强度是不同的。每个节点可以存储一个单独的值——在霍普菲尔德的早期工作中，这个值可以是 0 或 1，就像黑白照片中的像素一样。
霍普菲尔德用物理学中的自旋能量来描述这个网络的整体状态。能量是通过一个公式计算的，该公式利用了所有节点的值和它们之间所有连接的强度。霍普菲尔德神经网络通过将图像输入到节点中进行编程，节点被赋予黑色（0）或白色（1）的值。然后，能量公式会调整网络的连接，使得存储的图像能量更低。当另一个模式输入到网络中时，程序会依照特定规则遍历每个节点，看看如果改变该节点的值，网络的能量是否会降低。如果发现将黑色像素变为白色会降低能量，则改变其颜色。这个过程会持续进行，直到能量再也无法降低。当实现这一点时，网络通常已经能重现训练时所用的原始图像。
如果你只存储一种模式，这可能看起来并不那么惊人。你可能会想，为什么不直接保存图像本身，然后与要测试的另一幅图像进行比较呢？但霍普菲尔德的方法之所以特别，是因为它可以同时存储多幅图像，并且经常能通过网络区分它们。
霍普菲尔德将在网络中搜索特定保存状态的过程比作“一个小球在山丘和山谷之间滚来滚去”，滚动的球因摩擦而减慢。如果球从一个特定位置被放下，它将滚入最近的谷底并停在那里。如果给网络输入的模式接近某个已经被存储的模式，它将以同样的方式继续前进，直到到达能量景观中某个谷底，从而找到记忆中最接近的模式。
霍普菲尔德等人继续深入研究了霍普菲尔德神经网络功能的细节，包括可以存储任何值的节点，而不仅仅是0或1。如果你将节点视为图片中的像素，它们可以有不同的颜色，而不仅仅是黑色或白色。改进后的方法使得存储更多图片并区分它们成为可能，即使这些图片非常相似。只要信息是由许多数据点构建的，识别或重构任何信息都是可能的。
来源：康奈尔中国校友会
