美国科学家John Hopfield因“为利用人工神经网络进行机器学习做出的基础性发现和发明”与英国裔加拿大科学家Geoffrey E. Hinton共同获得2024年诺贝尔物理学奖。图源：https://election.princeton.edu/articles/john-hopfield-wins-nobel-prize-in-physics/
导读：
尼克 | 撰文
约翰·霍普菲尔德（John Hopfield）生于1933年，他的父母均来自波兰，后来在美国接受教育均成为有成就的物理学家。他的父亲原姓切米诺夫斯基（Chmielewski），移民美国后改为Hopfield。小霍普菲尔德1954年在费城郊区的顶级文理学院斯沃茨莫尔（Swarthmore）得到本科学位，1958年在康奈尔大学获物理学博士，之后的20年大部分时间都在贝尔实验室和普林斯顿大学工作。他在1970年之前已经是最杰出的凝聚态物理学家之一，1969年获得美国物理学会颁发的巴克利奖（Oliver E. Buckley Prize），这是凝聚态物理的最高奖之一，华人学者崔琦、张首晟、文小刚、薛其坤等都得过此奖。他1973年入选美国科学院，年方40。
2024年诺贝尔物理学奖揭晓后，许多人感到震惊，“物理学不存在了”。实际上，机器学习的理论基础与物理关系密切。
1970年代之后，霍普菲尔德和他的偏向生物学的学生特里·谢诺夫斯基（Terry Sejnowski）开始利用物理学工具探索分子生物学中的理论问题。他受邀参加波士顿神经科学研究计划（NRP）的一个会议时，意识到他的研究也可以应用于大脑结构，便开始思考简单神经网络的动力学。当大量神经元集体行动时，会有涌现的特征，但这些特征在把网络当作单独组件看待时并不明显。1980年，霍普菲尔德离开普林斯顿大学，前往位于南加州的加州理工学院担任生物物理教授。那里有大物理学家费曼和集成电路大佬米德（Carver Mead），他们很快成为合作者。
费曼在1980年代初受奇才弗雷德金（Edward Fredkin）的启发，开始研究计算理论和理论物理的关系，特别是量子计算。费曼认为学习一个新领域最好的办法就是开个课，他遂于1983年至1985年间，在加州理工学院开了一门“计算机的潜力和限度”的独特课程。在这门课上，费曼自己讲了“计算理论”“可逆计算”“量子计算机”和“计算的物理问题”等题目。他还请了霍普菲尔德和米德等助阵，分别讲述计算与生物物理，以及计算与电路实现的关系。偶尔到南加州开会的明斯基也会被拉来客串。这门课录了音，后来由听过课的两位英国博士后整理成文字出版，书名《费曼计算机科学讲义》（Feynman Lectures on Computation），书中包罗了费曼的讲课内容。可惜费曼没等到书面世就病逝了。在1980年代研究计算和物理的关系还不是显学，即使今天很多做量子计算的其实也还不太懂计算理论的精髓。这本书目前没有《费曼物理学讲义》那么有名，但我相信在不远的将来它会成为一部被广泛阅读的重要文献。费曼课堂中外援助阵的那部分材料一直没机会被系统化地整理，其中包括霍普菲尔德讲的“计算与神经系统”，这些讲义吸引了广泛注意，费曼和米德都支持霍普菲尔德在加州理工学院创立“计算与神经系统”的交叉学科博士计划（PhD Program in Computation and Neural Systems），这个计划成为神经网络研究的重要基地。
1969年明斯基和佩珀特在《感知机》一书中数学地证明单层神经网络无法解决一些简单的逻辑问题，例如，异或（XOR），这个结果导致神经网络整个领域的集体衰退。
1980年代，神经网络复兴，主要归功于霍普菲尔德。
1982年，霍普菲尔德提出了一种新的神经网络，可以解决一大类联想存储（associative memory）和模式识别问题，这篇文章发表在《美国科学院院刊》上，题目即使今天看来仍然应景：“具有涌现集体计算能力的神经网络和物理系统”（Neural Networks and Physical Systems with Emergent Collective Computational Abilities）。这种神经网络模型后来被称为霍普菲尔德网络。这是一种非线性网络，整个网络可以用一个能量函数刻画，但霍普菲尔德证明它是收敛的，即当整个网络达到“吸引子”时，能量方程达到局部最小化。霍普菲尔德网络的一种应用是按照内容寻址的记忆（content-addressable memory），工程师们很快找到在图像识别中的应用，而神经生物学家则提出人的海马体很像霍普菲尔德网络中的吸引子的证据。最小化的值就是记忆的内容。
费曼及霍普菲尔德和米德都认为计算和物理之间的关系是最重大的研究课题，神经网络是这个大课题下面的子学科。当时，神经网络研究很难申请到经费，成建制的研究在加州理工和斯坦福大学分别被米德和威德洛（Bernard Widrow）以集成电路的名义继续进行。1984年，霍普菲尔德用模拟集成电路实现了自己提出的模型。
1985年，霍普菲尔德和当时在贝尔实验室的长期合作者、生物物理学家唐克（David Tank）共同提出霍普菲尔德网络的连续版本，即神经元可以在0和1之间取连续值。连续霍普菲尔德网络被证明可以很低的成本近似地解决了旅行商问题（Traveling Sales Problem）。旅行商问题是被证明为NP完全的优化问题，一般认为这类问题不存在高效算法。霍普菲尔德和唐克的办法不旨在求出最优解，而是力图在很短的时间内找到高质量的近似解。这个方法激起了很多计算机科学家用霍普菲尔德网络求解各种很难解的优化问题的近似解的兴趣；同时又启发了物理学家探索特定的物理现象和计算结果的关系。
霍普菲尔德模型在不同领域的应用潜力振奋了当时萧条的神经网络共同体。神经网络的这次复兴和生物学没啥直接关系，它既不是来自生物学的启发，也没有给生物学送去任何慰藉。因为它来源于物理学家，倒引起了物理学家们更多的关注。尤其一批对复杂系统感兴趣的物理学家，他们在自己的主场物理系一度不被待见，这次总算找到了新的焦点，在交叉学科杂志Physica D上接二连三地发文章，好不热闹。霍普菲尔德网络和很多物理概念有密切的关系，如统计物理中的“伊辛模型”（Ising model）。长期被打压的神经网络研究者格罗斯伯格（Stephen Grossberg）指出，自己1981年提出的Cohen-Grossberg模型要比1982年提出的霍普菲尔德网络更早且更通用，他很失望即使在神经网络研究度过难关之后，人们也没有买账。从影响力看，霍普菲尔德模型在很短的时间内被很多人接受，不仅仅是人工智能学者看到新的应用，更多还是依仗物理学家为神经网络找到了理论和实验的基础。
1980年代，在加州大学圣地亚哥分校由认知心理学家卢默尔哈特（David Rumelhart）和麦克利兰德（James McClelland）领导的PDP小组，团结了当时被主流人工智能排斥的一大票神经网络研究者。其中就有和霍普菲尔德同时得到2024年诺贝尔物理奖的计算机科学家辛顿（Hinton）。他们很快认霍普菲尔德为同道。
霍普菲尔德培养了一批后起之秀，包括现在生物学重镇Salk研究所担任计算神经生物学实验室主任的谢诺夫斯基。值得指出的是，谢诺夫斯基是辛顿的长期合作者，他们在1986年提出“玻尔兹曼机”，谢诺夫斯基称之为改进版的霍普菲尔德网路。他们利用玻尔兹曼机在模式识别上取得惊人的进展。辛顿后来回忆他的学术生涯时说：玻尔兹曼机是他除了深度学习之外第二重要的贡献，但是现在看起来当时他和谢诺夫斯基在上面花的时间太多了。1997年，已到退休年龄的霍普菲尔德又回到普林斯顿大学担任分子生物学教授，为与他长期合作的唐克（Tank）新建立的神经科学研究所站台。
霍普菲尔德
1980至1990年代，霍普菲尔德据传被多次提名诺贝尔物理奖。他的工作，一方面，推动了物理学的多个分支；另一方面，其本身就具备交叉学科的特性，带动了不同学科的互动和学科从业者之间的交流，使得他在物理学、生物学、神经科学和计算机科学都得到广泛的尊重，尤其得到长期被压抑的神经网络研究者的欢迎。
2024年的诺贝尔物理奖和化学奖将是里程碑式的，它们打通了人工智能和科学。近来人工智能从业者有个说法：AI4Science，即把科学当作人工智能的客户，这多少还有点自卖自夸之嫌。但2024年的诺奖盖章证实了这一点，其中化学奖名副其实是AI4Science：DeepMind的AhphaFold为化学和生物学提供了高效的工具；而物理奖算是Science4AI，霍普菲尔德网络在人工智能低潮期为神经网络研究提供了物理学的基础。人工智能在能力进一步大幅提升之前，在可预见的将来，会是科学的同道。我一点也不惊奇，某一天数学的菲尔茨奖会发给人工智能相关的研究。发明人工智能工具的人，和使用人工智能工具的人从未如此接近。
现在，仍然有人在不同领域试探各种改进的霍普菲尔德网络，其中包括大语言模型。关于人工智能对未来的影响，霍普菲尔德获奖后接受诺贝尔奖官方网站的采访时说，他同意辛顿对人工智能对人类潜在危害的担忧：你无法控制一个你无法理解但同时又进步神速的东西。
本文写作得到洪涛、马少平和赵伟等师友的鼓励和帮助，特此致谢。
星标《赛先生》公众号，
不要错过我们每日为您精心准备的高质量文章！
欢迎关注我们，投稿、授权等请联系
saixiansheng@zhishifenzi.com
合作请添加微信SxsLive2022
