2024年诺贝尔物理学奖得主辛顿:从学术困境到AI传奇

学术   2024-10-18 09:31   日本  

瑞典皇家科学院当地时间10月8日宣布,将2024年诺贝尔物理学奖授予约翰·J·霍普菲尔德(John J. Hopfield)和杰弗里·E·辛顿(Geoffrey E. Hinton),表彰他们在使用人工神经网络进行机器学习的基础性发现和发明。

1947年,辛顿出生在英国伦敦。20世纪70年代初,辛顿在英国爱丁堡大学读研究生时开始研究神经网络。《纽约时报》指出,当时几乎没有多少研究人员相信这个想法。

1978年,辛顿获得爱丁堡大学博士学位,如今他在加拿大多伦多大学担任教授。

2019年,辛顿与蒙特利尔大学计算机科学教授约舒亚·本希奥以及纽约大学教授杨立昆一起获得了被称为“计算机界的诺贝尔奖”——图灵奖,以表彰他们在人工智能深度学习方面的工作。

这三位科学家被并称为“深度学习三巨头”,辛顿也被外界称为当代人工智能的“教父”。

《连线》杂志和《纽约时报》的知名记者凯德·梅茨在《深度学习革命》一书中,回顾了深度学习革命及其背后的企业家、科学家如何穿越人工智能的寒冬,将深度学习带给全世界。杰弗里·辛顿无疑是其中最重要的人物之一。

《深度学习革命》
点击图片,即可下单

他因腰椎间盘问题多年未坐下,在多伦多大学用站立式办公桌。2012 年,他和学生打造的神经网络取得突破,改变了机器看待世界的方式。随后他在学生游说下创立 DNNresearch 公司,中国公司出价收购,引发百度、谷歌等 4 家公司竞拍。

竞拍在太浩湖的哈拉斯赌场酒店进行,最终谷歌以 4400 万美元收购。辛顿选择谷歌是为研究找到合适归宿。他的故事反映了神经网络技术的发展历程以及在科技行业引发的 “全球军备竞赛”。

以下就是《深度学习革命》一书中的精彩故事。

当杰弗里·辛顿在多伦多市区登上开往太浩湖的公共汽车时,他已经有7年时间没有坐下来过了。

他经常说:“我上一次坐下来是在2005年,那是一个错误。”十几岁时,他在给母亲搬取暖器的时候第一次受了伤。到了50多岁,他如果要坐下来,就要冒着腰椎间盘滑脱的风险,而一旦腰椎间盘滑脱了,疼痛会使他卧床数周。

所以,他不再坐下。

他在多伦多大学的办公室里用的是一张站立式办公桌。吃饭的时候,他就跪在桌旁的一个小泡沫垫板上,泰然自若,像一位祭坛旁的僧人。乘坐汽车的时候,他会躺在后座上。如果是长途旅行,他就乘火车。

他不能乘飞机,至少不能搭乘商业航空公司的飞机,因为这些飞机在起飞和降落时要求乘客保持坐姿。他说:“我每天都很煎熬,情况发展到了可能会瘫痪的地步,所以我很认真地对待这件事。”

那年秋天,他躺在公共汽车的后座上奔赴纽约,再乘火车一路前往位于加利福尼亚州特拉基的内华达山脉顶峰,然后在出租车的后座上伸直双腿,30分钟后,他抵达了太浩湖。之后,他创立了一家新公司。

公司的创始人还包括另外两个人,他们是在他大学实验室里做研究的年轻研究生。这家公司不生产任何产品,也没有生产产品的计划。公司的网站上只提供了一个名字——DNNresearch,这个名字比这个网站还缺乏吸引力。

当时64岁的辛顿在学术界看来很自在,他留着一头乱蓬蓬的白发,穿着羊毛衫,有幽默感,在这两名学生的游说之下,他才决定创立这家公司。

但当他抵达太浩湖时,中国最大的科技公司之一已经出价1200万美元,要收购他刚刚起步的公司,另外三家公司也很快加入竞拍,其中包括两家美国最大的科技公司。

辛顿去了哈拉斯和哈维斯,这两家高耸的赌场酒店位于太浩湖南边的滑雪山脚下。

2012年12月,那里举办了一场名为NIPS的计算机科学家年度聚会。NIPS的全称是“神经信息处理系统”,尽管从名称上看是要深入研究计算机的未来,但NIPS其实是一个专注于人工智能的会议。

但这次不同。虽然那家中国公司已经锁定了对DNNresearch的兴趣,但他知道其他人也感兴趣,NIPS似乎是一个理想的拍卖场所。

两个月之前,辛顿和他的学生改变了机器看待世界的方式。他们已经打造了所谓的“神经网络”,即一个模仿大脑神经元网络的数学系统,它能够以前所未有的准确度识别常见的物体,比如花朵、小狗和汽车。

辛顿和他的学生展示出,神经网络可以通过分析大量的数据来学习这种非常人性化的技能。他称之为“深度学习”,其潜力巨大。这项技术不仅会改变计算机视觉,还会改变一切,从可对话式数字助理到自动驾驶汽车,再到新药研发。

神经网络的概念可以追溯到20世纪50年代,但是早期的开拓者从未让这项技术像他们希望的那样工作。

到了21世纪,大多数研究人员都放弃了这项技术,认为这是一条技术上的死胡同,并对研究人员在过去50年间试图让数学系统以某种方式模仿人类大脑的自负探索感到困惑。

当那些仍然在探索这项技术的研究员向学术期刊提交论文时,他们通常会将研究伪装成其他东西,用不太会冒犯其他科学家同行的语言来代替神经网络这个词。但是,仍然有少数人相信这项技术终有兑现预期的那一天,辛顿就是其中之一。

他设计的机器不仅能识别物体,还能识别口语词汇、理解自然语言并进行对话,甚至可能解决人类自己无法解决的问题,为探索生物学、医学、地质学和其他科学的奥秘提供了创新的、更精确的方法。

在自己的科研成果发表后不久,辛顿收到了一封电子邮件,来自一位名叫余凯的人工智能研究员,他当时在中国科技巨头百度公司工作。

表面上看,辛顿和余凯没有什么共同之处。

辛顿出生于战后英国的一个著名的科学家家庭,这一家人的影响力与自身的怪癖相得益彰。辛顿曾在剑桥大学学习,在爱丁堡大学获得人工智能博士学位,并在接下来的30年里担任计算机科学教授。

余凯出生的时间比辛顿晚30年,他在中国长大,父亲是一名汽车工程师,余凯先后在中国南京和德国慕尼黑读书,然后去了美国硅谷的一家企业研究实验室工作。

这两个人的阶级、年龄、文化、语言和地域各不相同,但他们拥有一个共同的兴趣:神经网络。他们最早是在加拿大的一场学术研讨会上认识的,旨在重振这个在科学界几乎处于休眠状态的研究领域,并将这一想法重新命名为“深度学习”。

余凯是参与传播这一信仰的人之一。回到中国之后,他把这个想法带到了百度,在那里,他的研究引起了公司首席执行官的注意。当辛顿这篇长达9页的论文在多伦多大学发表时,余凯告诉百度的智囊团,他们应该尽快招募辛顿。

在邮件中,他将辛顿介绍给了百度的一位副总裁,这位副总裁为辛顿短短几年的工作成果报价1200万美元。

起初,辛顿在北京的这家“追求者”认为双方已经达成了协议,但辛顿并不是那么确定。最近几个月,与他建立联系的还有其他几家公司,规模有大有小,其中包括百度的两个美国大型竞争对手。

这些公司也打电话到辛顿在多伦多大学的办公室,询问需要支付多大的代价才能招募他及他的学生。看到了更多的机会之后,他问百度,在接受其1200万美元的报价之前,他是否可以寻求其他的报价,百度同意了。

于是,他彻底扭转了形势。在学生的启发下,他意识到百度及其竞争对手更有可能花巨资收购一家公司,而不是花同样的钱从学术界招募几名新员工。

于是他创立了一家自己的小公司,命名为DNNresearch,以呼应他们专注研究的“深度神经网络”(Deep Neural Networks)。

他还咨询了多伦多的一名律师,关于如何让一家仅有三名员工、没有产品、几乎没有经营记录的初创公司的价格最大化。

在这位律师看来,他有两个选择:一是可以聘请一名专业的谈判代表,但这样做存在一定的风险,可能会激怒那些预期的潜在收购方;二是可以组织一场拍卖活动。辛顿选择了拍卖

最终,4家公司加入了对他的新公司的竞拍:百度、谷歌、微软和DeepMind。当时,DeepMind是一家成立仅两年的世界上大多数人从未听说过的初创公司,它即将成为这个时代最著名且最有影响力的人工智能实验室。

辛顿在哈拉斯赌场酒店的房间里进行拍卖,这里可以俯瞰内华达州的松树和白雪皑皑的山峰。

拍卖规则很简单:每次拍卖开始之后,这4家公司有一个小时的时间将报价提高至少100万美元。这一个小时的倒计时以最新报价的电子邮件时间戳为准,一个小时之后,如果没有新的报价出现,当天的拍卖就结束。

DeepMind用公司股份报价,而不用现金,但它无法与科技领域的巨头们竞争,很快就退出了。百度、谷歌和微软留了下来。随着报价不断攀升,先是1500万美元,然后是2000万美元,微软也退出了,但后来又重新回来。

报价到2200万美元时,辛顿暂停了拍卖,他与其中一名竞拍者进行了讨论,半个小时之后,微软再次退出。现在,就剩下百度和谷歌了,随着时间的推移,两家公司的报价更高了。

最初是由余凯为百度报价,但当价格达到2400万美元时,一名百度的高管从北京接手了。

他们很快就意识到百度愿意出更高的价格:2500万美元、3000万美元、3500万美元。不可避免的是,下一次报价要到一个小时倒计时终止前的一两分钟才会出现,这使得原本接近尾声的拍卖再次被拉长。

价格攀升到如此之高,辛顿于是把报价的窗口时间从一个小时缩短到30分钟。报价迅速攀升至4000万美元、4100万美元、4200万美元、4300万美元。

最终,辛顿终止了拍卖,因为对他来说,为自己的研究找到合适的归宿比最终获得最高的价格更重要。当他告诉谷歌的报价者他接受4400万美元的价格时,他们认为这是在开玩笑,因为他们觉得他不可能放弃仍然在不断攀升的报价。

但是,辛顿没有意识到他们的想法有多大的价值。没人知道。在这4家公司里散布着一小批科学家,辛顿及其学生们与他们一起,很快就将这个单一的想法推向了科技行业的中心。

在此过程中,他们突然戏剧性地加速了人工智能的进步,包括可对话式数字助理、自动驾驶汽车、机器人、自动化医疗健康,以及自动化战争和监控(尽管这二者从来不是他们的目的)。

《深度学习革命》
点击图片,即可下单


-End-


PoIiticaI理论志
搜索“理论志”,发现新学术:十余万社会学人、政治学人、国政学人、政经学人共同关注的学术平台。目前,我们主力追踪全球政治社会、国家理论与政经研究新动态。
 最新文章