“AI教父”辛顿:从辍学惯犯到诺贝尔物理学奖得主

文摘   2024-10-24 18:24   北京  

点击报名嘉宾派,与500+上市公司董事长做同学

北京时间10月8日,2024年诺贝尔物理学奖揭晓,约翰·霍普菲尔德(John J. Hopfield)与杰弗里·辛顿(Geoffrey E. Hinton)因“使用物理学训练人工智能神经网络”获奖。值得注意的是,霍普菲尔德是正统的物理学家出身,但辛顿的学术经历并不包括物理学,而是聚焦人工智能领域。


辛顿的学术成就令人瞩目,他不仅证明了反向传播算法的有效性,还发明了玻尔兹曼机,并改进了卷积神经网络。这些成就构成了当今AI技术发展和应用的基石。此外,辛顿的门生遍布人工智能界,包括前OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)、Meta首席科学家杨立昆(Yann LeCun)等等,这也让辛顿因此有了“AI教父”之称。


那么,辛顿自己的成长历程中有哪些传奇故事?他又是如何与人工智能结下不解之缘?以下是嘉宾商学的解读,Enjoy~


黄仁勋是不是AI教父?当然不是,他最多是个AI军火商。

真正的AI教父,是老黄的大贵人、CUDA价值的发现者,也是Open AI灵魂人物、前首席科学家苏茨克维(Ilya Sutskever)的恩师——杰弗里·辛顿教授。

他1986年就提出机器学习和大语言模型的基础理论,然后坐了30年冷板凳,如今AI之火早已燎原,他却退缩了,担心自己打开了潘多拉魔盒。

去年,他离开亲手打造的谷歌大脑,在他的感召下,今年苏茨克维也离开忘记初心的Open AI,成立新公司SSI,目标是把AI关进笼子。

辛顿教授已退出AI江湖,但他的影响力在江湖上无处不在。除了苏茨克维,Meta的AI负责人杨立昆(Yann LeCun),Element AI联合创始人约书亚·本吉奥(Yoshua Bengio),美国科学院、工程院、艺术与科学院三院院士迈克尔·乔丹(Michael I.Jordan),前百度首席科学家吴恩达(Andrew Ng)等等AI大神,都是他培养的。

AI教父的名号,只有他配得上。但你一定想不到,学术成就开挂一般的辛顿教授,曾经却是个辍学惯犯。


1

学术世家


辛顿教授的传奇,从他爷爷的姥爷布尔(George Boole,1815年-1864)就开始了,没错,就是布尔代数那个布尔,这个家族统治了逻辑学和数学两百年。

布尔出生在1815年,他在《剑桥数学杂志》发表的第一篇文章,是爱因斯坦的不变量理论的重要支撑;他的《逻辑的数学分析》,是当今计算机科学和信息技术的灵魂之源。

布尔的老婆叫Mary Everest Boole(1832-1916),也是个数学家,著有《代数之哲学与乐趣》。

他们有五个女儿:

老小Ethel(1864-1960)是世界名著《牛虻》的作者;

老四Lucy(1862-1905)是伦敦皇家自由医院的教授;

老三Alicia(1860-1940)是数学家,提出多面体(Polytope)这个概念;

老二Margaret(1858-1935)没搞学术,但把儿子杰弗里·泰勒(G.I.Taylor)培养成了数学家,他是二战时研发原子弹的核心成员;

老大Mary(1856-1908)嫁给了数学家兼科幻作家查理斯·辛顿(Charles Hinton,1853-1907),他们的儿子霍华德·辛顿(Howard Hinton,1912-1977)是一名昆虫学家,剑桥大学教授,杰弗里·辛顿就是霍华德的孩子。

这样的家族背景,出现一个AI教父,是不是并不让人意外?

但如果你穿越到辛顿小时候,你一定不会想到他能有今天的成就,他可是个辍学惯犯。

都说中国家长望子成龙,其实全世界都差不多,辛顿妈妈的鸡娃水平,比海淀家长还猛:辛顿1947年出生,还没上小学,他妈妈就说:孩砸,咱可是学术世家啊,看看你爸,看看你叔,看看你爷爷,看看你祖爷爷……就差让孩子背家谱了。最后她说:你以后要么做学者,要么做失败者。

辛顿后来回忆,他很早就意识到,自己不读到博士是不行的,因此一辈子都在压抑和沮丧中挣扎。

他在小学和中学阶段还算顺利,高中时有位智商爆表的同学对他说:“顿哥你知道不,咱的记忆不是都存脑瓜子里吗?它可不是说有那么一块地专门放记忆,它是整个脑瓜子里都有!”同学看辛顿满脸懵逼,接着说:“脑瓜子里用的是全息图,啥叫全息图呢,就是咔嚓砍掉一半,你还能拿到整张图”。

辛顿被这东北味和科学味十足的言论感染了,他为自己定下学术方向:研究大脑的工作机制和原理。


2

辍学惯犯


1966年,18岁的辛顿进入剑桥攻读物理和化学,可以说跟研究大脑没有半毛钱关系,只读了一个月就辍学了。别误会,不是因为偏离了心仪的研究方向,他后来回忆:那年我18岁,第一次离开家乡,身边一个姑娘都没有,我很郁闷。

回家呆了一年,他又重返校园,这次读的是建筑,不知道是不是因为建筑系姑娘更少,他只上了一天课,又转去读物理和生理。

辛顿没有生理学背景,学得相当费劲,但是据说到第三学期,教授会讲大脑是如何工作的,他对这个感兴趣。结果熬到第三学期,老师是这么讲的:大脑是怎么工作的呢?大脑里有神经元,有沿轴突和神经元传播的动作电位,好,下课!

相当于你问他汽车的行驶原理,他只说汽车有轮子和方向盘,根本就没解释。

这也不能怪教授,当时全世界的学术圈都没闹明白呢。

辛顿大失所望,又又又辍学了。

但他这个家世背景,也不可能家里蹲,没几天又回去了,这次选的是哲学,结果因为跟导师理念不合当堂吵架,还是读不下去。最后,他选了心理学,好歹混到了毕业。

1970年,杰弗里·辛顿终于以剑桥大学国王学院实验心理学“荣誉学士”的身份毕业了。

你上大学读个双学位都费劲,人家轻轻松松体验了5个专业,就是把老师折磨够呛。

辛顿后来回忆说:我可能有一种教育上的多动症,无法安静学习。

经历了九九八十一难,毕业后辛顿做了什么工作呢?木匠,没错,就是打门框做衣柜的那种木匠。

3

小木匠


1970年,辛顿终于从剑桥毕业了,但他没有成为华丽上班族,也没有扎根学术,而是继续叛逆。他想大隐隐于市,为了糊口,还做起木匠活。

当然,叛逆只是伪装,辛顿依然痴迷于大脑研究,每星期六上午,他都会去图书馆阅读研究神经网络的文献。

问题来了,既然想搞学术,为什么不去学校呢?

简单科普一下,自从1936年图灵提出图灵机的概念以来,先后出现三个AI流派:符号主义、联结主义和行为主义。行为主义在辛顿的故事中出现不多,就不说了。联结主义和符号主义有什么区别呢?简单说,联结主义认为应该先模拟人脑,让这个人造大脑去运算;符号主义认为直接逻辑演算就行了,模拟人脑是脱裤子放屁。而且当时也不具备模拟人脑的硬件条件,所以符号主义是主流。

但辛顿叛逆,坚定看好联结主义,逻辑演算短期看粗暴有效,但是未来要解决更复杂的问题,还得模拟人脑。既然学术的世界容不下我,那我就做木匠活。

直到1972年,已经干了2年木匠活的辛顿听人说,爱丁堡大学的希金斯(Christopher Higgins,1923-2004)教授研究神经网络呢!这可是位大牛,教出来两位诺奖得主。(化学家John Polanyi、物理学家Peter Higgs)辛顿赶紧重返校园,拜入师门。

结果事实证明,小木匠获取信息的能力还是太差了。他刚拜入师门,没想到浓眉大眼的希金斯也叛变了!

当时有一部名著叫《感知机》,指出了联结主义和神经网络存在的重大问题,AI界几乎都涌向符号主义,也包括希金斯。

他整天跟辛顿说:小顿呐,神经网络没前途,符号主义才是YYDS啊!

辛顿自然是叛逆到底,每周上课,他都要跟老师吵一顿,他还放出狠话,给我半年,我会证明符号主义只是表面嚣张,神经网络才是最牛的!

过了半年,他再把这句话重复一遍。就这么半年之后又半年,半年之后又半年,5年都过去了,到了博士毕业的日子,他还是没搞出来。

希金斯不愧是教育大家,尽管不看好神经网络,也不大喜欢这个叛逆的学生,但还是尽可能支持他的研究,并在他没有显著学术成就的情况下,授予了他“AI博士”学位。

4

非主流教授


毕业后,辛顿前往美国,一步步做到卡内基梅隆大学计算机科学系的副教授。

在美国学术圈,神经网络也是非主流。多数人都认为《感知机》已经给神经网络判死刑了,而辛顿认为,《感知机》只是提出问题,这是好事,我们把问题解决掉,神经网络就会浴火重生。

当时他也就三十郎当岁,又没什么拿得出手的成就,为什么就这么自信呢?答案还是叛逆。叛逆不是什么都要非主流,而是敢于质疑主流。

他回忆起小时候,他的父母是无神论者,却把他送去了宗教学校。除了他,周围小朋友都信上帝,所以他从小就习惯了跟别人不一样,他认为这是非常好的训练,让他明白了,每个人都可能是错的,你需要坚持自己的主张。

1986年,叛逆中年辛顿跟另外两位学术大牛联合发表一篇论文,叫《通过反向传播误差来学习》(Learning representations by back-propagating errors)。

这篇论文回击了学界一直以来对神经网络不能实用的质疑,还证明了多层神经网络可以用于机器自主学习。今天我们熟悉的AlphaGo、ChatGPT,都是基于多层神经网络理论开发的。

所以1986年辛顿的反向传播理论一出,学界就炸锅了,大呼原来我们冤枉了神经网络。结果转过年来,1987年美股暴跌引发全球资本寒冬,像AI这种过于前沿的产业,没人敢投了。更重要的是,模拟人脑需要海量数据,当时万维网都没诞生呢,上哪找数据去?手敲吗?

炸锅的理论,只换来哑炮般的现实。要怪,只能怪他太超前。

好在加拿大高级研究所(CIFAR)还愿意给点资助,再加上他还在多伦多大学教书,多少有点经费,搞点小规模的研究还是没问题的。

神经网络这个冷板凳,他一坐就是三十年。直到2012 年,计算机硬件的性能大幅提高,数据资源也随手可得,他的神经网络理论终于能大展拳脚了。他带着两个学生,用内置了CUDA的英伟达GPU做深度学习,拿下视觉识别比赛的第一名,曾经坐冷板凳的神经网络终于否极泰来。

2013年,在吴恩达牵头下,谷歌斥资4400万美元收购辛顿的DNN公司,辛顿正式加盟谷歌,一路做到副总裁,还在2018年拿下图灵奖。曾经追随他的学生也步步高升,逐渐占领Open AI、Facebook、Uber等等科技大厂。

2022年,ChatGPT横扫世界,神经网络全球瞩目,烈火烹油。但是为人类带来AI火种的辛顿,却退缩了。2023年4月,辛顿教授离开谷歌,理由是想尽情地喷AI,为世人警示风险。

5

激流勇退


AI到底会不会毁灭人类?最有发言权的AI教父杰弗里·辛顿说,肯定会。

AI如果产生了意识会有多可怕呢?辛顿举了个例子:你让AI想办法为控制气候变化做点什么,他很可能直接把你干掉,因为他知道人类是气候恶化的罪魁祸首。

有人说防止AI失控很简单,拔电源呗!但是比人类更聪明的AI也可以说服你,不要去拔。

辛顿还说,不要以为人类创造了AI,就一定能占据主动权。假设青蛙创造了人类,那么现在人类和青蛙,谁会占主动权呢?

当然,这些担心是一直都存在的,真正让他决心辞职的,是大厂间的AI军备竞赛。比如原本谷歌对AI比较克制,但是微软投资OpenAI后,把GPT植入必应搜索,跟谷歌抢市场,谷歌只能被迫应战,以牙还牙。这样下去,AI必然失控。

其实回头看,除了这次离开谷歌,辛顿1987年离开卡内基梅隆大学,跑去加拿大的多伦多大学任教,也是不想拿军方的经费做研发。

把AI关进笼子,是辛顿一以贯之的原则。

离开谷歌后,辛顿去了一家叫瓦尤机器人(Vayu Robotics)的初创公司做顾问。

以他的段位,想去特斯拉、Meta、苹果等任何大厂,CEO都得亲自敬酒,为什么他却选了一家名不见经传的小公司呢?

因为瓦尤做的AI道德风险更低,而且现任CTO (Nitish Srivastava)是他的学生,知根知底。

在辛顿加入前,瓦尤刚完成1270万美元的种子轮融资,已经开发出了一款纯AI视觉方案的送货机器人。

看上去未来可期,但是要跟OpenAI这种巨无霸对抗,还是有点天方夜谭。

那辛顿教授把AI关进笼子的梦想还能实现吗?

6

新一代生力军


别光盯着辛顿自己,别忘了,他早已桃李满天下,他的安全AI理念也早已影响了大批青年才俊。

比如他的得意门生、前OpenAI首席科学家苏茨克维,6月刚刚创业成立SSI,Safe Superintelligence,非常直白,就叫安全的超级智能。

很明显,这是挤对OpenAI呢。去年那场震惊世界的宫斗大戏失败后,由苏茨克维主导的负责安全的实验室就被解散了,OpenAI彻底成为AI商业派的代表。

苏茨克维复仇还得一会儿,比他更早离开OpenAI的阿莫迪兄妹已经扣动扳机了。

早在2021年,ChatGPT还没问世呢,OpenAI的研究副总裁和安全政策副总裁阿莫迪兄妹(Dario Amodei、Daniela Anodei)就撤了,理由同样是觉得OpenAI价值观有问题。

他们还带走5名技术大牛,一起创办了Anthropic,同样强调安全,目标是构建一套可靠、可解释、可控的“以人类利益为中心”的AI系统,可以看作AI安全派的代表。

Anthropic成立至今不过3年,估值已超过180亿美元,光去年1年就拿下73亿美元融资。今年3月,亚马逊又投了27.5亿美元,这是亚马逊30多年里最大的一笔投资。

Anthropic钱拿得多,事也办得漂亮。成立第二年就发布大模型Claude,上个月已经更新到了Claude 3.5 Sonnet,据称性能全面超越OpenAI的GPT-4o。

照这个趋势,安全派和商业派,谁输谁赢还真不好说。

辛顿教授今年77了,他大可以解甲归田,享受天伦之乐,让徒子徒孙们争去。但是面对亲手养大的怪兽,他又不得不绷紧神经,小心提防。不是为自己,而是为人类。

就像爱因斯坦,他一生最后悔的事,就是当初给罗斯福写信,建议造原子弹。锻造宝刀是成就,而宝刀落到疯子手里,你就成了罪人。也许这就是科学家的宿命吧。

出品 | 嘉宾商学

嘉宾派访学往期回顾:


2024年

嘉宾派深圳站:TCL | 优必选 | OPPO
嘉宾派安徽站:科大讯飞 | 三只羊 | 老乡鸡
嘉宾派美国站:菲利普·科特勒 | 哈佛商学院 | 麻省理工学院 | CIC剑桥创新中心 | Meta | PTC
嘉宾派上海站:蔚来 | 小红书 | 好特卖
嘉宾派重庆站:赛力斯 | 乌江榨菜 | 国药太极 | 魔方精密

2023年

嘉宾派深圳站:华为 | 深创投 | 华大基因
嘉宾派安徽站:科大讯飞 | 国轩高科 | 洽洽食品 | 老乡鸡
嘉宾派上海站:蔚来 | 分众传媒 | 嘉御资本 | 果麦文化
嘉宾派北京站:地平线 | 泡泡玛特 | 西贝 | 360

嘉宾派日本站:无印良品 | 伊藤洋华堂 | 龙角散 | YKK | 小丸屋 | 学习熊本熊 | 第五消费时代

嘉宾派杭州站:钉钉 | 饿了么 | 遥望 | 海康威视
嘉宾派广州站:名创优品 | 王老吉 | 慕思 | 季华实验室

2022年

嘉宾派深圳站:华为 | 比亚迪 | 正威国际 | 来画
嘉宾派安徽站:老乡鸡 | 科大讯飞 | 阳光电源 | 国盾量子
嘉宾派长沙站:大汉集团 | 三一集团 | 远大住工
嘉宾派北京站:元气森林 | 360集团 | 百度
嘉宾派杭州站:海康威视 | 钉钉 | 无忧传媒 
嘉宾派上海站:OATLY | 笑果文化 | 嘉御资本

2021年

嘉宾派安徽站:科大讯飞 | 洽洽食品 | 老乡鸡
嘉宾派广州站:小鹏汽车 | 美的集团 | 荔枝
嘉宾派北京站:BOSS 直聘 | 华图教育 | 依文集团
嘉宾派上海站:分众传媒 | 携程 | 景域驴妈妈 | 笑果文化
嘉宾派北京站:星际荣耀 | 居然之家 | 北森 | 闪送
嘉宾派杭州站:钉钉 | 吉利控股 | 无忧传媒 | 7-11

2020年

嘉宾派上海站:樊登读书 | 商汤科技 | 光明乳业
嘉宾派北京站:百度 | 小米 | 唱吧
嘉宾派深圳站:深创投 | 腾讯云 | 编程猫 | 来画视频

2019年

嘉宾派杭州站:横店影视 | 阿里云研究院 | 钉钉 | 个推 | 时空电动 | 海康威视
嘉宾派德国站:宝马 | 巴斯夫 | 汉诺威工业展 罗兰贝格
嘉宾派北京站:人民日报 | 奇安信(原360企业安全) 联想
嘉宾派上海站:SAP | 众安保险 上海证券交易所 平安集团
嘉宾派深圳站:光峰科技 微众银行 | 华大基因 | 优必选
嘉宾派成都站:货车帮 | 蚂蚁物流 | 新潮传媒 | 极米科技

2018年

嘉宾派深圳站:比亚迪 | 柔宇科技 | 华大基因
嘉宾派广州站:亿航 | 甘来科技 | 茵曼 | 韩后
嘉宾派安徽站:三只松鼠 | 奇瑞 | 科大讯飞 | 国轩高科
嘉宾派上海站:蔚来 | 东方航空 | 景域集团 | 剧星传媒
嘉宾派北京站:中国原子能科学研究院 | 小米 | 瑞幸咖啡 | 小猪短租
嘉宾派日本站:有马温泉 | MOKUMOKU手工农场乐园 | 7-ELEVEN | 茑屋书店 | 东京迪士尼 | HMK株式会社 | 索尼 | 无印良品
嘉宾派北京站:阿里云 | 洛可可 | 凯叔讲故事 | BOSS直聘 | Blued·淡蓝公益

2017年

嘉宾派三亚站:春季嘉宾派启航仪式暨思享大会
嘉宾派广州站:奥飞 | 美的 | 省广 | 三七互娱
嘉宾派北京站:途家 | 清科集团 | 华图教育
嘉宾派合肥站:皖新传媒 | 科大讯飞 | 飞常准

嘉宾派北京站:VIPKID | 三一集团 | 一下科技 | 映客



点击底部阅读原文,即刻报名嘉宾派第14季

  你在看吗?

嘉宾商学
做中国案例学习开创者,遍访天下公司、纪录时代商业。
 最新文章