拿诺奖的Hinton教出了一众改变世界的AI博士，一个比一个牛逼
科技
2024-10-20 09:30
江苏
点击上方“萝卜大杂烩”，选择“星标”公众号
超级无敌干货，第一时间送达！！！
自近日获知自己摘得诺贝尔物理学奖之后，76 岁的人工智能教父 Geoffrey Hinton 便「闲不住」了。这不，谷歌首席科学家 Jeff Dean 晒出了自己参加 Hinton 诺贝尔奖派对前与老爷子的合照，以及短时间内可以参加该派对的 Hinton 博士们。![]()
![]()
在几十年研究生涯中，Hinton 培养出了 40 位博士生，其中不乏前 OpenAI 首席科学家 Ilya Sutskever、前苹果 AI 总监 Ruslan Salakhutdinov 这样的大牛。在周二的一次演讲中，Hinton 表示自己非常幸运，遇到了很多聪明的学生，他们取得了非常大的成功，有的做出了伟大的成果。其中他为弟子 Ilya「解雇」奥特曼而感到自豪，并认为奥特曼现在更关心利润而不是安全。他同时呼吁加强对 AI 安全以及由好奇心驱使的基础研究的支持。![]()
机器之心盘点了自 1987 年以来，Hinton 博士弟子们的研究领域、研究成果以及其他信息。如有遗漏和错误，请在评论区指正。![]()
Peter Brown 现在是文艺复兴科技（Renaissance Technologies）的首席执行官，他也是 Hinton 的第一位博士生，当时 Hinton 还是 CMU 计算机科学教授。Peter Brown 博士期间主要研究自动语音识别中的声学建模问题。他曾在 IBM 研究所从事语音识别、机器翻译和大规模语言模型的研究。![]()
David Ackley 是新墨西哥大学计算机科学名誉教授，致力于在无限可扩展的计算机架构上研究、开发和倡导稳健优先、尽力而为的计算。David Ackley 的工作涉及神经网络、机器学习、进化算法，以及安全、架构和计算模型的生物学方法。值得一提的是，Hinton 与 David Ackley 和 Terry Sejnowski 共同发明了玻尔兹曼机。Mark Derthick 自 1995 年开始在卡内基梅隆大学（CMU）任访问科学家、项目科学家、研究科学家，但目前已经离任。他的研究兴趣包括人机信息交互、交互式信息可视化、知识表征、探索性数据分析等。![]()
Richard Szeliski 是华盛顿大学计算机科学与工程系兼职教授、ACM Fellow、IEEE Fellow。Szeliski 在计算机视觉贝叶斯方法、基于图像的建模和渲染以及计算摄影领域进行了开创性研究，是计算机视觉领域的大师级人物，他在计算机视觉研究方面有 30 多年的丰富经验，主攻计算机视觉和计算机图形学，是 CV 经典教材《计算机视觉：算法与应用》的作者。Richard Szeliski 先后任职于 DEC（美国数字设备公司）、微软研究院、Facebook、谷歌。1996 年，他在微软研究院任职期间提出了一种基于运动的全景图像拼接模型，采用 L-M 算法，通过求图像间的几何变换关系来进行图像匹配。此方法是图像拼接领域的经典算法，Richard Szeliski 也因此成为图像拼接领域的奠基人。2017 年，Richard Szeliski 获得 ICCV 大会颁发的杰出研究奖。![]()
1989 年，Kevin Lang 在 Hinton 的指导下获得了 CMU 的计算机科学博士学位。根据网上查询到的有限资料显示，他的研究兴趣包括计算模型、细胞结构、形状建模以及量子点和细胞自动机、语音识别。![]()
Steven Nowlan 是 Epsilon 公司决策科学高级副总裁，他曾在 Motorola 工作近 20 年，在移动和基于位置的应用程序、复杂的软件架构以及研究科学家和软件开发人员的组合管理方面拥有丰富的经验，致力于将创新理念转化为成功的软件产品和服务。![]()
David Plaut 是卡内基梅隆大学的心理学教授，致力于使用计算模型并辅以实证研究来研究高级视觉、阅读和语言以及语义领域正常和无序认知处理的本质。David Plaut 的建模工作是在神经网络框架内进行的，其中认知过程是通过大量类似神经元的处理单元之间的合作和竞争交互来实现的，以深入了解认知过程如何在大脑中实现，以及大脑功能障碍如何导致认知障碍。![]()
1992 年，Conrad Galland 在 Hinton 的指导下获得了多伦多大学的博士学位。根据网上查询到的有限资料显示，他的研究重点是矩阵计算。![]()
Susanna Becker 是麦克马斯特大学心理学、神经科学和行为学名誉教授。1992 年，她在 Hinton 的指导下获得多伦多大学博士学位，研究兴趣包括记忆、计算神经科学、海马神经发生、脑机接口和神经反馈。![]()
Richard Zemel 是美国国家科学基金会（NSF）人工智能和自然智能研究所（ARNI）主任，研究致力于用少量标签进行学习，创建强大且可控的机器学习系统，并且该系统可以迁移到各种任务和领域。他还对算法公平性有着浓厚的兴趣。Richard Zemel 还是 NVIDIA 人工智能先锋奖的获得者。![]()
1994 年，Tony Plate 在 Hinton 的指导下获得了多伦多大学计算机科学与人工智能博士学位。在攻读博士期间研究了如何在神经网络中表示复杂的概念。博士毕业以后，他曾在新墨西哥州立大学担任研究员、在不列颠哥伦比亚大学担任博士后研究员、在惠灵顿维多利亚大学担任助理教授，并在 2020 年 3 月之后加入谷歌担任工程师至今。![]()
Sidney Fels 自 1998 年起担任不列颠哥伦比亚大学（UBC）电气与计算机工程系教授。他因在人机交互、3D 显示、生物力学建模、神经网络、智能体等方面的工作而享誉国际。Christopher Williams（1994）![]()
Christopher Williams 是爱丁堡大学信息学院机器学习教授。他的研究兴趣包括机器学习、统计模式识别、概率图形模型和计算机视觉。他还是《机器学习的高斯过程》一书的作者之一。![]()
Radford Neal 是多伦多大学统计系和计算机科学系荣休教授。他的研究兴趣包括贝叶斯推理、蒙特卡洛方法、信息论、机器学习和神经网络。![]()
Carl Rasmussen 是剑桥大学工程系教授，研究领域包括机器学习和气候变化，研究重点包括概率推理、强化学习、近似推理、决策、非参数建模、随机过程等。![]()
Brendan Frey 是国际知名机器学习和基因组生物学研究者，主要研究因子图、深度学习的 wake-sleep 算法，以及使用机器学习建模基因组生物学和理解遗传性疾病。他创立了 Deep Genomics，现任首席执行官，并且是多伦多大学计算机科学和医学教授。![]()
Evan Steeg 是初创公司 stealth synthetic biology 的联合创始人兼首席人工智能官，还是 BTC 咨询公司总裁。他的研究兴趣包括 AI、ML、计算生物学、创业和战略规划。![]()
Radek Grzeszczuk 是初创公司 SkinBit 联合创始人，曾在微软担任首席软件工程师主管。他为增强现实、基于图像的建模、视觉搜索和计算成像等领域的发展做出了贡献。![]()
Brian Sallans 是机器学习、软件开发、移动软件专家，在奥地利第一储蓄银行（Erste Group）任高级数据科学家。![]()
Sageev Oore 是加拿大 CIFAR 人工智能主席，戴尔豪斯大学计算机科学学院副教授，曾任谷歌大脑访问研究科学家。Andrew Brown 查询到的信息不多，从 Google Scholar 主页可以看到，他的研究兴趣包括机器学习、神经网络、隐马尔可夫模型、循环神经网络。![]()
他的博士毕业论文为《Product Models for Sequences》。论文介绍了一系列新的时序图模型， 采用的思路是通过大量更简单模型的密度组合来构建一个复杂的时序密度模型。![]()
论文地址：https://dl.acm.org/doi/abs/10.5555/936308
![]()
2002 年，Alberto Paccanaro 在 Hinton 的指导下获得多伦多大学的博士学位，专攻机器学习，并主要从事基础研究，在毕业论文中引入了线性关系嵌入，这是一种解决从示例中学习符号关系问题的新方法。2006 年 2 月，他开始在伦敦大学皇家霍洛威学院的计算机科学系工作，此后晋升为教授。他的研究兴趣包括应用模式识别 / 机器学习技术来解决计算生物学问题。![]()
Yee Whye Teh 是牛津大学统计系教授，也是 DeepMind 研究科学家。2003 年，他在 Hinton 的指导下获得了多伦多大学的计算机博士学位。此后在加州大学伯克利分校和新加坡国立大学从事博士后研究。他的研究兴趣包括机器学习、计算统计学，尤其是概率模型、贝叶斯非参数、大规模学习和深度学习。2006 年，他与 Hinton、Simon Osindero 合著提出了深度信念网络的论文。深度信念网络是第一批成功应用深度架构训练的非卷积模型之一。在引入深度信念网络之前，研究社区通常认为深度模型太难优化，还不如使用易于优化的浅层 ML 模型。而借助深度信念网络，研究者可以在未标注数据上预训练深度神经网络，这是一种生成模型的方式。预训练完成后，神经网络可以在标注数据上实现判别式的精调，从而获得很好的效果。![]()
论文地址：https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf![]()
Simon Osindero 在取得剑桥大学的实验和理论物理硕士学位之后，选择攻读英国伦敦大学学院的计算神经科学博士学位，导师为 Hinton，还得到了神经学家 Peter Dayan 的指导。2004 年获得博士学位后，他加入了 Hinton 团队，成为博士后研究员。2006 年，他与 Hinton、Yee Whye Teh 合著提出了深度信念网络的论文。毕业以后，他就职于多家企业，包括 2009 年至 2013 年 10 月担任 LookFlow 的联合创始人兼 CTO、2013 年 10 月至 2015 年 12 月先后担任雅虎的高级工程经理、AI 架构师和高级负责人、2017 至 2019 年英国伦敦大学学院担任客座讲师、2016 年至今担任谷歌首席研究科学家、DeepMind 研究总监。![]()
2008 年，Roland Memisevic 在 Hinton 的指导下获得了多伦多大学的计算机科学博士学位。2012 年 9 月至 2016 年 5 月，他担任蒙特利尔大学的助理教授。2016 年 5 月至 2021 年 7 月，他先后担任其联合创立的 AI / 计算机视觉初创公司 Twenty Billion Neurons 的首席科学家和 CEO。2021 年 7 月，Twenty Billion Neurons 被高通收购，Roland Memisevic 担任高通高级总监至今。他的研究兴趣包括类人 AI 和神经网络中出现的常识。Ruslan Salakhutdinov（2009）![]()
Ruslan Salakhutdinov 是卡内基梅隆大学的 UPMC 计算机科学教授， 主要从事统计机器学习领域的工作。他的研究兴趣包括深度学习、概率图模型和大规模优化。2009 年，他在 Hinton 的指导下完成了在多伦多大学的机器学习博士学位。此后他担任了 MIT 博士后研究员、多伦多大学助理教授（2011 年 - 2016 年）、AI 初创公司 Perceptual Machines 联合创始人（被苹果收购）、苹果 AI 研究总监（2016 年 - 2020 年）、卡内基梅隆大学教授（2016 年至今）、Meta 生成式 AI 研究副总裁（2024 年 6 月至今）。![]()
2009 年，Graham Taylor 在 Hinton 和另一位导师 Sam Roweis 的指导下获得了多伦多大学计算机科学博士学位。此后，他在纽约大学柯朗数学科学研究所做了两年的博士后研究员，与 Yann LeCun 等人一起工作。2012 年，他加入圭尔夫大学工程学院担任助理教授。2017 年，他晋升为副教授，并成为 Vector 人工智能研究所的成员。2018 年至 2019 年，他在蒙特利尔的 Google Brain 担任客座教员。2021 年，他晋升为教授，并成为 Vector 人工智能研究所的临时研究主任。2022 年，他正式成为研究主任。2023 年，他结束了 Vector Institute 研究主任的两年任期，此后更专注于自己的研究。他对生成模型、图表示学习和顺序决策等领域感兴趣。![]()
Andriy Mnih 是 Google DeepMind 的研究科学家。2009 年，他在 Hinton 的指导下获得了博士学位。此后到 2013 年 2 月，他担任 Gatsby 的博士后研究员。他的研究兴趣包括隐变量模型、变分推理、蒙特卡洛梯度估计和表征学习。![]()
Vinod Nair 是雅虎班加罗尔实验室的研究员，2010 年，他在 Hinton 的指导下获得了多伦多大学的机器学习博士学位。他的研究兴趣包括机器学习和计算机视觉。![]()
在多伦多大学攻读博士期间，Josh Susskind 接受了 Hinton（机器学习）和 Adam Anderson（行为科学）两位教授的指导。他开发出了第一个可以识别和生成面部表情的深度神经网络，并展示了这些计算模型学习到的统计学规律如何预测人类感知到的元素。他的工作成果曾发表在《自然神经科学》和《科学》等高影响力期刊以及计算机视觉顶会上。2012 年，他联合创立了一家专注于实时感知人类行为的初创公司 Emotient，该公司在 2016 年被苹果收购。此后至今，他担任苹果的研究经理、深度学习科学家。Ilya Sutskever 可称得上 Hinton 最得意的博士生了。在多伦多大学本科期间，Ilya Sutskever 从一个「改进随机邻域嵌入算法」的项目开始，与 Hinton 合作，后来在攻读博士学位时正式加入了 Hinton 团队。2012 年，Hinton 带着 Ilya Sutskever 和另一名研究生 Alex Krizhevsky 建立了一个名为 AlexNet 的神经网络，其识别照片中物体的能力远远超过了当时的其他系统。 ![]()
Ilya Sutskever（左）、Alex Krizhevsky（中）、Geoffrey Hinton（右） 2012 年毕业后，Ilya Sutskever 在斯坦福大学跟随吴恩达做了两个月的博士后，随后返回多伦多大学并加入了 Hinton 研究小组的衍生公司 DNNResearch 。 2013 年 3 月，Google 收购了 DNNResearch，聘请 Ilya Sutskever 担任 Google Brain 的研究科学家。在谷歌，Ilya Sutskever 展示了如何将深度学习的模式识别能力应用于数据序列，包括单词、句子。他与 Oriol Vinyals 和 Quoc Le 合作创建了序列到序列（Seq2seq）学习算法，深度参与了 TensorFlow 的研究，也是 AlphaGo 论文的众多作者之一。对语言的浓厚兴趣，或许推动了 Ilya Sutskever 加入 OpenAI 的脚步。 2015 年 7 月，Ilya Sutskeve 参加了 Y Combinator 总裁 Sam Altman 在 Sand Hill Road 一家餐厅举办的晚宴，在那里遇到了 Elon Musk 和 Greg Brockman。那场晚宴上诞生了 OpenAI。 2015 年底，Ilya Sutskever 以「研究总监」的头衔开始领导 OpenAI 的研究和运营，这个组织还吸引了几位世界知名的人工智能研究者，包括「GAN 之父」Ian Goodfellow、UC 伯克利的 Pieter Abbeel 以及 Andrej Karpathy。2016 年，OpenAI 的第一个 GPT 大型语言模型问世。从 GPT-2 到 GPT-3，模型的能力越来越强大，证明了这条路线的实际正确性。每一次发布，OpenAI 都在不断提高人们的想象力上限。 随着 GPT-4 以及后续一系列更强大的大语言模型的更新，以 Ilya Sutskever 为代表的一部分 OpenAI 成员越来越担忧 AI 的可控性问题。于是有了后来的突然与 Sam Altman 所代表的派系决裂、离职收场的故事。 今年 5 月 15 日，Ilya Sutskever 官宣从 OpenAI 离职，并在 6 月 20 日宣布成立安全超级智能公司（SSI），追求安全的超级智能，希望通过一支精干顶尖的小团队取得革命性的成果，进而实现这一目标。9 月，SSI 宣布融资 10 亿美元，投资者包括了顶级风险投资公司 Andreessen Horowitz、Sequoia Capital、DST Global 和 SV Angel。Abdel-rahman Mohamed（2013）![]()
Abdel-rahman Mohamed 是 FAIR 研究科学家。在加入 FAIR 之前，他是 Amazon Alexa AI 团队的首席科学家经理。2014 年至 2017 年，他是微软雷德蒙德研究院（MSR）的研究员。2013 年，他在 Hinton 和另一位导师 Gerald Penn 教授的指导下获得了多伦多大学的博士学位。他还是 2009 年开启口语处理深度学习革命的团队成员，并在 2016 年获得了 IEEE 信号处理协会最佳期刊论文奖。他的研究兴趣包括深度学习、口语处理和自然语言理解。![]()
Vlad Mnih 是 Google DeepMind 的一名研究科学家。2013 年，他在 Hinton 的指导下获得了多伦多大学的机器学习博士学位。在此之前，他在阿尔伯特大学获得了计算机科学硕士学位。他的研究兴趣包括深度强化学习、多目标识别、视觉注意力等。![]()
2014 年，Navdeep Jaitly 在 Hinton 的指导下获得了多伦多大学机器学习和计算机科学博士学位。毕业以后，他先后任职于 Google Brain（高级研究科学家）、英伟达（杰出研究科学家）、 再次 Google Brain（科学家）、投资管理公司 The D. E. Shaw Group（深度学习负责人、副总裁）以及 2021 年至今苹果（机器学习研究科学家）。他的研究兴趣在于前沿深度学习。![]()
2014 年，Tijmen Tieleman 在 Hinton 的指导下获得了多伦多大学的深度学习博士学位。2018 年以来，他先后担任 AI 初创公司 minds.ai 的 CTO、CEO、联合创始人和首席科学家。他的研究兴趣包括具有不寻常成分的多层确定性前馈神经网络以及使用受限玻尔兹曼机的多层神经网络等。![]()
George Dahl 是美国山景城 Google Brain 团队的一名研究科学家。2015 年他在 Hinton 的指导下获得了博士学位，攻读博士期间，他与其合作者训练出了第一个成功的自动语音识别深度声学模型，还领导团队赢得了 Kaggle 主办的默克分子活性挑战赛。他的研究兴趣包括深度学习、自然语言处理和统计机器学习。Yichuan Charlie Tang（2015）![]()
Yichuan Charlie Tang 从事深度学习和统计机器学习领域的工作。2015 年，他在 Hinton 和另一位导师前苹果 AI 总监 Ruslan Salakhutdinov 的指导下获得了多伦多大学的机器学习博士学位。他的研究兴趣广泛，包括机器人 / 自主技术应用、计算机视觉、自然语言处理和强化学习。2017 年 1 月至 2020 年 6 月，他在苹果先后担任研究科学家和高级研究科学家。此后他在投资管理公司 The D. E. Shaw Group 担任机器学习研究副总裁。![]()
Nitish Srivastava 的研究兴趣包括机器学习、深度网络和人工智能。他在多伦多大学计算机科学系攻读博士，导师为 Hinton 和前苹果 AI 总监 Ruslan Salakhutdinov 的博士，并于 2016 年获得博士学位。2017 年 2 月至 2022 年 2 月，他在苹果先后担任机器学习工程师和机器学习研究科学家。2022 年至今，他联合创立了机器人初创公司 Vayu Robotics 并担任 CTO。![]()
Jimmy Lei Ba 是多伦多大学助理教授。他从本科（2011）、硕士（2014）到博士（2018）都是在多伦多大学完成的，博士期间导师为 Hinton。他的研究兴趣涵盖了 NeurIPS、ICLR 和 ICML 等研究社区的广泛主题，并对强化学习、自然语言处理和人工智能感兴趣。他是 CIFAR AI 主席，还曾是 2016 年 Facebook 机器学习研究生奖学金获得者。![]()
Cem Anil 是多伦多大学和 Vector Institute 的在读博士生，接受 Hinton 和 Roger Grosse（副教授）的指导。他还是 Anthropic 对齐科学团队的成员。他的工作涉及深度学习和 AI 安全，并对大语言模型的稳健性和泛化性模式感兴趣。他同时致力于推导 Scaling law 来预测潜在危险能力的发展。参考链接：https://www.cs.toronto.edu/~hinton/gradstuphd.html![]()
![]()
