周一傍晚，学完第一周的「深度学习」课程。周二早晨，醒来看完吴恩达对 Geoffrey Hinton 的采访。一时间感触颇深。
上周五，学完整个「机器学习」专业后，周末给自己放了两天假。想写篇总结，再启程进入下一阶段的「深度学习」课程。
恰逢开学第二周，数学课程又忙碌起来，没有精力做细致的回顾。借早上 Geoffrey 采访的感悟，做个小总结。细致的回顾，一边小步快跑学习「深度学习」，一边再回头巩固。
我大约用一个月的时间，学完机器学习专业的三个课程。第一遍学习，我反复告诫自己，完成大于完美。学完后，我收获三样东西：
一、一封 Coursera 认证的证书；
二、初步构建起自己的「机器学习」知识系统；
三、进一步学习计算语言学的自信。
对人工智能（机器学习、深度学习、自然语言处理）、数据科学、计算机科学、计算机工程之间的关系也有了进一步的认识。
这周开始进入「深度学习」专业学习阶段，学完后再学习「自然语言处理」专业。计划在今年年底之前完成这三个专业课程，正式入门 AI。
回到早晨，吴恩达对 Geoffrey Hinton 的采访，让我收获再启程的鼓励。
Geoffrey Hinton 是深度学习（神经网络）之父，1947年出生于英国，英裔加拿大认知心理学家和计算机科学家。从 2013 年到 2023 年，他先后在谷歌大脑和多伦多大学工作。Geoffrey 与 Yoshua Bengio 和 Yann LeCun 一起获得了 2018 年图灵奖（常被称为 "计算机界的诺贝尔奖"），以表彰他们在深度学习方面所做的工作。2023 年 5 月，Geoffrey 宣布从谷歌辞职，以便能够 "自由地谈论人工智能的风险"。
技术与学术部分只能听个大概，分享几点我能听懂的：
1. Geoffrey Hinton 传奇背后的个人经历，是什么引导他进入 AI 领域？
Geoffrey Hinton：
中学时，总与一位数学特别好的同学攀比成绩（他现在已经是一位卓越的数学家）。有一天，他问我，“你知道大脑使用全息图吗？” 当时（大约 1966 年），我对将图像砍掉一半，依然能展现出整个图像的技术大为震撼。我猜他当时应该读了 Lashley's Experiment。这是我第一次对大脑如何存储记忆感兴趣。
Lashley 的实验表明，记忆和学习并不是由大脑中的某一个“特殊”部位负责的，而是多个部位共同参与的结果。他训练动物完成某种任务，比如走迷宫找食物，然后切除它们大脑的某一小块，再观察动物是否还能完成那个任务。
在剑桥读书时，我可能是唯一同时学生物学和物理学的学生；然后我放弃了，转去学习哲学。我认为哲学会给我更多启示，但事实上哲学并不能很好地鉴别出错误的东西；我转去学习心理学，但心理学只有非常简单的结论，不足以解释大脑在做什么。于是我抽出时间，成为一个木匠；然后我去爱丁堡大学，跟随 Longuet Higgins 学习人工智能。
当时 Longuet Higgins 已经在神经网络做出很好的工作，他刚刚放弃神经网络，并对 Terry Winograd 的论文印象深刻。所以 Higgins 认为我不应该再做过时的研究，应该从 symbolic AI 开始。我们对此有很多争论，但我一直坚持做我认为对的事情。
Longuet Higgins（1923 -2004 ）是英国学者和教师。他曾在剑桥大学担任理论化学教授长达 13 年之久，直到 1967 年才转到爱丁堡大学从事认知科学领域的工作。他对我们理解分子科学做出了许多重大贡献。他还是一位才华横溢的业余音乐家，既是演奏家又是作曲家，并热衷于推动对这门艺术的科学理解。
在英国 AI 博士毕业后，我找不到工作。当时，神经网络在英国被认为是很愚蠢的事情。但我看到一个很棒的广告，有关美国加州圣地亚哥大学的奖学金。然后，我来到加州，一切都不同了。在加州，David Rumelhart 对神经网络保持开放态度。1980s，这是我第一次开始在一个地方思考大脑是如何运作的？如何将它和心理学联系起来？
1986年，我们在 Nature 发表一篇论文，当时我做了很多政治工作使我们的论文通过同行评议。我发现我们的一个审稿人可能是 Stuart Sutherland，一个著名的英国心理学家。我花了很多时间和他精确解释，我们演示了 Backprop 算法能够学习文字的表达，他对这一事实印象深刻。
David Rumelhart（1942 -2011）是一位美国心理学家，主要在数理心理学、符号人工智能和并行分布式处理的框架内工作，对人类认知的形式分析做出了许多贡献。他还推崇形式语言的认知方法，并探索制定一种形式语法来捕捉故事结构的可能性。
2. Geoffrey Hinton 对那些想要深耕深度学习的学习者们，有什么建议？
Geoffrey Hinton：
要读文献，但不要读太多。这是我从我的导师那里收获的原则。大部分人会说，你要先花几年阅读文献，然后展开你自己的工作。这对一些研究人员来说也许是对的，但对创造型研究人员来说，你需要做的是，读一些文献，注意到大家做的不对的地方。这样来说，你是不合群的。找到那种感觉，当你看着这个地方的时候，你就是觉得不对劲，然后想办法用正确的方法去做。当有人告诉你这个方法不对的时候，继续做下去。
我有一个很好的原则，帮助人们坚持他们的想法：你的直觉是好的，反之不好。如果你的直觉是好的，坚持做下去，你会成功的；如果你的直觉是不好的，那么你做什么都无所谓了。
所以，读足够的文献直到开始产生你自己的直觉。然后相信自己的直觉，做下去，即使别人说是无稽之谈，也不要担心。当别人说，这是无稽之谈时，你也不会知道是错是对，直到你继续做下去从而发现它。当你在做一件你认为非常对的事，而别人认为完全错误的事，那你就知道你在做一件很大的事。
吴恩达：
我通常建议人们不止读文献，而要重复已发表的工作，这会让你知道你的极限在哪里，因为复制别人的工作是很费时的。当你复制别人的工作，你会发现那些有用的窍门。
Geoffrey Hinton：
我的另一个建议是 Never stop programming。
3. 对读博，在顶级研究所，顶级公司工作的人，有什么建议？
现在，没有足够深度学习经验的老师去教授需要学习的学生，但这一定是暂时的。
大多数学校，对现在所经历的变革知之甚少。
我们正在经历巨大的变化，因为我们与计算机的关系发生了变化。
Instead of programming them, we now show them, and they figure it out.
这是一个完全不同的使用计算机的方式，计算机科学学院是围绕着编程思想而建立的。
他们不理解， Showing Computers 和 Programming Computers 一样重要。
他们不明白，计算机学院有一半的人应该去研究如何 Showing Computers。
What thought is?
It is not a symbolic expression.
It is a great big vector of neural activity.
—— Geoffrey Hinton
20-30 岁，使劲加杠杆，
尽快在同龄人中脱颖而出，形成独立思考能力。
尽量不要太相信导师、家人、老板、社会的忽悠。
直奔个人根据地建设，是最重要的。
—— 阳志平
夏日的傍晚，我躺在草坪上，把自己交给大地。
天空没有尽头，甲板漂浮在海面上，
向没有尽头的远方驶去。
父母是遥远的港湾，爱人是身后的船舱。
我手掌舵，肩扛旗，载着满船的书，驶向黎明。
