深度|谷歌前CEO施密特普林斯顿专访:大模型放缓无关紧要,重头戏在代理领域,非计算机专业学AI应该学Python

文摘   2024-11-22 07:04   浙江  

👇关注公众号后设🌟标,掌握第一手AI新动态

本文访谈内容整理自埃里克·施密特接受Princeton University Youtube频道专访,公开发表于2024年11月21日。原始内容参考:https://www.youtube.com/watch?v=xFz80aaGeQs

埃里克·施密特接受普林斯顿大学专访并回答学生问题

内容导读

本次演讲中,Eric Schmidt 主要围绕人工智能(AI)的机遇、挑战和未来发展方向,以及学术界和政府在其中扮演的角色,表达了以下主要观点:

  1. AI 的巨大潜力和快速发展: AI 发展速度惊人,基础模型的能力正在迅速提升,很快将达到甚至超越人类专家的水平,并在各个领域(医疗、气候变化、教育等)带来革命性的变革。 他预测这种变革将是“非连续性”的,而非渐进式的。
  2. AI 如同“口袋里的博学者”: 未来每个人都将拥有一个具备多学科知识的 AI 助手,这将极大地提高生产力并改变人们的生活方式。但这同时也带来了巨大的伦理和社会挑战。
  3. AI 发展带来的挑战和风险:  AI 的快速发展带来了许多风险,包括:
  • 社会不适应: 社会、政府和个人对 AI 的到来准备不足,可能导致社会动荡和不稳定。
  • 信息误导和偏见: AI 可能被用于传播虚假信息,加剧社会分裂和极端化。
  • 权力滥用:  强大的 AI 系统可能被滥用,对个人隐私和文化造成威胁,甚至可能被国家用于操控舆论。
  • 技术扩散: AI 技术的扩散可能难以控制,带来难以预料的风险。
  • 学术界和政府的角色:  学术界应该积极参与 AI 的研究和发展,特别是关注目前尚未解决的关键问题,例如:AI 的可解释性、AI 代理的协调和控制、以及超越Transformer架构的新模型。政府需要制定合理的监管政策,平衡创新与风险,避免技术滥用。 他特别批评了欧盟的AI监管法规,认为其过于强调安全,而忽略了创新。
  • 应对挑战的建议:  他建议学术界和政府合作,通过研究和政策来引导 AI 的发展,确保其造福人类。 他强调需要关注教育、医疗、气候变化等领域的应用,并呼吁更多关注低资源语言的 AI 技术发展,避免技术霸权。
  • 个人发展建议:  他鼓励学生们积极参与 AI 相关领域的研究,抓住 AI 革命带来的机遇,在技术浪潮之初就积极参与其中。 他还建议人文社科专业的学生学习利用 AI 工具来辅助研究,并与计算机科学领域的专家合作。
  • 金句摘录

    • 像Sam Altman这样的人会谈到万亿美元的数据中心。顺便说一句,几乎所有这笔钱都花在了电费上。所以,如果是一个万亿美元的数据中心,会有多少个呢?也许美国有几个?中国有几个?只有很少的地方能承担得起万亿美元的投资。那么,为什么要花万亿美元呢?
    • 一个典型的满负荷运行的GPU大约5万美元。十万个GPU大约50亿美元,二十万个GPU大约100亿美元。埃隆在田纳西州令人印象深刻地建了一个拥有20万个GPU的数据中心,你可以在两到三年内将其折旧。所以这告诉你,三年多后,他必须拿出35亿美元的折旧来抵消他的收入
    • 大型语言模型只存在了两三年。所以我们现在就讨论这个领域已经饱和了,这真是太疯狂了...我敢打赌,这种所谓的放缓可能并不重要,因为游戏将在代理层面进行,它将使用任何可用的基础模型。大多数代理并不特别复杂。它们具有语言输入、语言输出,并且它们会做一些事情。
    • (被问及对学生的建议):非计算机科学的答案是学习Python,并学习如何使用这些基础模型中的Python接口来做有趣的事情。我从另一家规模很小的公司开始,他们正在做演示。他们所做的是只是使用大公司提供的Python API,并为此支付费用。
    • 所以在计算机科学中,总会有比你所在层级更高一层的游戏。你得到了操作系统,然后你有了语言之争,然后你有了语言之争,然后你有了平台之争,然后你有了应用程序之争,然后你有了更高级的应用程序之争。这很好。在每一层都能赚到很多钱

    埃里克·施密特简介

    埃里克·施密特(Eric Schmidt)是一位杰出的美国科技商业领袖,以其在谷歌的十年掌舵而闻名。他于2001年加入谷歌,担任首席执行官,直到2011年转任执行董事长,并在2017年卸任该职位,之后担任技术顾问至2020年。

    在施密特的领导下,谷歌从一家初创公司发展成为全球科技巨头。他精明的商业策略和管理才能帮助谷歌成功上市,并推出了众多标志性产品,例如Gmail、Google Maps和Android操作系统。他重视数据驱动决策,并建立了谷歌独特的创新文化。

    施密特拥有普林斯顿大学电子工程学士学位和加州大学伯克利分校计算机科学博士学位。在加入谷歌之前,他曾在Sun Microsystems和Novell等科技公司担任重要职务。

    离开谷歌后,施密特继续活跃于科技领域,担任多家公司的顾问,并积极参与公共事务和慈善事业。他关注人工智能、国防科技等领域,并通过施密特期货(Schmidt Futures)致力于支持下一代科技领袖。 他曾在奥巴马和特朗普政府时期担任科技顾问,对美国科技政策产生过重要影响。

    访谈内容

    主持人: 我很高兴欢迎Eric Schmidt回归,他是我们董事会的前成员,也是76届的成员。他是一位成就卓著的技术专家、企业家和慈善家。作为2001年到2011年谷歌的首席执行官和董事长,他与联合创始人谢尔盖·布林和拉里·佩奇一起,将这家公司从硅谷的一家小型创业公司转变为今天的全球科技巨头。

    他随后在伯克利继续攻读研究生,然后在传奇的帕洛阿尔托研究中心(隶属于施乐公司)开始了他的职业生涯,还在太阳微系统和诺维尔公司担任过职务。如今,埃里克作为投资者、慈善家、作家和公务员,仍然深度参与科技领域,特别是人工智能领域。他和妻子温迪一起,创建了施密特家族基金会和施密特未来等多个组织,这些组织投资于人才和大胆的想法,以应对许多全球系统性挑战。正如克里斯提到的那样,他也是普林斯顿大学忠实的校友,

    并参与了校园内跨学科的研究项目。多年来,我个人受益于埃里克的智慧和指导,我非常珍惜我们一起应对人工智能时代新挑战的合作关系。埃里克,我们非常高兴你回到校园,并期待与你讨论你的新书。话不多说,我很荣幸请你与我一起,热烈欢迎埃里克。

    施密特:  请允许我花一点时间感谢克里斯校长和珍。我在这里上学的时候,还没有计算机科学专业。现在,计算机科学专业已经成为最大的专业。干得好!普林斯顿大学在几乎所有方面都超过了哈佛大学和耶鲁大学。

    主持人:  那么,您在70年代来到普林斯顿大学时,是什么让您选择学习电子工程?是谁或是什么促使您选择了这个方向?

    施密特:  有趣的是,我那时还年轻,显然并不真正知道自己在做什么。我记得,学校会安排校友招聘人员来跟我们面谈,以便我们申请。我与这个人谈了谈,感觉听起来还不错,所以我说,好啊。然后他们录取了我,以我当时的成绩,这在今天是不可能发生的。

    我来到这里后,是想学习建筑学。我参观了建筑学院,他们告诉我,他们所做的只是工作。很明显,他们只是工作,我觉得这有点不对劲。后来我意识到,我其实是一个计算机方面的人才,但当时还没有计算机科学专业。布莱恩·克尼汉,一位这里的教师,正在当时被称为工程217号楼的地方做演讲。那次演讲令人难以置信,他讨论了计算的起源,我当时想:“这就是我!”

    最有趣的事情,也是我如此感激普林斯顿大学的原因是,我遇到了杰夫·乌尔曼,他现在已经从斯坦福大学退休了,但他是一位才华横溢的教师。杰夫与贝尔实验室关系密切。顺便说一句,杰夫有个规矩,在你通过资格考试之前,他不会用你的名字称呼你,但他却用我的名字称呼我,因为我不是研究生。你知道,我们当时承受着多大的压力啊。

    在大学里,我们有一台叫做360-91的计算机。当时全世界只有三台这样的计算机。我现在拥有普林斯顿大学360-91的控制面板,如果你想看看古代的东西,我可以借给你。重要的是,我很清楚自己想做什么,而大学,不可思议的是,决定让我去做我想做的。例如,我拿的是电子工程学位,但我并没有上任何电子工程课程。

    我之所以提到这一点,是因为大学意识到让我快乐对我有好处,他们把我培养成了计算机科学家。当我从普林斯顿大学本科毕业时,我已经具备了研究生水平的计算机科学知识,因为我没有兴趣上其他课程。这也导致了我一生除了计算机科学什么都不懂,这是一个我试图弥补的错误。但我想要强调的关键点是,正是那位教师(对我来说,他那时非常年轻)的判断,给了我这个机会,我对此非常、非常感激。

    因为杰夫是贝尔实验室的顾问,我来到这里并为斯图·费尔德曼工作,他也在普林斯顿大学——一位才华横溢的天体物理学学生和毕业生,当时在贝尔实验室工作,他们正在开发Unix系统。这就是幸运开始的地方。当你处于即将爆发的事件的起源时,不要放弃。把它写下来,对吧?我们当时不知道自己在做什么,但他们肯定知道。我只是一个年轻人。

    斯图和我后来又去看过那座建筑,对吧?我们工作过的旧房间现在看起来像阁楼。但这就是起源的开始方式,对吧?对你们每个人来说,那个起源故事都非常重要。不要放弃那个机会。这样的机会并不经常出现,而且往往发生在你很年轻的时候。

    主持人:  那么,在考虑这本书的时候,您和您的合著者是如何决定一起写这本书的,你们各自带来了什么?

    施密特:  我想在座的各位都知道,我应该假设也许不是每个人,我想普林斯顿大学的每个人都知道亨利·基辛格是谁。你们这一代人中很多人可能不知道,但他无疑是20世纪最具历史意义的人物之一。他打开了中国的大门,与尼克松总统进行了谈判,诸如此类的事情。

    15年前,我在一次会议上认识了他,我们成为了朋友。他说:“为什么我无法从谷歌上删除所有关于我的负面信息?”这是典型的亨利式的评论。我告诉他:“你做不到。”他问:“为什么?”所以我邀请他去了谷歌,在那里,他向全体员工宣布谷歌是对现代文明的威胁,谷歌的每个人都对此很满意。被亨利·基辛格指责为威胁,这感觉很棒。这就是我们友谊的开始。

    有一次,我们开始谈论科技。几十年来,他一直在研究科技的影响。在战后的哈佛大学,他研究过康德。他对人类及其周围空间之间的关系非常感兴趣,我们如何感知事物以及技术如何改变我们的感知。

    有这样一个故事,当他在政府工作时,他实际上试图让政府给他一台电脑,一个计算机终端。那将是当时的时代共享终端,而他们拒绝了,因为他们认为这在他手中可能太危险了。所以他一直对此很感兴趣。他现在难以理解数学和算法。他不会打字。他几乎看不见。但他的大脑如此强大,我们共同努力,我和克雷格一起,让他理解了将会发生什么。

    《创世纪》中的观点从根本上来说不是关于技术的,我私下跟你们说过,我真的认为这所大学应该接受这些观点和问题,因为我也不知道答案。所以轮到你们了,我的标准答案是研究生会解决这个问题,对吧,因为他们必须写博士论文。写一篇关于本书中20或30个问题的博士论文,至少你能从普林斯顿大学获得博士学位,至少你会做一些新的事情,对吧?所有普通的博士论文都已经写过了。

    这是一种与人类智能相匹敌的新智能的到来,这对伦理、社会、养育子女和经济都至关重要。举个简单的例子,艾伦就在这里。你可以代表经济学界发言。如果我告诉你,这些技术将在三年内每年使生产力翻一番,因此每人的GDP将在五年内增长20%或其他什么数字,我相信你会说我们没有针对这种增长模式的模型,对吧,无论出于何种原因。而这看起来确实是一场非连续性的变化,而不是连续性的变化。

    主持人:  书中关于通才(polymaths)的讨论我非常喜欢,尤其是他们对取得重大突破的重要性,以及人工智能如同掌中通才的概念。我想请问您能否就此谈谈,并解释其重要性?

    施密特:  首先,为了避免别人认为我疯了(虽然我可能确实有点疯),让我们先设定一个信念体系。我称之为“旧金山学派”的观点认为,这将在两个季度(约18个月,也就是三年)内发生。我认为他们错了,他们的估计至少偏低了一倍,换句话说,我认为需要六年时间。如果这还不足以吓到你,那我告诉你六年后会发生什么。目前的基底模型在各个领域的知识测试中已经达到研究生水平的80%或90%。现在,没有人,甚至在座各位才华横溢的人,能够同时在所有领域做到这一点。这些基底模型将被连接起来……

    Shirley正在研究一个物理学模型,非常有趣。我可以举一些我们资助的化学方面的例子等等。当这些模型整合在一起时,你就会得到一个由人类驱动的通才,好的?接下来发生的是代理革命,这本质上是开发使用这些模型来解决问题的代理,我可以描述一下,你也可以很容易地描述。可以把它们想象成一个大型语言模型(LLM),它尝试各种方案,然后评估它们,再从有效和无效的方案中学习。这就像一个非常笨拙的旅行代理,但最终它会学会成为一个优秀的旅行代理,这是适用的。然后下一步是训练该系统具备好奇心和力量。

    学习新知识并积累力量,而力量并不意味着体力。它意味着影响力、在一个领域的支配地位等等,然后运行这个系统。那是什么?那是一个我们人类永远无法创造的通才,而在我讲述的故事中,这个通才将惠及你们每一个人,以及美国的每一个公民,事实上是全世界的每一个公民,这是一件非常重大的事情。我的一个标准笑话是,我一生都在管理软件人员。

    几乎和人类一样优秀,并且很快就能做得更好,至少和人类一样好。因此,你们每一位非计算机科学家和程序员,都可以拥有自己的程序员,他们会完全按照你的意愿行事,不像我的程序员。

    主持人:  说到普林斯顿的校训“为国家服务,为人类服务”,您认为人工智能在哪些方面可以发挥作用?

    施密特:  谈论负面影响总是更有趣,但让我们先谈谈积极方面。这些数字系统能够进行非常复杂的树状修剪,可以帮助你进行药物研发。你们有一个精准医疗计划,人工智能将成为这些决策的基础,分析所有信息,试图找到有效的方案。因此,你应该期待医学解决方案的巨大爆发式增长,解决长期困扰我们的问题。气候变化是普林斯顿大学的一个大型能源项目,我多少参与其中。事实上,一些在普林斯顿进行的建模工作是全国最好的,我之所以知道这一点,是因为我向政府推荐了这些工作。没有新的能源系统,你无法解决气候问题。新的能源系统需要人工智能。它们具体需要什么?具体来说,需要新材料。

    新的传输系统等等。这将由人工智能开发。教育。不用我在这里告诉各位学者,对世界最好的事情就是让世界更受教育。为什么我们没有一个能够以每个人自己的语言、以他们自己的学习方式教育每个人的AI系统?在我看来,这是一个可以学习的命题。

    想想全球医疗保健。美国拥有相当好的医疗保健,尽管我们总是抱怨。大多数国家都有护士执业者尽力为偏远村庄的大量人口服务。为什么他们没有一个应用程序来指导他们如何做得更好?想想这些事情的叠加效应。

    让我们谈谈化学、物理学等等。在我看来,科学中的大多数问题都是多尺度预测问题。我们正在构建的系统非常擅长解决多尺度预测问题。原因是,大型语言模型大致上是预测下一个单词。预测下一个单词与预测蛋白质序列的下一部分之间并没有太大区别。从算法的角度来看,它们非常相似。

    因此,刚刚获得诺贝尔奖的Demis通过他们的AlphaFold蛋白质建模证明了这一点,这是对生物学的巨大贡献,实至名归。所以可能还有许多其他好处,但大多数人关心什么?医疗保健、教育、安全和生活质量。我们真的可以从根本上改善全球的情况。

    主持人:  您刚才说谈论坏处比好处更容易,那么也许我们可以谈谈坏处,我想,你已经暗示了这一点……

    施密特:  好吧,很多事情让我担忧。对此有很多不同层次的担忧。最简单的说法是,当我身处硅谷时,感觉就像“万物皆有灵”一样。那里有太多的钱,你们这一代有那么多人在尝试新的想法来解决问题。我可以向你保证,世界上其他地方的人,所有普通人——因为你们都不正常,对不起,这么说吧,你们在某些方面很特别——普通人还没有准备好。他们的政府没有准备好,政府的流程没有准备好,相关的理论也没有准备好。他们还没有准备好迎接这一切。

    我可以举出很多没有准备好的例子。但是,举一个简单的例子,我现在就编一个。你有一个儿子或女儿,他们最好的朋友不是人类。他们最好的朋友是一个数字事物,无论你称之为什幺。规则是什么?如果那个孩子相当于马克·扎克伯格,那个可以决定你的孩子学什么和不学什么的代理家长,这可以吗?事实上,在书中,亨利对此非常非常明确;他非常担心像我这样的人做出这些决定。他希望有一群人,我认为这实际上代表了普林斯顿的各个学科,来就如何推广这些技术达成某种共识。

    它们正在影响人们的思维方式,这是非常强大的。所以,如果你考虑国家支持的虚假信息,这与你的最好的朋友是国家支持的,以及塑造某人身份和文化价值观的日常互动相比,是微不足道的。我们在书中谈到了一个叫做“doxa”的东西,这是一个希腊语词,指的是生活中根深蒂固的结构。这些不是法律,而是文化规范。是我们对良好行为的假设,它们因文化而异。它们会发生什么变化?

    因此,如果人工智能是由一个国家(希望是美国)构建的,那么其他所有文化会发生什么?我们只是碾压它们吗?他们已经在指责我们霸权主义,因为像谷歌这样的公司破坏了他们的文化,而谷歌相对来说是无害的,因为你必须向谷歌提问。想象一下,如果谷歌不是在回答你的问题,而是在告诉你一些事情。想想这会赋予谷歌这样的公司多大的权力。

    主持人:  那么,如果您考虑诸如创造力、同理心等人类特质,您如何看待人工智能补充甚至采用这些特质?

    施密特:  我认为这很大程度上取决于这些特质的训练方式。模型在最初生成时并不具备任何信念系统。所以,技术上来说,会先进行预训练,然后进行一系列微调,最终得到一种叫做RLHF的技术,即利用人类反馈来帮助模型改进。因此,许多决策都是在这一过程中做出的。所以你可以得到一个礼貌的LLM,也可以得到一个粗鲁的LLM,等等。重要的是,我们并不了解这种发展模式的结构。我举个简单的例子,像Sam Altman这样的人会谈到万亿美元的数据中心。顺便说一句,几乎所有这笔钱都花在了电费上。所以,如果是一个万亿美元的数据中心,会有多少个呢?也许美国有几个?中国有几个?只有很少的地方能承担得起万亿美元的投资。那么,为什么要花万亿美元呢?

    为了拥有一个能够发明其他人无法发明的东西,能够解决所有经济、物理和科学问题的“世界通才”,这或许值万亿美元。我的意思是,美国的武器计划就花费了万亿美元。这可能比美国资助的最大武器计划还要强大。这说得通。所以,如果你把它看作这样的模型,那么监管起来就容易多了,因为我们会知道它们的确切位置,因为它们会非常庞大。

    还有一种不同的观点,即这些技术会分散到更小的、分散的模型中。然后你就会面临一个巨大的、巨大的问题,那就是本质上的扩散。关于核扩散,已经有大量的文献了,到目前为止,这里的故事只有你们中的一小部分人会记得。在我本科毕业论文中,我写的是关于语言设计的论文。还有一个本科生写了他的毕业论文,内容是如何设计核弹的触发机制。当他的导师,一位物理学家,意识到他发明了什么时,他立即将其列为机密。

    所以大学面临一个问题,因为你必须向公众提交你的本科毕业论文。这对当时的领导层来说是一个很大的难题,那是在鲍恩总统任内。最终,人们决定,如果你写了一篇重要的、被列为机密的本科毕业论文,我们会直接给你本科文凭。我认为这是一个很好的安排。他后来成为了一位伟大的物理学家。

    所以这些问题很棘手,对吧?我非常担心扩散问题,因为我们知道世界上存在邪恶。我们明白这些系统具有不对称的强大力量。如果你认为每个人都能访问一个“世界通才”,而且这是一个重要的假设,即对它的访问相对分散,那么我们就会处于一个截然不同的世界结构中。

    主持人:  您谈到了万亿美元的数据中心,这引出了一个问题,即学术机构的作用。您还谈到了小型模型。你可以说,哎呀,学术机构应该构建小型模型或进行理论工作。您认为答案是什么?我的意思是,很显然,学术机构不应该与产业界竞争。但我们需要某种能力来做出贡献。

    施密特:  嗯,产业界的答案是,这里代表的超级聪明的人最终都会以某种方式成为这些机构的顾问或承包商,受其知识产权法的约束,并且不会进行开源。这大致是产业界的看法。事实上,我有幸成为启动普林斯顿-谷歌合作项目的人,据所有人的说法,这个项目都非常成功。我记得和州长一起(我想他仍然是州长——也许不久之后就不是了),无论如何,几年前我和他一起做了发布。我当时说的是,如果这个项目存在,我会把所有时间都花在这座大楼里,因为我会不惜一切代价得到一台不会让我熬夜的电脑。

    因为很久以前,当我还是个本科生的时候,我白天睡觉,晚上工作,因为电脑更快。我那一代人理解这一点,但这对其他人来说毫无意义。说真的,我白天睡觉,我想我没有去上课,但不知何故,他们还是给了我学位。但对每个人来说结果都不错。所以一种思考方式是,有没有更好的模式?首先,政府需要为这些研究提供更多资源。这是一个将改善美国、美国研究和美国大学的新工具。我们很多人都在努力争取做到这一点。

    有一个名为NAR的项目,我作为国会国家安全委员会成员的一部分,曾对此表示支持,并且很有可能获得通过。如果不行,我们需要想办法为普林斯顿大学提供1亿美元、2亿美元或3亿美元的资源。我会帮忙,我们会找到其他人来做这件事,等等。我们非常致力于解决这个问题。部分原因是我会自问,如果我是一名计算机科学系教师,为你工作,例如,我会对什么感到沮丧?不是我的学生或在这里工作——薪水很好。我忙于做我的事情,但我没有我需要的东西。

    这大致类似于当你观察物理学家时;例如,如果他们在加速器工作,他们实际上会为了靠近加速器而搬家20年。或者他们会去欧洲核子研究中心待上两三年,因为他们必须在物理上靠近它。我们在计算机科学领域没有这个。我应该提到,我们行业也有新的经济学。你们都熟悉这些东西的成本。一个典型的满负荷运行的GPU大约5万美元。十万个GPU大约50亿美元,二十万个GPU大约100亿美元。埃隆在田纳西州令人印象深刻地建了一个拥有20万个GPU的数据中心,你可以在两到三年内将其折旧。所以这告诉你,三年多后,他必须拿出35亿美元的折旧来抵消他的收入。

    那么他需要多少收入?每年100亿美元。Twitter的收入是多少?不是每年100亿美元。还有很多更糟糕的例子。像微软和谷歌这样的公司拥有如此多的资本,以至于他们实际上能够负担得起这个。我提到这一点的部分原因是,由于这种非凡的资本成本,整个竞争格局正在发生变化,这对大学和公司都是如此。

    上个月,有一些证据表明规模法则开始从其先前快速增长的速度下降。规模法则表明,随着功率和数据的增加,你会得到涌现行为。然而,改进的速度似乎正在放缓,没有人确切知道原因。目前还不清楚这是否属实,但我们在一两个月内就会知道结果。一种理论是我们已经吸收了世界上所有可用的公共信息,并且大多数模型都在收敛于此。

    当代理在未来一两年出现时,它们将变得更加复杂和昂贵。所以别担心;资本需求,特别是电力需求,将继续存在。最大的问题仍然是如何为其提供资金。在某些时候,这些AI初创企业的投资者将希望获得回报。他们会希望看到某种收入。这始终如此,每一代人都必须从硬件中吸取这个教训。现在,也许会发生;也许不会。

    主持人:  您刚才谈到了政府的作用,我很想知道您对政府在监管方面的作用的看法。另外,技术发展如此迅速,行动缓慢的政府如何才能真正希望更快地对其进行监管呢?

    施密特:  鉴于这些关于监管的讨论往往要持续数天,我尽量简短地回答。欧洲的做法是错误的。欧洲制定了一项名为《人工智能法案》(AI-EU Act)的法规,您可以阅读一下,内容相当令人沮丧。它基本上要求将安全放在首位。它最有趣的规定是系统必须能够解释其运行方式。如今,这项技术被称为“可解释性问题”。它们无法解释。也许将来可以。人们认为很快就能解决这个问题;也许真的会实现。

    在美国,我曾与美国、英国、法国和韩国的一组人员合作,制定了信任和安全模型,其中包括我参与制定的拜登行政命令法案。看起来,特朗普总统上任后的首批行动之一很可能就是取消该法案。所以我不认为我们知道答案,但我认为可以公平地说,在美国,无论围绕信任和安全的监管措施将会如何,它们都将与我预期的截然不同,而且会推迟很久。

    现在,如果您是一位试图做一些疯狂事情的企业家,这对您来说是个好消息。但如果您是一位担心这些工具危险性的人,那可不是好消息。

    主持人:  那么,当您考虑人工智能中尚未充分探索的问题时,如果您现在是一名研究生或本科毕业论文的学生,您会研究什么呢?

    施密特:  有很多啊。我们遇到了一位名叫Declan的研究生,他向我解释说,神经科学中的大脑模式与这些神经网络之间的关系实际上要密切得多,并且与人脑相比,计算机的能力可能存在局限性。换句话说,我将此呈现为人类将受到限制而计算机将表现出色。但是如果,他就在这里,你可以在你的博士研究中推测一下,如果这种限制也适用于人工智能呢?我想知道答案。我对智能体非常非常感兴趣。

    我认为研究工作中的一件事是,你想选择那些不会很快被解决的问题。例如,我举一个简单的例子:气候变化中的太阳能和电池改进。有很多人在研究这个问题。这些都是重要的问题,但除非你非常聪明,比我聪明得多,否则你不会在那里做出全新的发现。也许即使那样也做不到。

    在智能体的概念中,智能体是如何工作的?它们如何互相交流?语言是什么?如何协调它们?如果你有一堆并行的智能体,它们都在等待信号,你首先调用哪个?有很多调度和组织问题具有重大意义。我认为这可能是研究的下一个前沿。对您问题的总体答案是智能体,具体问题是如何有效地协调它们。

    普林斯顿大学正在进行关于Transformer架构和基本算法限制的研究。如果有人能够在Transformer之后取得下一个重大突破,那将是一个重大的突破。我不确切知道那将如何运作,但这仍然是一个令人兴奋的前景。

    最后,我向您介绍了今天的进展:我们正在从语言到语言的模型转向任何东西到任何东西的基础模型。然后我们进入智能体循环,其中强化学习 (RL) 用于分析场景。复杂性有了巨大的飞跃,因为作为计算机科学家,我们考虑的是可扩展性和复杂性。挑战在于智能体如何执行树搜索以评估其不同的选择,以便确定其行动;这是一个非常重要且困难的问题。我会从事这方面的研究。

    主持人:  您希望在这个领域留下什么遗产?

    施密特:  首先,以我这个年纪,令人不安的是,两年后我将迎来我的50周年纪念日。我还没有在心理上接受这个事实,但我想我们最终都必须面对它。我相信,杰出的天赋能够改变世界。所以现在我们面临这样的情况:我们拥有能够让杰出人才以非线性水平扩展的工具。情况是这样的。人才是这样发展的。科学家是这样发展的,等等。在某个时刻,我的行业相信实际上会有AI生成的科学家。所以你会有使用AI的人类科学家,然后你会有AI科学家。我们共同认为,这种发展速度会变得更快。这就是社会尚未做好准备的原因。

    新一代人将会出现,他们将会赚取巨额财富。新一代企业家,我现在还不认识他们,但他们将比埃隆和乔布斯等更富有、更成功、更著名。因为这种加速创造了一种难以想象的大规模可能性。所以,如果你回顾我的职业生涯,我从这里开始,在计算机中心工作,当时这是一个87号项目。这早在你之前了。而今天它被用于其他用途。因为我住在那儿,所以我非常了解它。顺便说一句,我发现可乐的成本是五分钱,我发现他们将可乐机的价格提高到十分钱,我决定抵制它。

    然后他们涨价到20美分,我意识到我的抵制对它没有任何影响。但我认为这里关键是要找到一种方法让自己置身于这些曲线之中。多亏了普林斯顿大学,我在每次革命的开始都取得了最大的成功。这就是你想要待的地方,因为当它们发展壮大时,简直难以置信。所以化学、科学、数学,所有这些都将被转化为这种模式。所以在某种意义上,你们是承担这一重任的最佳一代人,对吧?现在轮到你们了。

    主持人:  现在也轮到他们提问了。我现在开放提问环节。我们特别希望学生们提问。所以请您等待麦克风,以便我们能够听到您的声音,并在提问前介绍一下自己。

    提问者:  您好,感谢您的演讲。我叫克里斯·卡塔拉诺,是分子生物学专业的四年级研究生。我非常欣赏您对人工智能的观点,并且我与您对科技和人工智能的未来有着许多相同的梦想、乐观和希望。然而,看到目前国家和世界的现状,以及观察到社交媒体对许多人的影响,您提到例如人们可以触手可及地获得各个领域的专家或通才,每个人都能做到这一点。但在我看来,人们更有可能将其用于观看能让他们发笑或愤怒的视频,以及只会证实他们偏见的资讯。所以,也许有一天,社会将准备好使用您所谈到的技术。然而,在我看来,这个过渡过程将非常不稳定。社会该如何应对这一转变?

    施密特: 有一点值得一提的是,我们当中没有人会在发明社交媒体时想到它会成为对民主的威胁。这不在属性列表中。这些是影响人类的技术带来的意外后果。我的简单答案是,这件事主要由没有上过这些课程的技术人员完成,因为他们太忙了。所以他们真的感到很惊讶。

    亨利会发表关于乐观主义等等的言论。他说,埃里克,你唯一的问题是,你所说的所有内容都与任何历史记录不相符。我说,嗯,我没有上过历史课;我没有时间。所以,我认为这一次,我们写这本书的原因是为了让每个人都开始思考这些问题。

    虚假信息问题很容易识别。社交媒体公司选择不去监管它,因为他们没有被要求这样做,而且这样做能赚更多的钱。这是一个监管问题。我确实认为,这里存在一个真正的危险,即这些系统可能会围绕个人的特殊性进行优化,找到志同道合的人,然后让他们发疯。

    要彻底悲观一点,无论你我是否同意,这件事都会很快发生,因为资金太多,规模太大,竞争对手太多。

    提问者:  非常感谢您与我们在一起,施密特先生。我是一名经济学专业的高年级学生。您提到了规模定律以及它们是否正在放缓。我知道最近有很多讨论关于预训练规模是否正在放缓,以及链式思维推理是否是一个新的扩展维度。所以我的问题是,您认为我们能否在这两个维度上进行扩展,以及在一个到两个月内会发生什么事情让我们对这个问题有更好的了解。谢谢。

    施密特: 这是一个很好的问题,这些还处于早期阶段,业内存在早期的担忧。因为整个模型都是围绕着每一层出现的。这些模型大约需要18个月才能制作完成。所以当您开始时,它的工作方式是您花费六个月的时间胡乱尝试,尝试不同的算法。这就是大学联系发挥作用的地方。

    然后您开始建立模型。它们通常在所谓的专家混合模型中进行训练。因此,它们会将训练划分开来,有时专家混合模型不起作用,因为它无法整合在一起。有一种叫做损失函数的东西,等等,他们会对其进行优化。

    有些人认为这仅仅是因为资金数额巨大而产生的紧张情绪,也有人认为存在根本性的放缓。我说这些话的原因是,在某种程度上这并不重要,因为游戏将在更高一层进行。

    所以在计算机科学中,总会有比你所在层级更高一层的游戏。你得到了操作系统,然后你有了语言之争,然后你有了语言之争,然后你有了平台之争,然后你有了应用程序之争,然后你有了更高级的应用程序之争。这很好。在每一层都能赚到很多钱。

    我敢打赌,这种所谓的放缓可能并不重要,因为游戏将在代理层面进行,它将使用任何可用的基础模型。大多数代理并不特别复杂。它们具有语言输入、语言输出,并且它们会做一些事情。所以这就是我的看法。

    提问者: 非常感谢您的演讲。实际上,我是一位历史学博士,所以我的问题很简单。您对像我这样的来自人文背景的学生在即将被科技知识主导的世界里有什么建议吗?谢谢。

    施密特:  所以这是,对不起,你说历史?是的。所以我首先会做的是,我会使用谷歌的Notebook LM,我会把你在历史研究中所做的一切都放进去。Notebook LM 本质上汇总所有信息来源,然后你可以开始进行查询。它有一个非常有趣的功能叫做播客,它可以制作一个非常有趣的合成播客。对于你作为研究人员来说,我会把所有东西都放入我的笔记本,然后我会用它来获得更深入的见解。这是我会做的第一件事。第二件事是找到一个试图构建历史语言模型的人。换句话说,就是能够理解历史并预测事物的东西。我会将自己,就你的情况而言,作为一个专家,作为一个历史学家,与这项工作联系起来。我认为这两条路径都可能为一个变化不大的学科带来非常有趣的结果。

    提问者:  你好,埃里克。我是罗德里戈。我是一个数学专业学生。

    施密特:  普林斯顿大学的二年级学生?我非常了解罗德里戈。

    提问者:  很高兴您来到普林斯顿。

    施密特:  谢谢。你是一位令人难以置信的伙伴。我们去年夏天一起工作过,你是我用来举例说明为什么普林斯顿本科生将接管整个世界的原因。

    提问者:  哦,我现在真的非常荣幸。非常感谢。我想我的问题是,假设我们拥有这些比最著名的数学家、物理学家还要强大的系统,您认为拥有这些系统会如何改变学术界以及普林斯顿等机构通常进行学术研究的方式?例如,您是否会看到更多人进入博士项目,或者博士项目运作方式和发展方式会发生彻底的转变?您会在未来几年看到这些机构的学术变化吗?

    施密特:  这本书对此进行了详细的论述,我谈了很多关于计算机能做什么。但理解这个问题更好的方法是,人类将如何与这些强大的系统互动?这大致就是你所问的。在我看来,在普林斯顿的所有领域,每个人都会整天使用这些系统。

    所以数学家会学习数学,然后他们会提出猜想,然后你就会得到一些东西来证明它们。然后他们会给你一些证明,并说,提出猜想,反之亦然。换句话说,教育的方式是你必须与计算机一起学习。

    这就是我的猜测。对于你作为一名本科生,我的猜测是,当你进入普林斯顿时,因为普林斯顿的学生非常优秀,他们会假设你甚至在高中就已经知道如何使用这些系统来获得一些基本的学习和知识,并驱动它们。

    在数学方面,你是一位真正的数学家(我只是编造的),我认为数学的最终途径是,你将拥有能够生成猜想的计算机和能够生成证明的计算机。偶尔,两者都会产生一些非凡的东西。但这最终还是需要数学家来指导,至少十年内是这样。

    坦率地说,当你从这里获得数学博士学位时,你可能最终会做的事情就是这样。除非你来找我工作,这是另一码事。

    提问者: 你好,埃里克。我叫康纳。我只是想感谢你来和我们讲话。我是电子工程系三年级的学生,我正在努力协调在我未来的技术行业职业生涯中使用这些功能强大的AI模型。所以,我只是想问你,对于学习技术科目、准备与AI一起工作,但仍然能够自己研究这些有趣问题的学生,你有什么建议?

    施密特:  让我先给你一个非计算机科学的答案,然后再给你一个计算机科学的答案。非计算机科学的答案是学习Python,并学习如何使用这些基础模型中的Python接口来做有趣的事情。我从另一家规模很小的公司开始,他们正在做演示。他们所做的是只是使用大公司提供的Python API,并为此支付费用。他们能够进行图像分类、各种二分法、信息分割、新图像生成等等。现在构建原型非常容易,尤其是在使用Python的情况下,尤其是在它不会成为某个巨大的可扩展系统的情况下。所以,从大学和研究的角度来看,一种思考方式是演示就足够了。我想象一下,让我们回到我们的历史学家和她遇到的问题。她最明显的事情就是取她正在研究的历史文本,然后……

    ……然后取历史图像,让系统基本上对作品进行剖析、分类和其他分析,这本来是她必须手工完成的工作。所以这些工具在那里非常强大。从计算机的角度来看,这还不够好。然后你必须设计规模,这意味着你必须使用真正的编程语言,你必须拥有真正的架构,你必须拥有真正的安全性等等。这就是为什么我们这里有计算机科学系。

    提问者: 您好,我叫Joey,是一名计算机科学专业的三年级学生。非常感谢您来这里做演讲。我实际上有一个关于研究方向的后续问题。作为一名非常感兴趣并正在进行大型语言模型研究,并且有志于攻读研究生课程的本科生,我非常认同您关于在新的浪潮之初找到自我的观点。您是否觉得大型语言模型领域已经趋于饱和?您是否觉得……您提到了寒武纪生命大爆发,对吧?寒武纪生命大爆发就是一个例子,它说明了增加生物感知世界的方式数量导致了生物多样性的爆炸式增长。因此,我想知道您是否认为下一个研究领域会在空间智能或视觉语言模型领域,例如将其他形式的感知与自然语言结合起来?或者您是否认为我们仍然可以在语言领域取得更大的发展?

    施密特: 请记住,大型语言模型只存在了两三年。所以我们现在就讨论这个领域已经饱和了,这真是太疯狂了。我仍然认为我们正处于起步阶段。我相信大型语言模型会随着时间的推移而不断发展,因此,你的研究领域依然具有价值。我强烈建议你继续在这个领域深造,获得博士学位。

    我鼓励你在你这个年纪选择这条道路的原因是,你面前还有许多你目前无法预见的东西。我有幸多年来观察了科技的演变。我上大学时使用的电脑,是整个校园共享的,其速度比你口袋或钱包里的手机慢了亿万倍。这相当不可思议,对吧?感谢物理学家和半导体先驱们使这一切成为可能。这让我能够向普林斯顿大学捐款,也为我的家庭提供了教育机会,最终过上了舒适的生活。

    在技术方面,大型语言模型中还有许多未解之谜,例如脆弱性、不可预测性和可解释性。有很多深入的研究课题你可以探索,仅仅通过解决这些挑战,你就能获得大量的博士学位。我相信你关于整合传感器模型和视觉模型的想法是一种新颖的方法。你绝对应该尝试一下。幸运的是,在普林斯顿大学,作为一名本科生,你就有机会这么做。

    提问者: 谢谢您。我叫HAP。很荣幸能聆听您的演讲。我的研究是关于为非洲低资源语言创建技术。您也知道,当前的技术主要集中在高资源语言,尤其是英语上。那么,我们如何扩展或如何提高低资源语言的包容性呢?

    施密特: 行业中有一种观点认为,你可以使用高资源语言(英语),然后将其微调到你要谈论的语言的语言结构。如果这是真的,那么这是一个很好的解决方案。如果不是真的,你能否作为一名研究人员找到使其成为现实的方法?因为否则,我们将面临美国霸权统治世界的问题。

    我将提供一个更普遍的观点来论证这一论点。如果你像我一样相信,美国和中国将在未来20年在这个领域展开激烈的竞争,那么这将使大多数其他国家落后。这些都是拥有自己文化和自己语言的自豪的国家。我们该如何安置它们呢?

    现在,典型的美国人会说,说英语有什么问题?好吧,这在我看来有点愚蠢。如果我们真正适应他们的文化习俗、语言等等,岂不是更好吗?语言是文化的一个关键方面。这就是你所做的事情如此重要的原因。

    但我认为技术上的答案是,应该有可能对这些低资源语言进行微调,因为语言具有共同的结构。

    施密特:  100种语言之间的翻译很容易实现。计算机语言之间的翻译也一样。

    主持人:  很好。非常感谢各位的光临。

    施密特:  我还想再说一次。对于在座的各位,我想大家都是教职工或即将毕业的学生,能够来到这里是一种荣幸。我第一天来的时候就知道这一点,直到今天仍然如此。非常感谢。谢谢。

    参考资料: https://www.youtube.com/watch?v=xFz80aaGeQs,公开发表于2024-11-21

    关注公众号后设🌟标,掌握第一手AI新动态

    往期精选

    1. 黄仁勋专访:OpenAI在大模型混战中达到“逃逸速度”
    2. 李飞飞与Justin深度解读空间智能:数字世界需要三维表征,才能与现实世界融合
    3. PayPal创始人彼得·蒂尔:人类科技停滞源于原子方面的进展远慢于比特
    4. 谷歌联合创始人布林:巨头们打造的“上帝模型”几乎可以理解一切
    5. 马斯克:AI将使商品和服务的成本趋近于零
    6. Karpathy最新专访:人形机器人、特斯拉、数据墙与合成数据


    瓜哥AI新知
    紧追AI业界一手观点、访谈、动态,点滴构建AI底层认知
     最新文章