黄仁勋2万字专访：揭秘马斯克19天不睡觉建成10万GPU超算中心！

Jensen Huang接受Bg2 Pod Youtube频道专访

★

内容导读：

一、Nvidia的竞争优势和护城河：

• 全栈 dominance：Nvidia的竞争优势远超仅仅是优越的芯片。它建立在十年来开发整个AI栈的基础之上，从GPU和CPU到网络和关键软件库（如cuDNN、cuQuantum、Rapids）。这为竞争对手制造了巨大的进入壁垒。由于整个技术栈的复合改进，他们的护城河现在比三四年前更强大了。
• 专注于整个AI飞轮：Nvidia不仅仅优化单个应用程序，而是专注于加速整个AI开发周期（“飞轮”），从数据整理和准备到训练和推理。每一步都至关重要并得到了优化。
• 超越FLOPS：仅仅基于FLOPS的传统芯片比较已经过时。Nvidia优先考虑整体系统性能和效率，理解并行处理受益于更多稍慢的晶体管，而不是更少更快的晶体管。他们的特定领域库是这一优势不可或缺的一部分，使他们的架构特别适合AI工作负载。
• 架构兼容性：Nvidia在几代硬件之间保持架构兼容性，确保旧硬件在推理任务中仍然有价值，并创造了庞大的安装基础。这进一步巩固了他们在市场中的地位。

二、AI的现状和未来：

• 指数级增长：AI的变化速度是前所未有的，这得益于Nvidia的创新带来的计算能力“超级摩尔定律”加速。这种快速进步是复合的，体现在训练、后训练和推理方面的改进。
• 变化的格局：AI格局正在超越简单的预训练模型，涵盖后训练、大规模推理、多模态、合成数据生成和高级推理能力。
• 推理的兴起：推理变得越来越重要和复杂，需要高带宽和计算能力。Nvidia的架构完全有能力满足这一需求。
• 视频和多模态模型：AI的未来远不止文本模型，还包括视频处理和多模态模型，这进一步增加了计算需求。语言模型将成为众多应用程序的组成部分。
• AGI即将到来：在不久的将来会出现“个人AI助手”，尽管最初并不完美，但会随着时间的推移不断改进。

三、Nvidia的战略和商业模式：

• 市场创造者，而非市场份额掠夺者：Nvidia的重点是创造和扩展AI计算市场，而不仅仅是从竞争对手那里抢夺市场份额。他们的战略包括持续创新和创建一个可在各种环境（云、本地、边缘）中使用的平台。
• 年度平台革新：Nvidia的目标是每年构建一个全新的AI计算平台，在提高性能、降低成本的同时提高能源效率。他们鼓励客户逐步升级。
• 生态系统整合：Nvidia积极将其技术整合到主要的云提供商（AWS、GCP、Azure）和本地系统中，保持跨平台的兼容性和可访问性。
• 应对定制ASIC：来自竞争对手的定制ASIC（例如亚马逊的Trainium、Meta的推理加速器）不是威胁，而是补充，与Nvidia更广泛的平台共存。
• 长期合作伙伴关系：与供应伙伴长达十年的合作关系对于Nvidia进行创新和大规模交付至关重要。

四、OpenAI和更广泛的AI生态系统：

• OpenAI的重要性：OpenAI被誉为一家推动AI技术进步和公众意识的高度重要的公司。他们的快速增长和成功证明了市场的潜力。
• 模型商品化和整合：承认模型创建日益商品化，预计模型层将整合到少数拥有强大经济引擎的主导者手中。
• 开源的作用：开源模型对于推动更广泛的采用和跨各个行业和科学领域的创新至关重要。Nvidia自己的开源模型对此做出了贡献。然而，闭源模型对于资助持续创新也是必要的。

五、工作的未来和AI的影响：

• 提高生产力：在AI的推动下，人类生产力将大幅提高，抵消近期生产力增长放缓的趋势。AI将从根本上改变所有工作。
• AI作为合作伙伴，而非替代者：AI将扮演合作伙伴的角色，增强人类能力，而不是简单地取代人类工人。随着公司通过AI变得更有效率，他们可能会雇佣更多的人。

★

金句摘录：

• 现在，我们看到了后训练的扩展，以及推理中的扩展。是不是这样？因此，人们过去认为预训练很难，而推理很容易。现在，一切都难了。对，这其实挺合理的。认为所有人类的思考都是一次性的想法有点荒谬。因此，一定存在快速思考和慢速思考、推理和反思的概念。迭代和模拟等等。
• 所以早期，我们有很多模型公司，比如Character、Inflection、Cohere、Mistral等等。很多人质疑这些公司是否能够建立起能够持续资助下一代模型的经济引擎。我个人的感觉是，这就是你看到整合的原因，对吧？OpenAI显然已经达到了这种逃逸速度，他们可以资助自己的未来。
• 从概念形成到数据中心准备好安装英伟达的设备，到我们启动设备、完成所有连接并进行第一次训练，对吧？没错。所以这第一部分，仅仅是建造一个大型工厂，液冷、通电、获得许可，在如此短的时间内完成，这简直是超人的成就。据我所知，世界上只有一个人能做到这一点。我的意思是，埃隆在工程、建设、大型系统和资源调度方面的理解是独一无二的。难以置信。
• 乱序执行无法预先完成。所以很多事情只能在运行时完成。对吧？所以，无论你从计算机科学的角度考虑，还是从智能的角度考虑，很多事情都需要上下文。对吧。环境。你正在寻找的答案类型。有时一个快速的答案就足够了。对吧。取决于答案的重大影响。对吧。取决于该答案的使用性质。因此，有些答案。请花一晚上的时间。有些答案需要一周的时间。
• 直觉上，一个AI坐在那里循环生成数据来学习自身的想法听起来很脆弱。你能绕着这个无限循环走多少次，这个循环，值得怀疑。然而，我的脑海中的画面有点像，你找到一个超级聪明的人，把他关进一个软垫房间，关上门大约一个月，出来的可能不是一个更聪明的人。但如果你能有两三个人坐在一起，我们有不同的AI，我们有不同的知识分布，我们可以来回进行问答，我们三个人都能变得更聪明。
• 我有60个直接下属。对吧，他们之所以在eStaff，是因为他们各自领域的世界级专家，他们做得比我好。我和他们相处没有任何问题，我也不会在提示工程方面有任何困难。完全没问题。我不会在编程方面有任何困难。所以我认为人们将要学到的是，他们都将成为CEO。对吧，他们都将成为AI代理的CEO

黄仁勋（Jensen Huang）简介

黄仁勋 (Jensen Huang)，1963年出生于台湾台南，是一位美籍台裔企业家，也是全球知名科技公司英伟达 (NVIDIA) 的联合创始人、总裁兼首席执行官。

1984年，黄仁勋毕业于俄勒冈州立大学，获得电子工程学士学位，随后在斯坦福大学获得电子工程硕士学位。1993年，年仅30岁的他与两位合伙人共同创立了英伟达，并一直领导公司发展至今。

在他的带领下，英伟达从一家显卡制造商，转型为人工智能、游戏、数据中心等领域的领军企业。他被誉为“GPU之父”，因其对图形处理器的贡献和对人工智能发展的推动而享誉全球。黄仁勋也因其卓越的领导力和技术远见，多次获得《时代》杂志全球最具影响力人物等荣誉。

访谈完整图文

主持人A：今天是10月4日星期五。我们在英伟达总部，就在Altimeter街对面。我们的投资者会议，我们的年度投资者会议将在周一举行，届时我们将讨论人工智能的所有后果，以及我们如何快速扩展智能。而我实在想不到比你更合适的人来启动这次会议了。作为股东，作为思想伙伴，你不断地给我们提出新的想法，让我们变得更聪明。我们非常感谢你的友谊。所以感谢你来到这里。很高兴来到这里。你知道，今年的主题是将智能扩展到AGI。当我们在两年前进行这项工作时，我们是在人工智能时代进行的，这比ChatGPT出现早了两个月，这真是令人难以置信。想想看，所有这些都改变了。所以我认为我们会从一个思想实验和一个预测开始。如果我口语化地将AGI理解为我口袋里的那个私人助理，

如果我将AGI口语化地理解为我口袋里的那个私人助理。我正在逐渐适应它。没错。

你知道，它了解我的一切，它对我有完美的记忆，它可以与我交流，它可以为我预订酒店，或者为我预订医生预约。当你观察当今世界的变化速度时，你认为我们什么时候才能在口袋里拥有这样的私人助理？

黄仁勋：很快，某种形式的。很快就会出现某种形式的。而且随着时间的推移，这个助理会变得越来越好。这就是我们所知的技术的魅力所在。所以我认为一开始它会非常有用，但并不完美。然后随着时间的推移，它会变得越来越完美，就像所有技术一样。

主持人A：当我们观察变化速度时，我认为埃隆·马斯克说过，唯一真正重要的是变化的速度。对我们来说，感觉变化的速度已经显著加快，是我们见过的关于这些问题的最快变化速度。因为我们已经像你一样围绕人工智能研究了十年，你甚至更久。这是你职业生涯中见过的变化速度最快的时候吗？

黄仁勋：之所以如此，是因为我们重塑了计算。很多事情之所以发生，是因为我们在十年内将计算的边际成本降低了10万倍。摩尔定律大约是100倍。是的。我们通过几种方式做到了这一点。首先，我们引入了加速计算，将在CPU上效率不高的工作放在GPU上处理。其次，我们发明了新的数值精度。再次，我们采用了新的架构，发明了张量核心，改变了系统的构建方式，例如NVLink，增加了极快的内存HBM，并通过NVLink和InfiniBand进行大规模扩展，并优化了整个技术栈。

对。这就是我描述的英伟达做事的方式。这导致了超摩尔定律的创新速度。现在，真正令人惊奇的是，由于这一结果，我们从人工编程转向了机器学习。而机器学习的惊人之处在于，它可以快速学习。事实证明如此。因此，当我们重塑计算分配方式时，我们进行了各种并行化处理。张量并行、流水线并行等等。各种并行化。我们擅长在这些基础上发明新的算法和新的训练方法。所有这些发明都在相互叠加，对吧？

回到过去，如果你看看摩尔定律的工作方式，软件是静态的。对，它是预编译的，包装好后放到商店里出售。它是静态的。而底层的硬件则以摩尔定律的速度增长。对。现在，我们整个技术栈都在发展，对，在整个技术栈上进行创新。所以我认为这就是——现在，我们突然看到了非同寻常的扩展。当然，这非同寻常。但我们过去常常谈论预训练模型和那样的扩展，以及我们如何将模型大小加倍，因此相应地将数据大小加倍。结果，所需的计算能力增加了四倍。这是一件大事，但现在，我们看到了后训练的扩展，以及推理中的扩展。是不是这样？因此，人们过去认为预训练很难，而推理很容易。现在，一切都难了。对，这其实挺合理的。认为所有人类的思考都是一次性的想法有点荒谬。因此，一定存在快速思考和慢速思考、推理和反思的概念。迭代和模拟等等。现在，这些都出现了。

主持人B：我认为，关于英伟达最被误解的一点是其护城河的深度。我认为外面有一种说法，认为只要有人发明了一种新的芯片，一种更好的芯片，他们就赢了。但事实是，过去十年来，你们一直在构建完整的技术栈，从GPU到CPU到网络，特别是支持应用程序在英伟达平台上运行的软件和库。

主持人B：所以我想你已经谈到了这一点，但是当你考虑英伟达今天的护城河时，你认为英伟达今天的护城河比三到四年前更大还是更小？

黄仁勋：嗯，我很感激你认识到计算方式的变化。事实上，人们之所以认为，而且许多人仍然认为，你设计了一款更好的芯片，是因为它具有更多的浮点运算能力，更多的比特和字节。你知道我的意思吗？是的。你会看到他们的主题演讲幻灯片。上面充满了这些浮点运算、比特和字节以及各种柱状图。这些都很好。我的意思是，性能确实很重要。是的。所以这些东西从根本上来说确实很重要。然而，不幸的是，这是旧思维。从软件是运行在Windows上的某个应用程序的角度来看，这是旧思维。软件是静态的。

黄仁勋：这意味着改进系统最好的方法就是制造越来越快的芯片。但我们意识到机器学习不是人工编程。机器学习不仅仅关乎软件。它关乎整个数据管道。事实上，机器学习的飞轮是最重要的。那么，你如何看待一方面启用这个飞轮，另一方面使数据科学家和研究人员能够在这个飞轮上高效工作？而这个飞轮从一开始就启动了。许多人甚至没有意识到，需要人工智能来整理数据来训练人工智能。而人工智能本身就非常复杂。

主持人A：而且人工智能本身也在改进？它也在加速，你知道，当我们考虑竞争优势时，对吧？它是所有这些的组合。

黄仁勋：所有这些系统……没错，没错。这正是导致这种情况的原因。由于更智能的 AI 来整理数据，我们现在甚至有了合成数据生成和各种不同的数据整理、呈现方式。所以在开始训练之前，你就要进行大量的预处理工作。所以人们会想，哦，PyTorch 就是世界的开始和结束。它确实很重要。但是别忘了，在 PyTorch 之前，还有很多工作要做。在 PyTorch 之后，也有很多工作要做。关于飞轮的关键在于你应该如何思考这个问题。我该如何看待这个整个飞轮？我该如何设计一个计算系统、一个计算架构来帮助你充分利用这个飞轮？它不仅仅是训练这个应用的一个环节。这只是一步。飞轮上的每一步都很难。所以你首先应该做的是，不要去想如何让 Excel 跑得更快，如何让 Doom 跑得更快？那是过去的日子了，对吧？现在你必须考虑如何让这个飞轮转得更快？而这个飞轮有很多不同的步骤。

正如你们所知，机器学习没有什么是容易的。OpenAI、X 或者 Gemini 和 DeepMind 团队所做的事情，没有什么容易的。我的意思是，他们所做的没有什么容易的。所以我们决定，看，这真的很困难。这才是你真正应该考虑的。这是整个过程。你想加速其中的每一部分。你想遵循阿姆达尔定律。阿姆达尔定律表明，如果这部分占用了 30% 的时间，而我将其速度提高了三倍，实际上并没有将整个过程的速度提高那么多。明白了吗？对。你真的想创建一个系统来加速其中的每一个步骤，因为只有这样才能真正有效地提高周期时间。而这个飞轮，这个学习速度，最终才是导致指数级增长的原因。

所以我想说的是，我们对一家公司所做工作的视角体现在产品中。对，注意，我一直在谈论这个飞轮。整个周期，是的。我们加速一切。现在，目前主要关注的是视频。很多人关注物理 AI 和视频处理。对，想象一下前端。每秒数 TB 的数据涌入系统。首先准备好进行训练。所以整个过程都是 CUDA 加速的。

主持人B：而人们现在只考虑文本模型。但未来是视频模型，以及使用一些像 O1 这样的文本模型来预处理大量数据。

黄仁勋：是的，语言模型将参与到所有事情中。训练这些大型语言模型，需要业界付出巨大的技术和努力。现在我们在每个步骤中都使用大型语言模型。

主持人A：这太了不起了。我不是想过度简化这个问题。但我们总是从投资者那里听到，定制 ASIC ，竞争模式将被打破。我听到你说的是，在一个组合系统中，优势会随着时间推移而增长。所以我听到你说，我们今天的优势比三到四年前更大，因为我们正在改进每个组件。这是组合式的。当你考虑例如英特尔这样的商业案例研究时，对吧？他们在堆栈中拥有主导模式，占据主导地位，这与你们今天的情况比较一下，对比一下你们的竞争优势，也许是他们周期顶峰时的竞争优势。

黄仁勋：英特尔非常出色，因为他们可能是第一家在制造、工艺工程制造方面非常优秀的公司。而制造之上的一步，就是制造芯片。设计芯片和架构x86架构，并制造越来越快的x86芯片，这就是他们的才华所在。他们将它与制造融合在一起。我们公司有点不同，我们认识到这一点，事实上，并行处理不需要每个晶体管都非常优秀。

串行处理需要每个晶体管都非常优秀。我们希望每个晶体管都非常优秀。并行处理需要大量晶体管才能更具成本效益。我宁愿拥有 10 倍多的晶体管，速度慢 20%，也不愿拥有 10 倍少的晶体管，速度快 20%。明白了吗？他们想要相反的结果。因此，单线程性能、单线程处理和并行处理是截然不同的。

因此，我们观察到，事实上，我们的世界不是关于做得更好。我们希望尽可能地做到最好。但我们的世界实际上是关于做得更好。并行计算、并行处理很难，因为每个算法都需要以不同的方式重构和重新设计算法以适应架构。人们没有意识到的是，你可以有三种不同的 ISA（指令集架构），CPU ISA。它们都有自己的 C 编译器。你可以获取软件并编译到该 ISA。

在加速计算中这是不可能的。在并行计算中这是不可能的。提出架构的公司必须提出自己的 OpenGL。因此，由于我们称为 cuDNN 的特定领域库，我们彻底改变了深度学习。如果没有 cuDNN，没有人会谈论 cuDNN，因为它位于 PyTorch 和 TensorFlow 之下的一层，在过去，还有 Caffe 和 Theano，现在还有 Triton。还有很多不同的框架。所以这个特定领域的库 cuDNN，我们有一个特定领域的库叫做 Optics。我们有一个特定领域的库叫做 cuQuantum，Rapids，等等……

主持人A：位于 PyTorch 层之下的特定行业算法，每个人都关注 PyTorch 层。就像我经常听到的那样，好吧，你知道的，如果 LLMs——如果我们没有发明它，那么顶部的任何应用程序都无法工作。

黄仁勋：是的。所以数学实际上是，英伟达真正擅长的是算法。上层的科学与底层的架构之间的融合，这就是我们真正擅长的。

主持人B： 最近大家终于开始关注推理了。但我记得两年前，我和布拉德和你一起吃饭，我们问你，你认为你们在推理方面的护城河会像在训练方面一样强大吗？我不确定我说过它会更强大。你刚才也提到了很多这些因素，比如组件之间的可组合性，或者我们无法在某一时间点掌握所有因素的组合。对客户来说，能够在两者之间灵活切换非常重要。但是，现在我们已经进入推理时代，你能再谈谈吗？

黄仁勋： 其实，推理就是大规模的训练。所以，如果你训练得很好，很可能推理也很好。如果你在不考虑任何架构的情况下构建它，它就会在这个架构上运行。当然，你仍然可以针对其他架构对其进行优化，但至少，既然它已经基于英伟达架构构建，它就能在英伟达架构上运行。当然，另一个方面是资本投资方面，当你训练新的模型时，你会希望你的最新最好的设备用于训练，这就会留下你昨天用过的设备，而这些设备非常适合推理。

因此，新基础设施后面有一系列免费的设备。这是一条与CUDA兼容的免费基础设施的链条。因此，我们非常注重确保我们的兼容性，以便我们留下的所有东西都能继续保持卓越。现在，我们也投入了大量的精力来不断改进新的算法，这样当时间到来时，Hopper架构就会比他们购买时好两到四倍。因此，基础设施将继续保持高效。我们所做的所有工作，例如改进新的算法、新的框架，都会帮助我们现有的每一个安装案例。Hopper对它更好，Ampere对它更好，甚至Volta对它也更好。

我想Sam刚刚告诉我，他们最近刚刚退役了他们在OpenAI的Volta基础设施。因此，我认为我们留下了这个安装案例的轨迹。就像所有计算一样，安装案例很重要。英伟达存在于每一个云中，我们也在本地部署，这是一个很好的工具，我们一直延伸到边缘。因此，在云端创建的Vela视觉语言模型在我们的机器人边缘设备上也能完美运行。

黄仁勋： 无需修改。所有这些都与CUDA兼容。因此，我认为这种架构兼容性对于大型系统很重要，这与iPhone没有什么不同，与其他任何东西也没有什么不同。我认为安装案例对于推理非常重要。但我们真正受益的是，因为我们正在训练这些大型语言模型及其新架构，我们能够考虑如何创建在将来某个时间点能够实现出色推理的架构。因此，我们一直在思考用于推理模型的迭代模型，以及如何为您的个人代理创建非常交互式的推理体验。你不想说些什么然后让它思考一会儿，你希望它能够快速地与你互动。那么我们该如何创造这样的东西呢？由此产生的就是MVLink。

MV-Link, 这样我们就可以利用这些非常适合训练的系统，但在你完成训练后，推理性能也非常好。因此，你需要优化第一个token的生成时间。对，第一个token的生成时间实际上非常难以实现，因为第一个token的生成时间需要大量的带宽。但如果你的上下文也很丰富，那么你需要大量的浮点运算。因此，为了实现仅仅几毫秒的响应时间，你需要同时拥有无限的带宽和无限的浮点运算能力。因此，这种架构非常难以实现。我们为此发明了Grace Blackwell MV-Link。

★

MV-Link: Multi-Vendor LinK是一种先进的互连技术，旨在解决大规模分布式计算和多厂商互操作性问题。MVLink 是英伟达在其 Blackwell 架构中引入的一项关键技术，用于连接不同厂商的硬件设备，实现高效的数据传输和协同计算），

主持人A： 本周早些时候我和Andy Jassy一起吃过晚饭。Andy说，你知道，我们有Tranium即将推出，Inferencia也即将推出。我认为大多数人仍然认为这些对英伟达来说是个问题。但接下来他马上又说，英伟达是我们非常重要、巨大的合作伙伴，并将继续是我们非常重要、巨大的合作伙伴。就我所能预见的未来而言，世界都运行在英伟达之上。对吧。所以，当你想到正在构建的、针对特定应用的定制ASIC时，例如Meta的推理加速器，或者亚马逊的Tranium，或者谷歌的TPU。然后你再想到你们今天面临的供应短缺问题。这些事情会改变这种动态吗？或者它们是对他们从你们那里购买的所有系统的补充？

黄仁勋： 我们只是在做不同的事情。是的。我们试图完成不同的事情。英伟达的目标是为这个新世界、这个机器学习世界、这个生成式AI世界、这个智能代理AI世界构建一个计算平台。我们试图创造——你知道，这非常深刻——在60年的计算之后，我们彻底重新设计了整个计算堆栈。从编程到机器学习的软件编写方式，从CPU到GPU的软件处理方式，从软件到人工智能的应用程序方式，对吧？所以从软件工具到人工智能，计算堆栈和技术堆栈的各个方面都发生了变化。我们想做的是创建一个无处不在的计算平台。是的。这正是我们工作的复杂之处。我们工作的复杂之处在于，如果你考虑一下我们所做的工作，我们正在构建一个完整的AI基础设施，我们把它看作一台计算机。对。我以前说过，数据中心现在是计算单元。在我看来，当我想到计算机时，我想到的不是那个芯片，而是这个东西。这是我的心智模型，包括所有的软件、所有的编排、所有的内部机器。这就是我的计算机。我们试图每年都构建一个新的。

这太疯狂了。以前没有人这样做过。我们试图每年都构建一个全新的。而且每年，我们的性能都会提高两到三倍。因此，我们每年都能将成本降低两到三倍。我们每年都能将能效提高两到三倍。令人难以置信，对吧？所以我们要求客户不要一次性购买所有东西。每年购买一点。对吧？好的？这样做的原因是，我们希望他们能够将成本平均到未来。所有这些在架构上都是兼容的。现在，仅凭这样的速度来构建就已经非常困难了。更困难的两倍在于，然后我们将所有这些内容，而不是将其作为基础设施或服务出售，而是将其分解，并将其集成到GCP中。我们将其集成到AWS中。我们将其集成到Azure中。我们将其集成到X中。我们将其集成到Azure中。明白了吗？是的。所以每个人的集成都不同。

我们必须将我们所有的架构库、所有算法、所有框架都集成到他们的系统中。我们将我们的安全系统集成到他们的系统中。我们将我们的网络集成到他们的系统中。对吧？然后我们基本上进行了10次集成，我们每年都这样做。这就是奇迹。

主持人A：为什么，我的意思是，这简直是疯狂。你每年都试图这样做，这简直是疯了。想想都让我快疯了。是什么驱使你每年都这样做？还有一个相关的问题，克拉克刚从台北、韩国和日本回来，会见了你们那些有着十年合作关系的供应合作伙伴。这些关系对于构建竞争壁垒的组合数学来说，有多重要？

黄仁勋：我的意思是，这简直是疯狂。你每年都试图这样做，这简直是疯了。想想都让我快疯了。是什么驱使你每年都这样做？还有一个相关的问题，克拉克刚从台北、韩国和日本回来，会见了你们那些有着十年合作关系的供应合作伙伴。这些关系对于构建竞争壁垒的组合数学来说，有多重要？是的，当你系统地分解它时，你们分解得越多，每个人分解得越多，他们就越惊讶。并且，当今整个电子生态系统都致力于与我们合作，最终构建这个集成到所有不同生态系统中的计算机“立方体”，这种协调如此无缝，这怎么可能？因此，显然有一些API、方法、业务流程和设计规则，我们已经向后传播了几十年，以及我们向前传播的方法、架构和API。几十年来一直很稳定，是的，而且还在不断发展。但是这些API必须整合在一起。

当时间到来时，所有这些在台湾、世界各地制造的东西，最终都会在Azure的数据中心着陆，它们会聚合在一起，“咔哒、咔哒、咔哒、咔哒”。

主持人B：  有人只是称它为OpenAI API，它就能工作。

黄仁勋：这有点疯狂，对吧？这是一个完整的链条。这就是我们发明的，这个庞大的计算基础设施。整个地球都在与我们合作。它已经集成到各个地方。你可以通过戴尔销售它，也可以通过惠普销售它。它托管在云端，一直延伸到边缘。人们现在在机器人系统中使用它，包括人形机器人。它们存在于自动驾驶汽车中。它们在架构上都是兼容的。相当疯狂。

主持人A：这太疯狂了。

黄仁勋：  我不想让你留下我没有回答问题的印象。事实上，我已经回答了。当我谈到你的ASIC时，我的意思是，我们要做的只是不同的事情。是的。作为一个公司，我们希望了解当前的形势，我对公司和生态系统周围的一切都非常了解。是的。我知道所有做不同事情的人以及他们在做什么，有时这与我们是对抗性的，有时则不是。我非常了解这一点。

但这并没有改变公司的目标。公司的唯一目标是构建一个架构……一个能够无处不在的平台。这是我们的目标。我们不是试图从任何人那里抢占市场份额。英伟达是市场创造者，而不是市场份额获取者。如果你看看我们的公司幻灯片，公司没有一天谈论市场份额，内部也没有。我们所谈论的只是如何创造下一个东西？我们还能解决什么问题？在这个飞轮中，我们如何才能更好地为人们服务？

黄仁勋：  我们如何将过去大约需要一年的飞轮速度加快到大约一个月？是的。你知道，它的光速是多少？不是吗？所以我们正在考虑所有这些不同的事情。但有一件事我们不是，我们不是，我们了解当前的形势，但我们确信我们的使命是唯一的。你知道，所有伟大的公司都应该在其核心拥有这一点。这是关于你在做什么？当然。唯一的问题是，它必要吗？它有价值吗？对。它有影响力吗？它能帮助人们吗？

我确信你是一位开发者，你是一家生成式AI初创公司，你正准备决定如何成为一家公司。你唯一不必做出的选择是支持哪一个A6？如果你只支持CUDA，你就知道你可以无处不在。你以后总是可以改变主意。对。但我们是进入AI世界的入口。不是吗？一旦你决定进入我们的平台，其他决定你可以推迟。你以后总是可以自己构建ASIC。你知道，我们不反对这样做。我们对此并不反感。

当我和我们与所有GCP合作时，GCP包括Azure，我们会提前数年向他们展示我们的路线图。他们不会向我们展示他们的ASIC路线图。这从来不会让我们反感。这说得通吗？我们创造，我们参与其中。如果你有唯一的目标。而你的目标是有意义的。你的使命对你和其他人来说都很重要。那么你可以做到透明。

请注意，我的路线图在GTC上是透明的。我的路线图对我们在Azure和AWS以及其他公司的朋友们来说更加深入。我们毫不犹豫地这样做，即使他们在构建自己的ASIC。

主持人A：  我认为当人们观察这项业务时，你最近说过对Blackwell的需求非常疯狂。你说你工作中最难的部分之一是，在一个计算能力短缺的世界里，对那些需要你生产和提供的计算能力的人说“不”所带来的情感负担。但批评者说这只是一个暂时的时刻。他们说这就像2000年的思科一样。我们正在过度建设光纤。这将是繁荣与萧条的循环。我想起了23年初我们共进晚餐的时候。在23年1月的晚餐上，对英伟达的预测是，2023年的营收将达到260亿美元。你达到了600亿美元。多了250亿美元。

黄仁勋：让事实真相大白于天下，这是世界上有史以来最严重的预测失败。我们至少可以承认这一点吗？

主持人A： 去年11月22日，我们非常兴奋，因为Mustafa（来自Inflection公司）和Noah（来自Character公司）来到我们办公室，谈论投资他们的公司。他们说，如果你无法确定投资他们的公司是否划算，那就买英伟达的股票，因为全世界都在争抢英伟达的芯片来构建这些将改变世界的应用。当然，ChatGPT的出现标志着“寒武纪大爆发”时刻的到来。但即便如此，这25位分析师却过于关注加密货币领域的赢家，以至于无法想象世界正在发生什么。好吧，结果证明规模远大于预期。你用非常简单的英语说，对Blackwell的需求量巨大，而且在可预见的未来都会如此。当然，未来是未知且不可知的。但为什么批评者们如此错误地认为这不会成为2000年那样思科式的过度建设呢？

黄仁勋： 思考未来的最佳方法是从第一性原理出发进行推理。那么问题是，我们正在做的事情的第一性原理是什么？首先，我们在做什么？我们在做什么？我们正在做的是重新定义计算，不是吗？我们刚才已经说过了。未来的计算方式将高度依赖机器学习。我们做的几乎所有事情，几乎每一个应用程序，Word、Excel、PowerPoint、Photoshop、Premiere、AutoCAD，你随便说一个你最喜欢的应用程序，它们都是人工设计的，但我向你保证，未来它们都将高度依赖机器学习。不是吗？所以所有这些工具都将如此。

最重要的是，你将拥有能够帮助你使用它们的机器、代理。所以我们现在可以肯定这一点。我们已经重新定义了计算。我们不会回头。整个计算技术栈正在被重新定义。以现在我们已经做了这件事，我们说软件将会不同。软件所能编写的内容将会不同。我们使用软件的方式将会不同。所以让我们现在承认这一点。这些是我的基本事实。

黄仁勋： 现在问题是，接下来会发生什么？所以让我们回顾一下过去计算是如何进行的。过去我们有一万亿美元的计算机。我们看看它，打开机房的大门，看看数据中心，然后你会说，那些是你想要用来完成未来工作的计算机吗？答案是否定的。你背后有所有这些CPU。我们知道它能做什么，不能做什么。我们只是知道我们有一万亿美元的数据中心需要现代化改造。所以现在，如果我们要在未来四五年内制定一个现代化改造旧设备的规划，那并非不合理。所以我们有一万亿美元。

主持人A：你正在与那些需要进行现代化改造的人进行对话。

黄仁勋：是的。他们正在用GPU进行现代化改造。让我们再做另一个测试。你有500亿美元的资本支出想花。方案A，方案B。为未来建设资本支出，还是像过去一样建设资本支出。现在，你已经有了过去的资本支出，对吧？

黄仁勋： 它就在那里。它并没有变得更好，而且它基本上已经走到尽头了。那么为什么要重建它呢？让我们拿出500亿美元，投入到生成式AI中。不是吗？所以现在你的公司变得更好了。那么，这500亿美元中你愿意投入多少？嗯，我会投入500亿美元的100%，因为我背后已经有四年的过去基础设施了。

所以现在我只是从第一性原理思考这个问题的角度出发进行思考。这就是他们在做的。聪明的人正在做聪明的事情。现在，第二部分是这样的。所以现在我们有一万亿美元的产能可以建设，对吧？一万亿美元的基础设施。那么，比如说再投入1500亿美元呢？好的？所以我们有万亿美元的基础设施需要在未来四五年内建设。那么，我们观察到的第二件事是软件的编写方式不同，但软件的使用方式也将不同。在未来，我们将拥有代理。不是吗？我们将拥有公司里的数字员工。在你的收件箱里，你会看到所有这些小点和小头像。在未来，将会有AI的小图标。不是吗？我会发送它们。我将不再使用C++编程计算机。我将使用提示来编程AI。不是吗？这与我今天早上的交流没有什么不同。

在我来这里之前，我写了一堆邮件。我是在提示我的团队。我会描述上下文。我会描述我所知道的根本约束条件，我会描述他们的任务。我会足够明确，以便他们理解我的需求，而且我希望明确说明结果应该是什么，尽可能地明确。但我留下足够的模糊空间，也就是创造性空间，这样他们才能给我带来惊喜。这与我今天如何提示AI没有区别。这正是我提示AI的方式。所以将会发生的是，在我们即将现代化的IT基础设施之上，将会出现一个新的基础设施。这个新的基础设施将是运行这些数字人的AI工厂。对。它们将全天候运行，24/7。

我们将为我们遍布全球的所有公司配备它们。我们将把它们放在工厂里。我们将把它们放在自主系统中。不是吗？所以有一整层计算结构，一整层我所说的AI工厂，而世界今天根本不存在这些。所以问题是，它有多大？目前还无法得知。可能几万亿美元。目前还无法得知。但当我们坐在这里建设时，美妙之处在于，这个现代化改造的新数据中心和AI工厂的架构是一样的。这是好事。

主持人A： 你已经把这一点说清楚了。你有一万亿美元的旧东西需要现代化改造。你至少还有一万亿美元的新AI工作负载即将到来。或多或少，你今年的营收将达到1250亿美元。你知道，曾经有人告诉你，这家公司永远不会值超过10亿美元。当你今天坐在这里的时候，有没有什么理由，对吧，如果你只有1250亿美元的营收，而总可寻址市场是数万亿美元，你未来不会有2倍，3倍甚至更高的营收增长呢？有什么理由你的营收不会增长呢？

黄仁勋：是的。正如你所知，这并非关乎一切。公司的发展受限于“鱼塘”的大小。金鱼的体型毕竟有限。所以问题是，我们的“鱼塘”是什么？这需要大量的想象力。这也是市场创造者们思考未来、创造新“鱼塘”的原因。反过来试图抢占市场份额很难做到，抢占份额者规模总是有限的。而市场创造者则可以非常大。当然。是的。我认为我们公司很幸运，从一开始，我们就不得不为自身创造一个市场来生存。人们现在已经不记得了，但我们在3D游戏PC市场的开创阶段，很大程度上正是我们创造了这个市场。

黄仁勋：以及整个生态系统和显卡生态系统，都是我们创造的。因此，日后需要创造一个新的市场来服务，对我们来说是很舒服的事情。

主持人A： 没错，没错。说到创造新市场，让我们稍微转换一下话题，谈谈模型和OpenAI。OpenAI本周融资65亿美元，你知道的。估值约1500亿美元。我们都参与了投资，对他们感到非常高兴，很高兴他们走到一起。是的，他们做了一件很棒的事情。

黄仁勋：对，他们取得了巨大的成功，团队做得非常出色。难以置信。

主持人A：据报道，他们今年的营收或营收增长率将达到约50亿美元，明年可能达到100亿美元。如果观察今天的业务规模，其营收大约是谷歌在IPO时的两倍。他们每周的平均用户数为2.5亿，我们估计是谷歌IPO时用户数量的两倍。

如果你相信明年营收会达到100亿美元，那么市销率大约是15倍，这与谷歌和Meta在IPO时的市销率大致相同。想想看，这是一家22个月前营收为零、周平均用户数为零的公司。

黄仁勋：对历史有着惊人的把握。

主持人A：说到这里，请谈谈OpenAI作为合作伙伴对你们的重要性，以及OpenAI在推动公众对人工智能的认知和使用方面所起的作用。

黄仁勋：好吧，这是我们这个时代最具影响力的公司之一。一家纯粹的人工智能公司，追求AGI的愿景，无论其定义是什么。对吧。我几乎认为其定义是否完整并不重要，我也不认为时间是否重要。对吧。我唯一知道的是，人工智能将随着时间推移而拥有一个能力发展路线图。而这个能力发展路线图将非常壮观。

黄仁勋：而且，远在达到任何人的AGI定义之前，我们就会很好地利用它。对吧。你现在只需要去做，与数字生物学家、气候技术研究人员、材料研究人员、物理学家、天体物理学家、量子化学家交谈。问问视频游戏设计师、制造工程师、机器人专家。选择你喜欢的任何行业，深入其中，与重要的人交谈，问问他们，人工智能是否彻底改变了他们的工作方式？对吧。然后你根据这些数据点，来问自己，我应该有多怀疑？你想有多怀疑？对吧。

因为他们谈论的不是将来人工智能的理论好处，而是现在就在使用人工智能。现在，农业科技、材料科技、气候科技，你选择任何科技，选择任何科学领域，它们都在进步。人工智能正在帮助它们现在就在进步。每个行业、每家公司、每所大学。难以置信。是不是？对，它一定会以某种方式改变商业模式。我们知道这一点。对吧。我的意思是，它如此真实，你可以触摸到它。它正在发生，它正在发生，它正在发生。是的。所以我认为人工智能的觉醒，ChatGPT的出现，完全是令人难以置信。我喜欢他们的速度和他们推进这一领域的唯一目标。所以，真的很有影响力。

主持人A：他们建立了一个可以为下一代模型提供资金的经济引擎，对吧？我认为硅谷越来越普遍的共识是，整个模型层正在商品化。Llama正在使许多人能够以非常低的成本构建模型。所以早期，我们有很多模型公司，比如Character、Inflection、Cohere、Mistral等等。很多人质疑这些公司是否能够建立起能够持续资助下一代模型的经济引擎。我个人的感觉是，这就是你看到整合的原因，对吧？OpenAI显然已经达到了这种逃逸速度，他们可以资助自己的未来。我不确定这些其他公司是否能够做到。这是否是对模型层现状的公允评价，即我们将看到像其他许多市场一样，出现整合，形成能够负担得起、拥有经济引擎和应用程序的市场领导者，从而能够持续投资？

黄仁勋：首先，模型和人工智能之间存在根本区别。对吧？模型是人工智能的必要组成部分，必要但不充分。人工智能是一种能力，那么应用是什么？用于软件驱动汽车的人工智能与用于人类或机器人的不一样，但它们又相关联，与用于聊天的不一样，但它们又相关联。因此，你必须了解这个架构的分类。在这个架构的每一层都会有各种机会，但并非在每一层都会为所有人提供无限的机会。我现在刚说了一件事，你只需要把“模型”这个词换成“GPU”就行了。

事实上，这是我们公司32年前的伟大发现，GPU（图形芯片或GPU）与加速计算之间存在根本区别。加速计算与我们在AI基础设施方面的工作不同，但两者是相关的，但并不完全相同。它们是建立在彼此之上的，但并不完全相同。这些抽象层的每一层都需要根本不同的技能。那些非常擅长制造GPU的人，根本不知道如何成为一家加速计算公司。有很多公司都在制造GPU，而且我知道我们不是唯一一家制造GPU的公司。没错。所以到处都有GPU，但它们并非加速计算公司。很多人，他们是加速器，进行应用加速，但这与加速计算公司不同。例如，一个非常专业的人工智能应用程序，可能非常成功。没错。但它可能不是那种拥有广泛影响力和广泛能力的公司。

因此，你必须决定你想在哪里。在所有这些不同的领域可能都有机会。但是像建立公司一样，你必须注意生态系统的变化以及随着时间的推移哪些东西会被商品化，认识到什么是特性、什么是产品、什么是公司。有很多不同的方法可以考虑这个问题。

主持人A：当然，有一家新兴公司拥有资金、智慧和雄心，那就是X.AI，对吧？而且，有报道称你、拉里和埃隆共进晚餐，他们说服你提供了10万个H100。他们在孟菲斯几个月内就建立了一个大型、连贯的超级集群。

这其中的因果关系是什么？你如何看待他们建立那个超级集群的能力？而且有传言说他们想要另外10万个H200来扩展该超级集群的规模，对吧？首先，跟我们谈谈X及其雄心壮志以及他们取得的成就，但我们是否已经进入了拥有20万到30万个GPU集群的时代？

黄仁勋：答案是：是的。首先，要承认应得的成就。从概念形成到数据中心准备好安装英伟达的设备，到我们启动设备、完成所有连接并进行第一次训练，对吧？没错。所以这第一部分，仅仅是建造一个大型工厂，液冷、通电、获得许可，在如此短的时间内完成，这简直是超人的成就。据我所知，世界上只有一个人能做到这一点。我的意思是，埃隆在工程、建设、大型系统和资源调度方面的理解是独一无二的。难以置信。是的，令人难以置信。当然，他的工程团队也很出色。我的意思是，软件团队很棒，网络团队很棒，基础设施团队很棒。埃隆深刻地理解这一点。从我们决定开始的那一刻起，就与我们的工程团队、网络团队、基础设施计算团队、软件团队进行了规划，所有前期准备工作，然后是所有基础设施，所有后勤工作以及当天运进的大量技术和设备，英伟达的基础设施和计算基础设施以及所有这些技术，到训练完成，只用了19天。

你知道，你不会想——有人连续24小时不睡觉吗？毫无疑问，没有人睡觉。但首先，19天就完成了，这令人难以置信。但从另一方面来看，19天究竟有多长呢？也就是几周时间。

黄仁勋：而技术之复杂，如果你亲眼所见，一定会感到难以置信。所有的线路和网络。英伟达设备的网络与超大规模数据中心的网络非常不同。一台节点，一台电脑的背面，有多少线路？全是线路。仅仅是将这些海量技术整合起来，以及所有的软件，都令人难以置信。所以，我认为埃隆和X团队所做的事情，我也非常感谢他承认我们和他一起完成的工程工作、规划工作以及所有这些事情。但他们取得的成就确实是独一无二的，前所未有。为了更直观地说明这一点，10万个GPU，作为一个集群，很容易成为地球上最快的超级计算机。建造一台你通常会建造的超级计算机，通常需要三年时间来规划。对。然后他们交付设备，还需要一年时间才能让所有东西都运转起来。是的，我们说的是19天。

主持人B：英伟达平台的功劳是什么？整个流程都是经过严格测试的。

黄仁勋：没错。是的，所有东西都能正常工作。当然，还有很多，你知道，X算法、X框架、X堆栈等等。我们还有大量的整合工作要做。但其规划工作非常出色。仅仅是预先规划，你知道。

主持人A：N等于1是正确的。埃隆是独一无二的。但你一开始就回答了这个问题，你说是的，20万到30万个GPU集群已经出现了。对吧？这能扩展到50万吗？能扩展到100万吗？对你们产品的需求是否取决于它能否扩展到数百万？这部分。

黄仁勋：最后一点，答案是否定的。我的感觉是，分布式训练必须有效。我的感觉是，分布式计算将会被发明出来。对。某种形式的联邦学习和异步分布式计算将会被发现。对此我非常热情，也很乐观。当然，要意识到的是，缩放定律过去是关于预训练的。现在我们已经转向多模态。我们已经转向了合成数据生成。后训练现在已经得到了极大的扩展。合成数据生成、奖励系统、基于强化学习的。现在推理的扩展已经达到了顶峰。对。这个想法……模型在回答你的问题之前，已经进行了内部推理。令人难以置信。

一万次，可能并不算过分。它可能已经进行了树搜索。它可能已经对它进行了强化学习。它可能，你知道，它可能做了一些模拟，肯定做了很多反思。它可能查找了一些数据，查看了一些信息。对吧？所以它的上下文可能相当大。我的意思是，这种类型的智能，嗯，这就是我们所做的。对吧？这就是我们所做的。对吧？因此，这种扩展能力，如果你做了这个计算，并且你把它与每年4倍的增长复合起来。

模型大小和计算规模。另一方面，使用需求持续增长。我们认为我们需要数百万个GPU吗？毫无疑问。是的，这现在是肯定的了。所以问题是，我们如何从数据中心的角度来设计它？这与数据中心是千兆瓦级的还是2.5亿瓦级的有很大关系。我的感觉是你两种都会有。

主持人B：我认为分析师总是关注当前的架构赌注，但我认为这次谈话中最大的收获之一是，你在考虑整个生态系统，以及未来许多年。

主持人B：所以，英伟达只是在向上或向外扩展，是为了满足未来的需求。这并不是说你只依赖于存在50万或100万个GPU集群的世界。到分布式训练出现的时候，你已经编写了支持它的软件。

黄仁勋：没错。记住，如果没有大约七年前我们开发的Megatron，这些大型训练任务的扩展就不会发生。对吧。所以我们发明了Megatron，我们发明了Nickel，GPU Direct，对吧，我们与RDMA一起做的所有工作。这使得轻松实现流水线并行成为可能，对吧？所以，你知道，所有正在进行的模型并行，所有对分布式训练的拆分，以及所有批处理等等，所有这些都是因为我们做了早期工作。而现在，我们正在为下一代做早期工作。

主持人A：那么，让我们谈谈OpenAI的Strawberry。我想尊重你的时间。

黄仁勋：我有的是时间。

主持人A：太好了。你真是慷慨大方。是的，我们有的是时间。但首先，我认为他们以O-1签证命名O-1很有意思，对吧？这关乎招募世界上最优秀最聪明的人才，并将他们带到美国。我知道我们对此都充满热情。所以，我喜欢这样一个想法：构建一个能够思考的模型，将我们带到智能扩展的下一个层次，是对那些通过移民来到美国、并将他们的集体智慧带到美国的人们的一种致敬，他们成就了今天的美国。当然是一种外星智慧。当然。你知道，它是由我们的朋友Noam Brown负责的，当然了。他在Meta工作期间参与了Pluribus和Cicero项目。作为一种全新的智能扩展途径，推理时间推理与仅仅构建更大的模型相比，究竟有多重要？

★

“推理时间推理”（Inference Time Reasoning）是指在机器学习和人工智能系统中，模型在实际部署和运行时进行推理和预测的过程。与训练时间（Training Time）不同，推理时间指的是模型已经训练完毕，开始在新的数据上进行预测或决策的时间。

黄仁勋：这非常重要。我认为很多智能无法预先完成。对吧？你知道？而且很多计算，甚至很多计算都无法重新排序。我的意思是，乱序执行无法预先完成。所以很多事情只能在运行时完成。对吧？所以，无论你从计算机科学的角度考虑，还是从智能的角度考虑，很多事情都需要上下文。对吧。环境。你正在寻找的答案类型。有时一个快速的答案就足够了。对吧。取决于答案的重大影响。对吧。取决于该答案的使用性质。因此，有些答案。请花一晚上的时间。有些答案需要一周的时间。是的，对吗？所以我完全可以想象我向我的AI发送一个提示，并告诉它，你知道，考虑一夜。对吧。通宵想想。不要马上告诉我。

黄仁勋：我希望你整晚都在思考它。然后明天回来告诉我你最好的答案，并为我推理它。所以我认为，从产品的角度来看，智能的质量、细分，将会有单次版本的。然后会有一些需要五分钟的时间。以及将这些问题引导到适合用例的正确模型的智能层。

主持人A：我的意思是，我们昨晚正在使用高级语音模式和O1预览版。我正在辅导我儿子准备他的AP历史考试。这就像让世界上最好的AP历史老师坐在你旁边思考这些问题一样。这真是非同寻常。

黄仁勋：我今天的家教是AI。

主持人A： 你们今天超过40%的收入来自推理。但由于推理链，推理即将准备就绪。

黄仁勋：它即将增长十亿倍。十亿倍。没错。这是大多数人还没有完全理解的部分。这是我们刚才谈论的行业，巴克。对吧。这是工业革命。

主持人A：所以，你知道，每个人都非常关注英伟达，就像在更大的模型上进行训练一样。是的。对吧。你们的收入如果现在是五五开，将来推理的比例会不会更高？对吧？那么，我的意思是，训练将始终很重要，但推理的增长将远远大于训练的增长。

黄仁勋：我们希望如此。

主持人A：否则几乎无法想象。

黄仁勋：是的，我们希望如此。我的意思是，上学很好，但目标是为了让你以后能够在社会上有所作为。所以训练这些模型很好。但目标是推断它们。

主持人A：你们是否已经将链式推理和O1之类的工具用于自己的业务中，以改进自己的业务？

黄仁勋：是的，我们今天的网络安全系统离不开我们自己的代理。我们有代理帮助设计芯片。Hopper不可能实现。Blackwell也不可能实现。Ruben，别想了。我们有数字。我们有AI芯片设计师、AI软件工程师、AI验证工程师。我们都在内部构建它们，因为我们有能力，而且我们更愿意利用这个机会自己探索这项技术。

主持人A：你知道，我今天走进大楼时，有人走过来对我说，你知道，问问Jensen关于公司文化的事。一切都是关于文化的。我看看这个公司。我们经常谈论效率和精益，扁平化的组织可以快速执行，更小的团队。你知道，英伟达确实独树一帜，每位员工约400万美元的营收，每位员工约200万美元的利润或自由现金流。你们创造了一种高效的文化，这确实释放了创造力、创新力、主人翁精神和责任感。你们打破了职能管理的模式。每个人都喜欢谈论你的所有直接下属。

利用AI是否会继续让你在保持高效的同时保持高度的创造力？

黄仁勋：没问题。我希望有一天，英伟达——现在有3.2万名员工，对吧，我们在以色列有4000个家庭，我希望他们一切安好，我在想着你们。是的。我希望英伟达有一天能成为一家拥有5万名员工和1亿个AI助理的公司。哇！而且它们遍布每个团队。对吧。所以我们将拥有一个完整的AI目录，这些AI擅长处理各种事务。我们的收件箱也将充满我们合作过的AI的目录，我们知道它们非常擅长我们的特定技能。因此，AI将招募其他AI来解决问题。对吧，AI将在Slack频道中彼此交流，也与人类交流。对吧，与人类交流。所以我们将成为一个大的团队。

黄仁勋：你可以把它看作员工队伍，一部分是数字化的AI，一部分是生物性的，我希望还有一些是机电一体化的。

主持人A：我认为从商业角度来看，这是一种被严重误解的事情。你刚才描述的公司，它的产出相当于一家拥有15万人的公司，但你只用了5万人就做到了。你并没有说要裁掉所有员工，你仍然在增加公司员工数量，但该组织的产出将大幅增加。这一点常常被误解。

黄仁勋：理解。AI将改变每一份工作，AI将对人们对工作的看法产生地震般的冲击。让我们承认这一点。AI有可能带来巨大的好处，也有可能造成伤害。我们必须构建安全的AI，让我们以此为基础。被忽视的部分是，当公司利用人工智能提高生产力时，它很可能会转化为更好的收益或更好的增长，或者两者兼而有之。对吧。

而当这种情况发生时，CEO的下一封邮件很可能不是裁员通知。当然，因为公司在发展壮大。是的。原因是我们有比我们所能探索的更多的想法，我们需要人们帮助我们思考。对吧，在我们实现自动化之前。嗯哼。这很好。因此，AI可以帮助我们完成自动化部分的工作。显然，它也将帮助我们思考，但仍然需要我们弄清楚我们想解决什么问题？我们可以解决无数的问题。这家公司需要解决什么问题？选择这些想法，并找到一种自动化和扩展的方法。

因此，随着我们生产力的提高，我们将雇佣更多的人。人们忘记了这一点。如果你……是的。如果你回到过去，显然我们今天比200年前有更多想法。这就是GDP更大的原因，也是更多人就业的原因，即使我们在底层疯狂地进行自动化。

主持人A：我认为这是我们即将进入的这个时代的一个非常重要的点。首先，几乎所有的人类生产力，几乎所有的人类繁荣，都是过去200年自动化和技术进步的副产品。我的意思是，你可以从亚当·斯密的“创造性破坏”理论和熊彼特的理论来看，你可以看看过去200年来人均GDP增长的图表，它一直在加速增长。

是的，没错。这让我想到这个问题。如果你看看90年代，美国生产力增长率大约为每年2.5%到3%。好的？然后在2000年代，它下降到大约1.8%。而过去10年是生产力增长最慢的时期。所以这就是指在固定数量的劳动力和资本下，我们拥有的产出数量。实际上，这是我们有史以来最慢的时期。很多人都在争论其原因，但如果世界正如你刚才描述的那样，我们将利用和制造智能，那么我们是不是正处于人类生产力急剧扩张的边缘？这是我们的希望。对吧。这是我们的希望。当然。

黄仁勋：你知道，我们生活在这个世界里，所以我们有直接的证据。对吧，我们有直接的证据，无论是作为个体研究人员的孤立案例。当然。他能够利用AI以一种难以想象的超大规模探索科学。这就是生产力。对吧，百分之百。生产力的衡量标准。或者说，我们正在设计性能如此出色、速度如此之快的芯片，而我们正在构建的芯片复杂性和计算机复杂性正在呈指数级增长，而公司的员工规模却没有。

生产力的衡量标准，我们开发的软件越来越好，因为我们正在使用AI和超级计算机来帮助我们，员工数量几乎只是线性增长，另一个生产力的证明，无论我是在哪些行业，我都可以进行抽查，我自己也可以进行检验，我们可能会过度拟合，但其中的技巧当然是概括我们观察到的是什么，以及这是否会在其他行业中体现，毫无疑问的是，智能是世界有史以来最宝贵的商品，对吧，现在我们将大规模地制造它，我们所有人……

必须擅长，你知道，如果你被这些AI包围着，它们做得如此出色，远胜于你，会发生什么。对吧，当我反思这一点时，这就是我的生活。对吧，我有60个直接下属。对吧，他们之所以在eStaff，是因为他们各自领域的世界级专家，他们做得比我好。我和他们相处没有任何问题，我也不会在提示工程方面有任何困难。完全没问题。我不会在编程方面有任何困难。所以我认为人们将要学到的是，他们都将成为CEO。对吧，他们都将成为AI代理的CEO。

黄仁勋：以及他们拥有创造力、意志力和一些关于如何推理、分解问题的能力，以便你可以编程这些AI来帮助你实现某些目标，就像我一样。这叫做经营公司。

主持人A： 好。你刚才提到了对齐、安全AI，以及中东发生的悲剧。世界各地都在广泛使用自主技术和人工智能。所以，让我们来谈谈一下恶意行为者、安全AI以及与华盛顿的协调。你今天感觉如何？我们是否走在正确的道路上？我们的协调是否足够？我认为马克·扎克伯格说过，战胜不良AI的方法是让好的AI变得更好。你如何评价我们如何确保AI对人类带来积极益处，而不是让我们陷入毫无意义的反乌托邦世界？

黄仁勋： 关于安全的讨论非常重要且有意义。将AI抽象地看作一个大型的巨型神经网络，这种概念化的视角并不好。原因在于，众所周知，人工智能和大型语言模型是相关的，但并不相同。我认为有很多事情做得非常好。第一，开源模型，以便整个研究人员社区、每个行业和每家公司都能参与AI，并学习如何利用这种能力为其应用服务。非常好。第二，人们低估了致力于发明安全AI技术的数量。

用于整理数据、整理信息、训练AI的AI；用于对齐AI的AI；用于生成合成数据的AI，以扩展AI的知识，减少其幻觉；所有为AI向量化或绘图（或任何其他目的）而创建的AI；用于防护AI的AI；用于监控其他AI的AI——创建安全AI的AI系统被低估了。对。我们已经构建了这些系统，我们正在整个行业中构建这些系统，包括方法论、红队测试和流程。模型卡片、评估系统、基准测试系统，所有这些都在以惊人的速度构建。

主持人A： 而且没有政府法规要求这样做。当今在这个领域中构建这些AI的参与者正在认真对待并进行最佳实践协调。

黄仁勋： 是的，完全正确。所以这被低估了，被误解了。每个人都需要开始将AI视为一个AI系统和工程系统系统——一个设计良好的工程系统，从第一性原理构建，经过充分测试，等等。监管。记住，AI是一种可以应用的能力。对于重要的技术，制定法规是必要的，但也不要过度，因为一些监管应该进行，大多数监管应该针对应用进行。联邦航空管理局 (FAA)、国家公路交通安全管理局 (NHTSA)、食品药品监督管理局 (FDA)，等等，对吧？

所有不同的生态系统。已经对技术的应用进行了监管。现在必须对现在融入AI的技术应用进行监管。对。所以我认为，不要误解，不要忽视世界上将不得不为AI启动的大量法规。并且不要仅仅依赖一个通用的银河系AI委员会。对。这可能会做到这一点，因为创建所有这些不同机构是有原因的。有不同的原因，创建所有这些不同的监管机构是有原因的。我们将再次回到第一性原理。

主持人A： 如果我不回到开源这一点，我会被我的合伙人比尔·格利训斥的。你们最近发布了一个非常重要、非常大型、功能非常强大的开源模型：Nebotron。显然，Meta正在对开源做出重大贡献。当我阅读推特时，我发现存在这种开源与闭源之争，有很多关于这方面的讨论。你对你们自己的开源模型与Frontier抗衡的能力有何看法？这是第一个问题。第二个问题是，拥有开源模型以及为商业运营提供支持的闭源模型，这是你对未来的看法吗？这两者是否会创造出有利于安全的健康张力？

黄仁勋： 开源与闭源与安全相关，但不仅仅与安全相关。例如，拥有作为维持创新所必需的经济模型的引擎的闭源模型绝对没有任何问题。我完全赞同这一点。我认为，闭源与开源是对立的观点是错误的。应该是闭源加开源，因为开源对于许多行业的激活是必要的。现在，如果我们没有开源，所有这些不同的科学领域将如何能够在AI上被激活？对吧？因为他们必须开发他们自己的特定领域AI，他们必须使用开源模型来开发自己的AI。他们如何创建特定领域的AI？它们是相关的，再次强调，它们并不相同。

黄仁勋：仅仅因为你有一个开源模型并不意味着你有一个AI。因此，你必须拥有那个开源模型来启用AI的创建。金融服务、医疗保健、交通运输，以及现在由于开源而被启用的行业和科学领域的清单。令人难以置信。

主持人A： 你是否看到对你们开源模型的很多需求？

黄仁勋： 显然，Mark和他们所做的工作，令人难以置信，超乎寻常。它完全激活并吸引了每一个行业，每一个科学领域。我们开发Nemotron的原因是为了合成数据生成。直觉上，一个AI坐在那里循环生成数据来学习自身的想法听起来很脆弱。你能绕着这个无限循环走多少次，这个循环，值得怀疑。然而，我的脑海中的画面有点像，你找到一个超级聪明的人，把他关进一个软垫房间，关上门大约一个月，出来的可能不是一个更聪明的人。但如果你能有两三个人坐在一起，对。我们有不同的AI，我们有不同的知识分布，我们可以来回进行问答，我们三个人都能变得更聪明。所以，你可以让AI模型交换、交互、来回讨论、强化学习，例如合成数据生成，从直觉上来说——说得通。说得通，因此，我们的模型Nemotron 350B有3500亿参数。Nemotron 340B是世界上最好的奖励系统模型。所以它是最好的批评者。很有趣。所以这是一个极好的模型，可以增强其他所有人的模型。所以，不管别人的模型有多好，我都建议使用Nemotron 340B来增强并使其更好。我们已经看到它使Lama更好，使所有其他模型都更好。

主持人A：我们已经看到它使Llama更好，使所有其他模型都更好。好了，我们快结束了。谢天谢地。作为2016年交付DGX-1的人，这真是令人难以置信的旅程。你们的旅程同时是不可能的和令人难以置信的。谢谢你们。你们挺过来了。仅仅是挺过早期阶段就非常了不起了。你们在2016年交付了第一台DGX-1。我们在2022年经历了这个寒武纪时刻。所以我要问你一个经常被问到的问题，那就是，你们还能持续多久……你们今天所做的事情？有60个直接下属，你无处不在。你在推动这场革命。你快乐吗？还有其他你想做的吗？

黄仁勋：这是关于过去一个半小时的问题吗？答案是，我玩得很开心。我玩得很开心。我无法想象还有什么其他事情我更想做。谢谢。让我们看看。我认为不应该留下这样的印象，认为我们的工作一直都很有趣。

黄仁勋：我的工作并非一直都很有趣，我也不指望它一直都很有趣。是否曾经期望它一直都很有趣？我认为它一直都很重要。

我不会过于认真对待自己。我非常认真地对待工作。我非常认真地对待我们的责任。我非常认真地对待我们的贡献和我们所处的时代。这总是很有趣吗？不。但我总是喜欢它吗？是的。就像所有事情一样。无论是家庭、朋友、孩子，它总是很有趣吗？不。我们总是喜欢它吗？绝对的，非常喜欢。所以我觉得……

我能做多久？真正的问题是，我能保持多久的关联性？而这只有在以下情况下才有意义，这个信息，这个问题只能用以下方式来回答：我将如何继续学习？而我今天更加乐观。我这么说并非仅仅因为我们今天的主题。由于AI，我对保持相关性和继续学习的能力更加乐观。是的，我使用它。我不知道，但我肯定你们也用。我每天都在用它。没有一项研究我不使用AI。没有一个问题，即使我知道答案，我也会用AI反复检查。令人惊讶的是，我接下来提出的两三个问题揭示了我不知道的东西。

黄仁勋：我认为AI作为导师、AI作为助手、AI作为头脑风暴的伙伴，可以检查我的工作。

你知道，伙计们，这完全是革命性的。而且，你知道，我是一个信息工作者。我的产出是信息。所以我认为所有人对社会的贡献都非常非凡。所以我认为，如果情况如此，如果我能保持这样的相关性，并且我可以继续做出贡献，我知道这项工作足够重要，值得我去继续追求。我的生活质量非常好。

主持人A：我要说的是，我无法想象，我和你已经在这个领域几十年了，我无法想象错过这一刻。这是我们职业生涯中最重要的时刻。是的。你让我们更聪明。谢谢你。

黄仁勋：真的非常享受。非常感谢。谢谢，布拉德。谢谢，克拉克。干得好。