（关注公众号并设为🌟标，获取最新人工智能资讯和产品）

全文7,000 字，阅读约需18分钟

2024年即将结束之际，我们再次有机会聆听NVIDIA传奇创始人兼首席执行官黄仁勋精彩分享。

这一年，NVIDIA市值突破3万亿美元已经远超苹果，成为全球市值最高的上市公司。同时它也是推动这次AI革命的核心力量。在NVIDIA总部，黄仁勋就前沿模型、数据中心规模计算以及公司未来十年的投资蓝图展开深入探讨。

在对话中，黄仁勋描绘了从传统编程到机器学习的革命性转变。这一转变的核心在于计算方式的根本改变——从为人类编写代码而设计的CPU，到为AI优化的GPU架构。他认为，通过GPU的并行计算能力，我们正迎来前所未有的规模化计算时代。

面对外界对AI是否昙花一现的质疑，黄仁勋坚定地表示："从量子计算到量子化学，AI的影响无处不在。当计算堆栈和软件开发方式都已改变，而软件又是人类知识的编码方式，这注定将影响一切。没有什么会保持原样。

文稿整理

主持人： 大家好。黄仁勋！您已经在 NVIDIA 工作了 30 年，现在展望未来的 10 年，您认为还有哪些值得投入的重大项目？未来的发展方向是否都是规模化？我们是否在计算内存架构的扩展方面遇到了瓶颈？您现在的关注点是什么？

反思和展望

嘉宾黄仁勋： 如果我们稍微回顾一下我们的历程，我们从编程走向了机器学习，从编写软件工具到创造一个全新的计算生态系统。最初，我们是在 CPU 上运行这些程序，CPU 是为人类编写代码设计的；但现在我们在 GPU 上运行，GPU 基本上是为 AI 编写代码而设计的，也就是说为机器学习设计的。因此，计算的方式、整个计算堆栈都发生了变化。随之而来的，是我们可以解决的问题规模也发生了巨大变化。如果我们能在一块 GPU 上并行处理程序，那么就能在整个集群，甚至多个集群和数据中心上并行处理。因此，我认为我们为规模化计算奠定了基础，能够以前所未有的方式开发软件。

主持人： 您提到未来十年，希望每年将性能在规模上提升两到三倍，从而每年将成本和能耗分别降低一半或三分之一。这种指数增长令人难以置信。您认为 NVIDIA 能否超越摩尔定律，进入一种“超级摩尔定律”曲线？

黄仁勋： 完全有可能。我们希望能够持续实现这样的增长。摩尔定律的实现主要依赖两项基本技术支柱：一个是Dennard缩放，另一个是自由缩放。但这些技术已经逐渐失去了效果。因此，我们需要一种新的缩放方式，通常是通过协同设计实现的。只有当我们能够同时调整算法和系统架构，才能实现这种协同设计。如果我们能控制这两方面，就可以从 FP64 转向 FP32、BF16、FP8，甚至更低精度的数据类型。

主持人： 协同设计的确是很大的突破。数据中心规模的优化似乎也是 NVIDIA 当前的一个重点，对吧？

黄仁勋： 是的，数据中心的规模也是关键。只有当我们将网络视为计算结构的一部分，才能在大规模压缩下将更多的工作推入网络之中。这也是为什么我们收购了 Mellanox，并积极推动 Infiniband 和 NVLink 融合的原因。现在，NVLink 将把计算结构扩展成一个巨大的“虚拟 GPU”。例如，以前一个 GPU 能完成的任务，现在数百个 GPU 可以协同工作来完成。这对于推理时间的提升也有巨大的帮助，对吧？尤其是当我们需要在极低延迟下生成代币，以实现自我反思、自我提示等复杂推理时。现在的数据中心在生成代币时，必须平衡低延迟和高吞吐量，而这两者常常是矛盾的。为了在这两方面都达到最佳，我们不得不创新。NVLink 就是我们实现这一目标的方式之一。它可以提供大量的浮点运算能力，同时具备巨大的内存和带宽支持，以满足高效的代币生成需求。

不仅如此，构建模型的人员也在不断优化和压缩数据，比如我的团队成员 David 就发现，过去 18 个月里，处理 GPT-4 级别模型的百万代币成本降低了 240 倍。这表明在我们所在的层级，优化和压缩的进展同样显著。我们非常关注我们的堆栈生态系统和软件的生产力。大家往往忽视了 Cuda 平台的基础性作用，因为它提供了一个稳定的基础，使得上层的软件可以迅速迭代。比如在过去一年中，我们重新基准测试了 Hopper，发现它的性能在算法和上层架构未变的情况下提高了五倍。这种增长在传统计算方式下是难以实现的。

模型训练和推理

主持人： 但通过加速计算和这种协同设计，我们能够发明出各种新事物。您最大的客户现在有多关注基础设施的灵活性？特别是能否在大规模训练和推理之间互换基础设施？

黄仁勋： 如今的基础设施是解耦的，Sam 刚告诉我，他最近才退役了 Volta 服务器，Pascals 也已经停用了，他们现在用的是 Ampere，有多种配置在使用。有些适合风冷，有些适合液冷，您的服务需要适应这些不同配置。当然，NVIDIA 的优势在于，您今天为训练构建的基础设施，未来用于推理也会很出色。我相信，像 ChatGPT 大部分的推理操作也是在与训练相同的系统上完成的。所以，您可以在相同的系统上完成训练和推理。这种基础设施投资可以继续带来回报，您可以自信地将旧的基础设施用于新的任务，同时 NVIDIA 和整个生态系统也会继续提升算法，从而让您的基础设施在一年内获得五倍的提升。这种改进模式永远不会改变。因此，尽管今天的基础设施是为训练构建的，我们知道它未来会在推理方面表现出色。

主持人： 推理会是多类型尺度的吗？因为为了提炼小模型，首先需要一个较大的模型来进行提炼，对吗？

黄仁勋： 是的。我们将创造这些前沿的大模型，用于开创性的研究、生成合成数据、教授小模型，并逐步提炼成小模型。最终我们会从巨型模型到微小模型都有应用。虽然微小模型的通用性不如大模型，但它们在特定任务上的表现非常优异。我们可能会在某个细小领域看到“超人”表现的小模型，这些模型虽然不完全是小语言模型，但确实类似于小型语言模型（TLMs）或其他类似的形式。我认为我们会看到各种尺寸的模型，就像今天的软件一样。人工智能让我们在创建新应用方面打破了很多局限，但计算的本质并未改变。例如，维护软件的成本依旧很高。一旦开发完成，我们希望它能在尽可能大的安装基数上运行，不需要重复开发。很多人都希望能将现有的工程延续下去，理想情况下，今天的硬件可以运行明天的软件，而明天的 AI 也能在现有的硬件上运行。这样的软件开发理念不会改变。

主持人：  NVIDIA 似乎在逐渐扩大支持单元，从单个芯片到服务器，再到机架 NV 72。接下来您认为会是什么？NVIDIA 会全力建造数据中心吗？

黄仁勋： 事实上，我们已经在建造完整的数据中心了。我们的工作方式是，开发软件时，我们需要整套计算设施来完成开发。我们不只是做 PowerPoint 演示然后交付芯片，而是要构建完整的数据中心。只有在建立好整个数据中心后，才能知道软件是否正常运行，整个计算架构是否符合预期的效率，是否能真正扩展。这就是为什么实际性能经常会远低于 PowerPoint 上展示的峰值性能，因为计算已经不再像以前那么简单。对我们来说，计算的基本单位已经是数据中心了，这就是我们现在构建的方式。

英伟达超级计算机

主持人： 所以您们是整套配置，比如风冷的 X86，液冷的 Grace，Ethernet，Infiniband，NVLink，无论是哪种组合，都在配置中考虑到了，对吗？

黄仁勋： 没错。我们为各种配置构建了五个超级计算机，明年我们会再建五个。认真做软件的人都会自建计算机，完整地构建自己的计算设施。我们在 Goodale 建造这些设施，非常庞大，采用垂直整合的方式，进行全堆栈优化，然后再拆分成部件出售。这样做的复杂性极高。我们的目标是将我们的基础设施整合到 GCP、AWS、Azure、OCI 等平台中。它们的控制平台和安全策略各不相同，但我们能够让它们都兼容 NVIDIA 的架构，以便 CUDA 可以无处不在。这就是我们的核心愿景——为开发者提供一个一致的计算平台，即使有些细微差异，也能让开发者无缝使用。因为客户的基础设施在不同方面都有所优化，可能会有10%的差异，但不管怎样，他们构建的东西可以在任何地方运行。这是软件开发的一个基本原则，不应该被放弃，我们对此非常重视。这也让我们的软件工程师可以做到“一次构建，随处运行”。我们认识到，软件开发的投入是最昂贵的投入。试想一下，整个硬件行业的规模已经达到了万亿美元，而软件则建立在这万亿级的硬件基础之上，这足以说明软件的重要性。您开发的软件需要长期维护。我们从未放弃过任何一块软件，比如 C 语言的使用延续至今，就是因为我告诉所有人，我们将永远维护它，我们是认真的。

NVIDIA Shield，我们的 Android 电视产品就是一个很好的例子。我们七年前发布了这个产品，至今它仍然是全球最好的 Android 电视。我们上周才刚刚更新了它的软件。像 GeForce 一样，我们有全球3亿的玩家群体，任何一位玩家都没有被“抛弃”。我们的架构兼容性使得我们能够在不同领域保持一致，否则我们公司的软件团队规模可能会是现在的100倍。这种架构兼容性对开发者的好处是显而易见的。

主持人： 最近的一个显著例子就是您们为 x.ai 迅速搭建集群的过程。这次的规模和速度让人印象深刻，您能谈谈吗？

黄仁勋： 很多功劳都应该归于马斯克。首先，他决定做这件事，选定地点，进行冷却和供电的部署，然后开始构建这个拥有10万块 GPU 的超级集群，这是单一单位中最大的集群之一。我们在几个月前就确定了所有的组件、供应商、系统和软件集成的计划，进行了网络配置的模拟，预先进行了供应链的预处理，布置了网络布线，甚至还搭建了一个小规模的原型系统作为参照。在所有设备到达之前，所有的测试和模拟已经完成。然后就是庞大的整合工作，我们的团队和他们的团队昼夜不停地工作，几周之内集群就上线了。这真的是对 Elon 意志力的证明，他能够从机械、电气等方面考虑问题，克服种种障碍，这次是我们第一次在如此大规模和速度下完成计算机系统的部署。

主持人： 在工程方面，有什么是最可能成为阻碍的挑战吗？是这些电子设备的巨大规模吗？

黄仁勋： 确实是设备的数量惊人，数以吨计的设备集合在一起通常是非常异常的。一般来说，超级计算机系统的规划需要几年时间，从系统交付到投入使用可能需要一年左右。然而我们承担不起这样的时间，所以几年前我们发起了一个名为“数据中心即产品”的计划。尽管我们不直接销售它，但我们会把它当成产品来对待，从规划到搭建、优化、调试、运维都进行了详细的计划。我们希望客户能像打开新 iPhone 那样，打开它就能顺利运行。虽然这是科技的奇迹，但我们现在拥有了这样的能力。只要客户提供空间、供电和冷却支持，我们可以在30天内帮助他们搭建一个数据中心。

资本和能源供应

主持人： 真是不可思议！如果将规模提升到20万、50万，甚至100万的超级集群，您认为最大的阻碍是什么？是资本、能源供应，还是其他方面？

黄仁勋： 您刚才提到的这些规模中，没有一样是正常的，但也没有什么是不可能的。没有物理定律会限制我们，但一切都会非常困难。当然，这一切是值得的。为了实现我们认可的计算机目标——一种具有接近通用智能的计算能力，甚至如果我们还在争论它是否是真正的通用智能，光是接近它就已经是一个奇迹了，我们清楚这一点。我认为现在有五到六个团队在尝试登顶这一领域，比如 OpenAI、Anthropic、X、当然还有 Google、Meta，以及微软。这个前沿的技术探索就像攀登一座高峰，越接近顶端越至关重要。谁不想成为第一个登顶的人呢？重塑智能的奖赏实在太重要了，不容忽视。我认为并没有什么物理定律来限制我们，只是过程会很艰难。

主持人： 一年前我们聊过，当时我们问您 NVIDIA 下一个在 AI 领域的应用最令您兴奋的是什么？您谈到会让那些最极端的客户引领您们前进的方向。过去一年中，科学领域的 AI 应用似乎变得更加主流。科学应用仍然是您最感兴趣的吗？

黄仁勋： 我很喜欢我们在 NVIDIA 有 AI 芯片设计师和 AI 软件工程师。我喜欢 AI 芯片设计师在这里发挥的作用。现在的 AI 芯片设计师非常有效。没有他们，我们就无法设计 Hopper。因为他们可以探索更大的设计空间，并且他们有“无限的时间”，在超级计算机上运行设计，而我们人类工程师的时间非常有限。人类无法像 AI 那样组合式地探索各个模块之间的协同设计，也无法跨越局部极小值去找到更优解。

主持人： 自从我们上次见面以来，NVIDIA 的市值从约5000亿美元增长到现在的3万亿美元。过去18个月，市值增加了2.5万亿，相当于每月增长10亿美元以上。显然，在公司内，很多东西保持了稳定，比如研发方向等等。今天来到这里时，我感受到了一种像15年前在 Google 时的那种兴奋和活力。您认为在这段时间里，公司发生了什么变化吗？或者说 NVIDIA 的运作方式或者您的世界观发生了什么改变？

黄仁勋： 我们的公司不能像股价那样迅速变化，这一点需要明确。所以在很多方面，我们并没有变化太多。关键是要退后一步，问问自己我们到底在做什么。我认为，对于公司和国家来说，真正的觉醒在于我们已经重新定义了计算。这是一件60年来未曾发生的大事。我们已经在过去十年中将计算的边际成本降低了可能达到百万倍，以至于我们可以让计算机自行穷尽地写代码。

主持人： 所以在芯片设计方面，您们也希望计算机可以去发现我们无法自己实现的东西，对吗？

黄仁勋： 是的。我们希望计算机可以探索和优化芯片，就像我们希望数字生物学或者其他科学领域一样。我认为人们开始意识到，我们不仅是重新发明了计算，实际上我们创造了所谓的“智能”。过去的数据中心是多租户文件存储中心，而如今的新数据中心并不是多租户的，也不存储任何文件，而是生成某种输出。这些输出被重新组合成类似智能的东西，比如机械运动的表达、氨基酸序列，甚至化学链条等等。所以从本质上讲，我们创造了一种全新的“工厂”。与其称它为生成式 AI，不如说它是一个“AI 工厂”，是一个生成 AI 的工厂，而且我们在大规模上进行这项工作。人们开始意识到，这可能是一个全新的产业。这个产业产生的“商品”是有价值的。NVIDIA 正在重塑计算，而这个新的产业的规模难以估计，但可能价值数万亿美元。

构建AI工厂

主持人： 所以可以说 NVIDIA 现在不是在构建计算机，而是在构建工厂？

黄仁勋： 我们现在构建的已经不再是传统的计算机，而是工厂。每个国家、每个公司都需要它。试想，哪一个公司或行业会说“不需要生成智能，我们已经有足够的智能了”呢？我认为这是一个伟大的想法，这是一种更抽象的产业视角。有一天，人们会意识到，半导体行业其实不仅仅是制造芯片，它是为社会构建了基础结构。到那时，大家会说：“啊，我明白了，这不只是关于芯片而已。”那么，现在您怎么看待具身 AI 呢？我非常兴奋的是，我们不仅接近人工通用智能，还接近人工通用机器人。Token 就是 token，关键是你能不能把事情变成 token。大家都知道，把事情变成 token 并不容易，但如果我们能做到这点，将它与大语言模型和其他模态对齐，如果我可以生成一个视频，比如 Jensen 伸手去拿咖啡杯的动作，那么为什么我不能给机器人一个指令生成那些 token，让它去拿咖啡杯呢？从直觉上来看，这个问题对于计算机来说似乎是相似的。因此，我认为我们距离目标非常接近，这真的很激动人心。

有两个现成的机器人系统领域：自动驾驶汽车和具身机器人。自动驾驶汽车可以看作是一种数字化的“司机”，而具身机器人则是直接与人交互的机器人。我们能够将机器人带入世界，而无需改变世界本身，因为我们已经为这些东西构建了世界。也许这就是 Elon 专注于这两种机器人形式的原因，因为它们可能具有最大的规模化潜力。我认为这非常令人兴奋。数字版同样令人兴奋。我们正在谈论数字员工——毫无疑问，我们未来将会拥有各种各样的 AI 员工。我们的世界将包含生物和人工智能两种类型的“员工”，我们以相同的方式给他们下达指令，不是吗？大多数时候我只是给我的员工下达任务，提供上下文，要求他们执行某个任务，他们会去招募其他团队成员，然后完成任务。那对于数字或 AI 员工来说，流程应该也不会有很大的不同。未来我们将会有 AI 市场人员、AI 芯片设计师、AI 供应链人员等等。我希望未来的 NVIDIA 既能在生物学上扩展，也能在人工智能上更加强大。这是我们公司的未来。

2025年预测

主持人： 如果一年后我们再来采访您，您觉得公司中哪个部门会是最具人工智能的？

黄仁勋： 我希望是芯片设计部门。它是最重要的领域，因为它的影响最大，而且问题难度极高。我与 Synopsys 的 Cine 和 Cadence 的 Rud 合作，我可以想象他们有 Synopsys 的 AI 芯片设计师供我们租用，这些 AI 专精于某个特定模块或者工具。我们可以根据需要雇佣一大批这样的 AI 工程师，然后再雇佣 Cadence 的 AI 工程师来帮助我们。对于他们来说，这将是一个令人兴奋的未来，拥有大量使用平台工具和协作的 AI 工程师来满足需求。

主持人： 很多人认为这些 SaaS 平台会被 AI 取代，但您认为恰恰相反，对吗？

黄仁勋： 没错，这些平台实际上坐拥一座“金矿”，未来会有大量的专用 AI 代理涌现，比如在 Salesforce 或 SAP 平台上专用的代理。我们拥有 CUDA 和 Omniverse 的开源平台，而这些平台将会因大量的 AI 代理而繁荣起来。我们会引导这些代理彼此协作，解决问题。在未来的每个领域中，都将有大量的 AI 工作者参与。

主持人： 您认为当前人们忽视的是什么？有哪些领域您希望更多的创业者、工程师或企业人士能够投入呢？

黄仁勋： 首先，我认为人们低估了 AI 和机器学习在科学和工程领域的“水下活动”。现在没有一个科学或数学系不被 AI 和机器学习改变。如果我们观察所有的科学家和工程师，并将他们的现有工作视为未来的预兆，那么我们将会看到一个巨大的 AI 和机器学习浪潮在未来几年内改变一切。我记得早期看到计算机视觉的萌芽，比如 Alex 和 Hinton 在多伦多的工作，Andrew Ng 在斯坦福的研究，当时它们只是猫咪识别，但它最终演变成了计算科学和计算技术的巨大转变。

主持人： 现在所有的科学领域都在发生类似的变化，对吧？

黄仁勋： 是的，毫无疑问，今天科学的每一个领域，从量子计算到量子化学，无一例外都被 AI 改变。如果再给我们两三年的时间，AI 将会成为所有科学与工程领域创新的基础。每当我听到有人怀疑 AI 是不是一阵风时，我只想回到基本原理观察实际发生的变化。计算堆栈和软件开发方式都已改变，而软件是人类知识的编码方式，所以这将影响一切。没有什么会保持原样。

主持人： 我完全同意。现在我去参加机器人、材料科学、生物科技会议时，也能够理解许多内容，不一定是每一个科学细节，但在推动发现方面，算法是通用的，有一些普遍统一的概念。

黄仁勋： 是的，我每天都在使用 AI。对我来说，AI 就是我的导师。我不再以艰难的方式学习，直接去查 ChatGPT 或 Perplexity，根据我的问题去开始学习。几乎所有我认为的“事实”我都会去验证一遍，即使我觉得自己是专家，也会去 AI 那里确认。AI 对我来说是无价的。

原视频链接：https://www.youtube.com/watch?v=hw7EnjC68Fw&t=2s&ab_channel=NoPriors%3AAI%2CMachineLearning%2CTech%2C%26Startups

素材来源官方媒体/网络新闻

不只是算法，我们在创造改变生活的可能。您是否曾想过AI技术能为您的事业带来突破？现在，欢迎扫描下方二维码或点击链接填写AI需求，来和我们聊聊。

https://kawecob6a7k.feishu.cn/share/base/form/shrcn9i5HkwtHpkQNaV1bDqjt8f填写，会有相关负责人及时联系您，请留意您的微信和邮箱信息!

往期回顾

1、[找一份 AI 工作需要学什么？吴恩达教授力作《如何打造你的AI职业》为你指引方向]

2、[电力改变物理世界，AI将改变认知世界-对话美国前财长萨默斯：AI自我进化能力将重塑人类社会]

3、[哥伦比亚大学杨立昆演讲：大模型只是AI发展阶段性成果，但下一步AI革命制胜关键不会依赖于此（附视频）]

想象一个世界，AI不再是遥不可及的科技，而是每个人的得力助手。我们将 AI 科技与创新想法完美融合,探索AI的无限可能!

告别昂贵服务和缺人烦恼,再见漫长交付周期

无限创意,分分钟生成专业级产品

感受 AI 带来的全新工作体验！

欢迎各大品牌方、媒体、企业和个人等

请联系负责人微信：Milo-1101

--END--