真正的创新不是完全推翻过去，而是在现有基础上扩展未来。
（2024.11.7）这是昨天黄仁勋的访谈，以下是我看完后总结：
在30年前，黄仁勋一手创办的英伟达还只是硅谷众多初创公司中的一个，聚焦图形处理的细分市场。可如今，它已经是市值超过3万亿美元的巨头，站在AI革命的中心，定义了一个全新的计算世界。
马尔科姆·格拉德威尔曾说，"历史往往是由那些愿意颠覆规则的人书写的。" 黄仁勋就是这样的人。他将英伟达打造成了当代技术革新中少见的“反传统”存在，而这种特质正是英伟达在高速发展的AI世界中屹立不倒的秘密。
那么，黄仁勋的秘密是什么？他解释说，计算世界发生了一场根本的变化：从原本为人类代码设计的CPU，转变为为AI代码设计的GPU。 这听起来像是技术细节，实际却代表了一场根深蒂固的计算范式的革命。几乎所有传统的技术法则都被推翻了，包括摩尔定律。“摩尔定律是过去的遗产，但不再是英伟达的指南，”黄仁勋坦言道。
黄仁勋认为，今天的英伟达，走在了一个新的引爆点上。英伟达不再是“造芯片”的公司，而是一家构建“AI工厂”的公司，它制造的不仅是半导体，更是一种新型的智能商品——这种商品能够驱动科学、医疗、制造等所有行业的智能化升级。
要理解这个未来，得从英伟达的“系统思维”入手。黄仁勋解释说：“我们现在打造的‘计算单元’已经不是芯片，而是整个数据中心。”这并不是随便说说。为了让系统的效率最大化，英伟达不只是在设计硬件，还在重新设计整个数据中心的结构，将网络、内存、算法一体化。而英伟达收购Mellanox，积极整合Infiniband和NVLink，正是出于这个原因。黄仁勋说，这种“软硬件协同设计”才能实现今天英伟达的奇迹式增长。
更令人惊叹的是，黄仁勋甚至不满足于仅仅服务AI行业。他认为每一家企业，甚至每一个国家，都将成为“AI工厂”的受益者。“任何行业都不会拒绝智能化。” 在他看来，AI不再只是技术工具，而是一种像电力、互联网一样的通用商品，将会为未来的全球经济打下基础。
正如黄仁勋所说，“我们不再是造计算机，而是造工厂。” 那些能够理解这一点的企业，将不仅是用户，更是合作伙伴。他们将在黄仁勋“AI工厂”的生态系统中找到自己的角色。
黄仁勋抓住了一个引爆点，颠覆了计算的旧世界，创造了一个智能的新时代。这一转折点，不仅属于英伟达，也属于整个科技史。
以下是部分访谈内容：
主持人：距离上次和英伟达的创始人兼 CEO 黄仁勋聊天已经一年了。现在英伟达市值超过 3 万亿美元，妥妥地成为了 AI 革命的核心。今天我们来到英伟达总部，聊聊最前沿的技术、AI 模型、数据中心规模的计算，以及英伟达对未来十年的展望。
主持人：黄仁勋，英伟达已经 30 岁了，展望未来 10 年，你认为最重要的方向是什么？是继续扩大规模吗？我们从现有架构中榨取算力和内存是不是快到极限了？你最关注什么？
黄仁勋：回顾一下，我们从写代码进化到机器学习，从写软件进化到创造 AI。以前所有东西都跑在为人类代码设计的 CPU 上，现在跑在为 AI“写代码”（也就是机器学习）设计的 GPU 上。世界变了，计算方式变了，整个底层技术都变了。结果就是，我们能解决的问题规模也发生了巨变。因为只要你的软件能在单个 GPU 上并行运行，就能扩展到整个集群、甚至多个数据中心。所以我们已经准备好以前所未有的规模扩展计算、开发软件。这才只是开始，未来十年，我们希望每年都能让整体性能翻两三倍（不是单颗芯片的性能），同时成本和能耗降低两三倍。每年都这样，几年下来效果就非常惊人。所以别惊讶，我们现在性能提升的速度远超摩尔定律，我希望我们能继续保持下去。
主持人：是什么让性能提升比摩尔定律还快？摩尔定律有点像预言，说出来就实现了。
黄仁勋：有两个核心技术支柱：一个是德纳德缩放比例定律，一个是卡弗·米德的超大规模集成电路缩放比例定律。这俩都很牛，但现在已经失效了。所以我们需要新的扩展方法。显然，新方法和软硬件协同设计有关。你得根据系统架构调整算法，根据软件架构调整系统，如此反复。除非软硬件都能控制，否则没戏。但如果都能控制，就能从 FP64 到 FP32、BF16、FP8，甚至 FP4，谁知道呢？所以协同设计非常重要。第二个关键是数据中心规模。你得把网络当成计算单元，把大量工作交给网络，进行大规模压缩。这就是我们收购 Mellanox，积极整合 Infiniband 和 NVLink 的原因。
黄仁勋：看看现在的 NVLink 多强大！计算单元扩展成了一个超级处理器——GPU。现在我们有几百个 GPU 协同工作。
黄仁勋：我们面临的计算挑战很多，最激动人心的就是低延迟生成 token，因为 AI 需要“思考”，就像你说的，要进行树搜索、思维链，还要模拟、反思自己的答案，默默地生成文本，然后快速回答。要做到这些，延迟必须极低。
黄仁勋：同时，数据中心还要保证高吞吐量，因为要控制成本，提高效率，产生收益。低延迟和高吞吐量，这两个目标是矛盾的。所以我们必须发明新东西，NVLink 就是我们的解决方案。
黄仁勋：现在我们有了虚拟 GPU，它有超强的算力来处理上下文，有海量内存，还有超高带宽生成 token，所有这些同时进行。
主持人：与此同时，开发模型的人也在疯狂优化。过去 18 个月，我团队的数据显示，用 GPT-4 级别的模型处理 100 万 token 的成本下降了 240 倍。这方面也做了大量的优化和压缩。
黄仁勋：没错，在我们这层也一样。我们很重视生态系统和软件生产力。CUDA 是个坚实的基础，上面的东西可以随便改。如果基础总变，上面就盖不了楼。CUDA 让我们快速迭代。去年我们用 Lama 测试，在算法和上层应用不变的情况下，Hopper 的性能提升了 5 倍。一年 5 倍，用传统方法根本不可能，但用协同设计就做到了，还能解释各种新东西。
主持人：你的大客户怎么看待大规模训练和推理之间基础设施的互换性？
黄仁勋：现在基础设施都是模块化的。Sam 跟我说他最近淘汰了 Volta。他们有 Pascal、Ampere，各种各样的 Blackwell 配置，有风冷的，有液冷的。你的服务必须能利用所有这些。英伟达的优势是，你今天为训练建的基础设施，明天就能完美地用来做推理。我相信大部分 ChatGPT 就是在最近训练的同类系统上做推理的。所以你可以用同一套系统训练和推理。你之前的投资不会浪费，还能继续用它做推理，同时我们和整个生态系统会不断改进算法，让你的老系统性能一年提升 5 倍。这种模式永远不会变。
黄仁勋：所以大家对基础设施的理解应该是：虽然是为训练而建，但它也能完美推理。推理会有各种规模，你会从大模型蒸馏出小模型。所以你仍然会创造强大的前沿模型，用来做开创性的工作，生成合成数据，训练小模型。最终你会同时拥有大模型和小模型。小模型虽然通用性差一点，但效率很高，能出色地完成特定任务，甚至超越人类。我们会看到各种规模的模型，就像现在的软件一样。AI 让我们更容易创建新的应用，但计算的本质没变。维护软件的成本仍然很高，你希望软件写一次到处都能跑。
黄仁勋：很多人还是这么想的。你希望工程师的努力能持续产生价值。所以好的架构应该让你今天写的软件明天在新硬件上跑得更好，或者你明天写的 AI 能在现有的大量设备上运行。这种软件理念不会变。
主持人：英伟达对客户的支持规模越来越大，从单芯片到服务器、机架，再到 DGX。你怎么看这种发展？下一步是什么？英伟达是不是该做整个数据中心了？
黄仁勋：其实我们一直在做整个数据中心。开发软件，你就需要完整的计算机系统。我们不只是设计芯片，而是构建整个数据中心。不把整个数据中心搭起来，怎么知道软件能不能跑？怎么知道网络能不能正常工作？怎么知道效率是不是达标？怎么知道能不能真正大规模运行？这就是为什么有些产品的实际性能远低于 PPT 上宣传的峰值性能。计算已经不一样了。我说过，新的计算单元是数据中心。这就是我们交付的产品，也是我们构建的东西。
黄仁勋：我们搭建各种配置的数据中心：风冷 x86、液冷 Grace、以太网、Infiniband、带 NVLink 或不带 NVLink 的。我们公司现在有 5 台超级计算机，明年还会再建 5 台。认真做软件，就得自己造计算机。我们全栈自研，垂直整合，然后拆开卖。这很牛，也很复杂。这么做是为了让我们的基础设施能适配 GCP、AWS、Azure、OCI 等各种云平台。它们的控制平面、安全平面、集群规模都不一样，但我们让它们都能用英伟达的架构，让 CUDA 无处不在。我们的最终目标是，提供一个统一、模块化的计算平台，让开发者写一次代码到处都能跑，可能会有 10% 的差异，因为不同基础设施的优化方式不同，但大体一致。
黄仁勋：这是软件的精髓，我们一直坚持。这样我们的软件工程师就能“一次编写，到处运行”。因为我们知道，软件的投入最大，也最容易验证。看看硬件行业的规模，再看看其他行业的规模，1 万亿美元的硬件支撑着 100 万亿美元的其他产业，这就说明问题了。你写的软件得一直维护下去。我们从不放弃任何软件。CUDA 还在用，因为我承诺过，会一直维护下去。我们说到做到。我最近看到一篇关于 Nvidia Shield（我们的安卓电视盒子）的评测，它是最好的安卓电视盒子，7 年前发布的，现在依然是最佳选择。我们上周刚更新了软件，还有人写了新闻报道。GeForce 现在有 3 亿玩家，我们从未抛弃过任何一个。我们的架构兼容性让我们做到了这一点。否则，我们的软件团队得扩大一百倍。我们很重视这一点，最终也让 CUDA 受益。
主持人：最近一个很好的例子就是你多快就为 x.AI 搭建好了一个集群。规模和速度都非常惊人。
黄仁勋：这得多亏 Elon。他决定做这件事，选址，搞定冷却和供电，然后决定建一个 10 万 GPU 的超级集群，这是目前最大的单体集群。
黄仁勋：然后我们倒推时间，一起规划上线日期。几个月前就定好了日期。
黄仁勋：然后我们就开始准备所有组件、OEM、系统，和他们的团队一起做软件集成，做网络模拟。我们预先把一切都做成数字孪生，预先安排好供应链、网络布线。我们甚至先搭建了一个小型版本，作为参考系统。等所有东西到货，一切都准备好了，模拟测试也做完了。然后就是大规模的集成，无数人 24/7 地工作，连接所有设备。几周内，集群就上线了。
黄仁勋：这证明了 Elon 的执行力，他如何克服机械、电气等各种巨大的挑战。这么大规模的集群，这么快的速度，史无前例。除非两个团队从网络、计算、软件、训练到基础设施，从电气工程师到软件工程师，紧密配合。
主持人：从工程角度来看，最大的挑战是什么？
黄仁勋：设备的体量太大了！几吨几吨的设备，非常夸张。通常这么大的超算，从设备交付到正式投入使用，得花一两年的时间。这很正常。
黄仁勋：我们等不了那么久。几年前，我们内部启动了一个“数据中心即产品”的项目。虽然不直接卖数据中心，但我们把它当成产品来做，从规划、搭建、优化、调优到运维。目标是像打开新 iPhone 一样，一切正常工作。
黄仁勋：这像魔法一样，但我们现在能做到。你找个地方，提供电力和冷却，我们就能在 30 天内帮你搭建好数据中心。
主持人：太牛了！如果未来要建 20 万、50 万甚至 100 万 GPU 的集群，最大的瓶颈是什么？资金？能源？场地？
黄仁勋：所有的一切！你说的这些规模，没有什么是正常的。
主持人：但一切皆有可能。
黄仁勋：没错，没有物理定律的限制，但所有的事情都会很难。而且，值不值得呢？创造出我们现在理解的这种计算机，能轻松完成我们交给它的任务，拥有一定程度的通用智能，甚至接近通用智能，这本身就是一个奇迹。我知道有五六家公司在努力，OpenAI、Anthropic、x.AI，还有 Google、Meta、Microsoft。接下来的几步至关重要，谁都想第一个到达顶峰。改造智能的奖励太诱人了，值得一试。没有物理定律的限制，但一切都会很难。
主持人：一年前我们聊天时，你提到你会跟着最前沿的客户走，他们会引导你找到下一个应用方向。你还提到了科学应用，过去一年这方面变得更主流了。你现在最感兴趣的还是科学以及 AI 在科学中的应用吗？
黄仁勋：我很高兴英伟达现在有 AI 芯片设计师和 AI 软件工程师。
主持人：AI 芯片设计师效率如何？
黄仁勋：非常棒！没有他们，Hopper 就造不出来。因为他们能探索更大的设计空间，而且他们有无限的时间，他们在超算上跑。人类工程师时间太少，探索的空间有限。我们也不能同时探索不同的方向。我们的芯片太大了，不像一个芯片，更像一千个芯片拼起来的。我们得单独优化每个部分，但理想情况是所有部分一起优化，跨模块协同设计，探索更大的空间。显然 AI 能找到更好的解决方案。没有 AI 工程师，我们做不到，时间不够。
主持人：自从我们上次聊天以来，还有一件事变了，当时英伟达市值 5000 亿美元，现在超过 3 万亿美元。过去 18 个月，你增加了 2.5 万亿美元的市值，相当于每月 1000 亿美元，或者每两三天就增加一个独角兽公司的市值。很显然，你在构建的东西和你的关注点都没变。我今天在这里感受到了一种活力，就像 15 年前在 Google 感受到的那种兴奋。这段时间有什么变化吗？英伟达的运作方式、你看待世界的方式、你下的赌注的大小，有什么不同？
黄仁勋：公司不可能像股价变动那么快。很多方面我们都没怎么变。我觉得应该退一步想想，我们到底在做什么？公司和国家都应该思考这个问题，认清正在发生什么。
黄仁勋：就像我们之前说的，我们重新发明了计算。计算方式 60 年没变过了。我们把计算的边际成本降低了百万倍，以至于我们可以让计算机自己写软件。这是个巨大的转变。
黄仁勋：芯片设计也是一样。我们希望计算机能帮我们发现芯片设计的改进点，用我们自己做不到的方式优化芯片，就像在数字生物学和其他科学领域一样。
黄仁勋：所以大家开始意识到，我们重新发明了计算，但这意味着什么？我们突然创造了智能，计算发生了什么？以前的数据中心是多租户的文件存储库，现在的新数据中心不再是数据中心，它们是单租户的，不存储文件，只生成 token。这些 token 就组成了我们所说的智能，各种各样的智能，可以是机器人动作指令，可以是氨基酸序列，可以是化学链，各种各样的东西。
黄仁勋：所以我们到底在做什么？我们创造了一种新的工具、新的机器，可以称之为“AI 工厂”。它大规模地生产 AI。大家开始意识到，这可能是一个新兴产业。它生产 token、生产数字，而这些数字很有价值，很多行业都能从中受益。
黄仁勋：再退一步想想，英伟达重新发明了计算，全球 1 万亿美元的基础设施都需要更新换代，但这只是一方面。更重要的是，我们构建的这个工具不只是为了更新数据中心，而是为了生产一种新的商品——智能。这个新商品的市场规模有多大？很难说，但可能是几万亿美元。
黄仁勋：所以，我们不再是造计算机，而是造工厂。每个国家、每个公司都需要它。哪个公司或行业会说“我们不需要智能，我们已经够聪明了”？所以这是一个巨大的变革，从产业角度来看。总有一天，人们会意识到，半导体行业不只是造芯片，而是为社会构建基础设施。然后恍然大悟：原来这么重要，不只是芯片那么简单。
主持人：你怎么看“具身智能”？
黄仁勋：我很兴奋的是，我们离通用人工智能很近了，也离通用机器人很近了。token 就是 token，关键在于如何把现实世界的事物转化成 token。这很难，但如果能做到，再结合大语言模型和其他模态，如果我能生成一个 Jensen 伸手拿咖啡杯的视频，为什么不能让机器人也生成同样的 token 去拿咖啡杯呢？所以从计算的角度来看，这两个问题很相似。我们离实现通用机器人很近了，这太令人兴奋了。
黄仁勋：现在有两个现成的机器人应用场景：自动驾驶汽车（或者说数字司机）和人形机器人。有了这两样，我们就能把机器人带到现实世界，而不需要改变世界，因为世界本来就是为它们设计的。Elon 同时做这两件事，不是巧合。机器人技术有更大的应用潜力。
黄仁勋：数字领域的应用也同样 exciting。以后肯定会有各种各样的 AI 员工。我们的团队会由真人和 AI 组成，我们用同样的方式指挥他们。我通常怎么指挥员工？给他们提供背景信息，布置任务，他们会和其他团队成员合作，然后汇报工作，如此反复。这和指挥数字 AI 员工有什么区别？未来会有 AI 营销人员、AI 芯片设计师、AI 供应链专家等等。我希望英伟达的规模越来越大，不仅是员工数量，还有 AI 的规模。
主持人：如果一年后我们再来和你聊，你认为公司哪个部门的 AI 化程度最高？
黄仁勋：我希望是芯片设计部门。
主持人：也是最重要的部门。
黄仁勋：没错。因为这方面的影响最大，也是最难的问题。我和 Synopsis 的 Sasina、Cadence 的 Andrew 合作，我完全可以想象他们会出租专业的 AI 芯片设计师，这些 AI 精通特定的模块和工具。我们会在需要的时候租一大批来帮忙。在芯片设计的某个阶段，我可能会租一百万个 Synopsis 的 AI 工程师，再租一百万个 Cadence 的。这对他们来说是个很棒的商业模式，在他们的工具平台上运行各种专业的 AI 代理，还能和其他平台协作。SAP 的 Christian 和 ServiceNow 的 Bill 也会这么做。
黄仁勋：有人说 SaaS 平台会被颠覆，我恰恰相反，我认为他们坐在金矿上，会有大量针对 Salesforce、SAP 等平台的专业 AI 代理出现。Salesforce 用 Lightning，SAP 用 ABAP，每个平台都有自己的语言。我们有 CUDA 和 Omniverse 的 OpenUSD。谁会开发最棒的 OpenUSD AI 代理？当然是我们，因为没人比我们更在乎它。所以各种平台上都会出现大量的 AI 代理，它们会互相协作，解决问题。
主持人：现在各行各业都有很多人在研究 AI，你认为哪些方向被低估了？你希望更多创业者、工程师、商界人士关注哪些领域？
黄仁勋：首先，我认为大家低估了 AI 对基础科学、计算机科学、以及其他所有科学和工程领域的影响。现在随便走进哪个大学的科学系、理论数学系，都会发现 AI、机器学习正在改变那里的研究方式。所有工程师、科学家的工作方式都会被 AI 彻底改变。
黄仁勋：我见过计算机视觉的早期阶段，和多伦多大学的 Alex、Hinton、Ilya，还有斯坦福的 Yann LeCun、Andrew Ng 合作过。我看到了早期迹象，幸运地预测到，从识别猫的玩具 AlexNet 会发展成彻底改变计算机科学和计算方式的重大变革。这个预测对我们来说很幸运。我们很兴奋，也很受鼓舞，改变了我们做事的一切。但这花了 6 年时间，从 AlexNet 到超越人类的物体识别能力，只用了几年时间。
黄仁勋：现在，所有科学领域都发生了巨大的变化，没有一个例外。从量子计算到量子化学，所有领域都在用我们讨论的这些方法。他们已经研究了两三年，再过两三年，世界将彻底改变。以后所有科学和工程的突破，都离不开生成式 AI。我很确定。所以，关于 AI 是泡沫的说法，你只需要回到基本原理，看看实际发生了什么。
黄仁勋：计算方式变了，写软件的方式变了。软件是人类编码知识的方式，我们编码算法的方式变了，这会影响一切，一切都将不同。我想我们都看到了同样的东西。所有初创公司、科学家、工程师，都会被裹挟到这场变革中。
主持人：最令人兴奋的是，来自计算机科学领域的我们，现在去看机器人大会、材料科学大会、生物技术大会，都能理解他们在做什么。虽然不是每个细节都懂，但我们理解他们探索发现的方式，都是基于通用的算法。
黄仁勋：是的，有一些普遍适用的概念。
主持人：看到这些算法在各个领域都如此有效，真的很激动人心。
黄仁勋：没错。而且我自己每天都在用 AI。我现在每天都用 AI 当我的老师。学什么东西都先问 AI，为什么要自己辛苦学？直接问 ChatGPT 或 Perplexity 就好了，取决于我的问题。然后我可以根据需要深入研究。这太棒了！
黄仁勋：几乎所有我知道的事情，我都会用 AI Double check。即使是我确定知道的事实，我也会去查一下。我每天都用 AI。
关注《森林聊AI商业》公众号
了解 AI 如何塑造商业的未来
