👇关注公众号后设🌟标,掌握第一手AI新动态
本文访谈内容整理自黄仁勋接受Goldman Sachs 专访,公开发表于2024年11月11日。原始内容参考:https://www.youtube.com/watch?v=gsPdXHtgSno
黄仁勋接受高盛CEO David Solomon专访
★内容导读:
本次访谈中,英伟达CEO黄仁勋主要阐述了以下几点主要观点:
加速计算的变革: 黄仁勋回顾了英伟达从图形处理器起步,逐步扩展到图像处理、物理模拟、科学计算等多个领域的历程。他强调了加速计算相较于通用计算的优势,在于能够针对特定算法进行优化,大幅提升应用效率(例如图像处理速度提升500倍)。 核心在于找到并加速应用程序中占比极小但运行时间极长的核心代码部分。 数据中心市场的机遇与挑战: 英伟达正在通过高密度服务器和液冷技术,提高数据中心的能源效率和计算密度,降低成本。 他认为未来十年,数据中心现代化将是主要发展方向。 生成式AI的兴起及其影响: 由于加速计算带来的成本大幅下降,生成式AI得以蓬勃发展。 他认为生成式AI不仅是工具,更是赋能人类的新型技能,将拓展到IT领域之外的各个行业,创造新的市场。 他预测生成式AI将带来数万亿美元的市场规模。 客户投资回报率(ROI): 黄仁勋将加速计算带来的ROI与虚拟化和云计算进行了对比,指出加速计算能带来显著的成本降低和效率提升(例如20倍的加速)。生成式AI的基础设施建设也拥有极高的ROI,因为需求巨大,每投入一美元可以带来五美元的回报。 英伟达的竞争优势(护城河): 英伟达的竞争优势并非仅仅在于芯片本身,而是构建了完整的AI基础设施,包括多个定制芯片、配套软件以及庞大的软件生态系统(CUDA)。 这使得英伟达能够提供高度优化的整体解决方案,并保证架构兼容性,从而保护软件开发者的投资。 持续的创新和挑战: 英伟达保持着快速创新的步伐(例如Blackwell系统比前代Hopper快4倍训练速度,30倍推理速度),但同时也面临着巨大的责任和压力,需要应对来自各方的巨大需求。 他提到了供应链的挑战,特别是来自亚洲,特别是台湾地区的依赖。 未来展望: 黄仁勋对AI在各个领域的应用充满信心,例如计算机图形学、自动驾驶、机器人、数字生物学等。他强调AI 不仅在于模型训练,更在于模型的应用,这能带来巨大的能源和时间节约。 但他同时指出,公司肩负着巨大的责任和压力,需要应对巨大的市场需求和地缘政治风险。
黄仁勋简介
黄仁勋(Jensen Huang),1963年出生于台湾台南,是一位美籍华人企业家,NVIDIA(英伟达)公司的联合创始人、总裁兼首席执行官。
他于1993年与Chris Malachowsky和Curtis Priem共同创立了NVIDIA,最初专注于图形处理器(GPU)的研发。在黄仁勋的领导下,NVIDIA的GPU从最初的游戏市场扩展到专业可视化、高性能计算、人工智能等领域,成为全球领先的GPU供应商。
黄仁勋以其敏锐的市场洞察力和技术远见而闻名。他预见了GPU在人工智能领域的巨大潜力,并积极推动CUDA平台的发展,使GPU成为深度学习的首选硬件。这一战略决策使NVIDIA在人工智能浪潮中占据了主导地位。
他标志性的黑色皮衣也成为了科技界的象征,代表着他对技术的热情和对未来的信心。 黄仁勋的领导力和创新精神,使NVIDIA成为一家极具影响力的科技公司,并持续推动着计算机图形学和人工智能领域的发展。他也因此获得了诸多荣誉,包括被《时代》杂志评选为2021年全球百大最具影响力人物。
访谈完整记录
主持人David Solomon:我希望大家都在享受这次会议。这是一次精彩的活动。有很多优秀的公司,这里有两千多人,所以真的,真的非常棒。很明显,能够邀请到英伟达总裁兼首席执行官黄仁勋先生来这里,这是一件非常重要,也是一种荣幸的事情。自从您在1993年创立英伟达以来,您一直引领着加速计算的发展。公司于1999年发明的GPU推动了PC游戏市场的增长,重新定义了计算机,并点燃了现代人工智能时代。黄仁勋拥有俄勒冈州立大学的电气工程学士学位和斯坦福大学的电气工程硕士学位。所以我想先欢迎您,黄仁勋先生。各位,让我们欢迎黄仁勋先生上台。谢谢。
31年前,您创立了这家公司。您已经将公司从一家以游戏为中心的GPU公司转型为一家为数据中心行业提供广泛的硬件和软件的公司。我想请您先谈谈这段旅程。您刚开始的时候在想什么?它是如何发展变化的?因为这真是非同寻常的一段旅程。
黄仁勋:是的,David,很高兴来到这里。我认为我们做对的一件事是,我们预见到将会出现另一种计算形式,它可以增强通用计算,以解决通用工具永远无法很好地解决的问题。这种处理器将从开始就做一些对CPU来说极其困难的事情,那就是计算机图形学。但我们会随着时间的推移将其扩展到其他领域。我们选择的第一件事当然是图像处理,它与计算机图形学相辅相成。
我们将其扩展到物理模拟,因为在我们选择的应用领域——视频游戏中,你希望它既美丽又动态,以创造虚拟世界。我们一步一步地进行,然后将其扩展到科学计算领域。最早的应用之一是分子动力学模拟。另一个是地震处理,这基本上是反向物理学。地震处理与CT重建非常相似,也是一种反向物理学。
因此,我们一步一步地进行,对互补类型的算法和相邻行业进行推理,可以说是这样一步步走过来的。但当时的共同愿景是,加速计算能够解决一些有趣的问题。如果我们能够保持架构的一致性,也就是说,拥有一个架构,使你今天开发的软件能够在已经遗留的大型安装库上运行,并且你过去创建的软件能够通过新技术得到进一步加速。这种关于架构兼容性、创建大型安装库以及将生态系统的软件投资带入我们体系的思考方式,始于1993年,并一直延续到今天,这就是为什么NVIDIA的CUDA拥有如此庞大的安装库的原因,因为我们一直都在保护它。自始至终,保护软件开发者的投资一直是公司最重要的优先事项。
展望未来,我们在发展过程中解决的一些问题当然包括学习如何成为创始人,学习如何成为首席执行官,学习如何经营企业,学习如何建立公司。这些都不是容易的事情。这些都是新的技能。我们只是在学习如何创造现代计算机游戏产业。
英伟达,人们不知道的是,英伟达拥有世界上最大的视频游戏架构安装库。GeForce拥有全球约3亿玩家。它仍然发展得非常好,非常活跃。因此,我认为每次我们必须进入一个新市场时,我们都必须学习新的算法、新的市场动态,并创建新的生态系统。我们必须这么做的原因是,与通用计算机不同,如果你构建了该处理器,那么最终一切都会运行。但我们是加速计算机,这意味着你必须问自己的问题是,你加速什么?没有所谓的通用加速器。
主持人David Solomon:让我们深入探讨一下这个问题。谈谈通用计算和加速计算之间的区别。
黄仁勋: 如果你看看软件,在我们编写的软件中,有一部分包含了一些神奇的内核和算法。这些算法因应用场景而异,例如计算机图形学、图像处理或其他领域,可能是流体模拟、粒子系统、逆向物理学,也可能是图像域处理等等。所有这些算法都不同。如果我们能够创造出一种处理器,使其在这些算法方面极其高效,并与擅长其他任务的CPU互补,那么理论上就能显著提升应用程序的速度。原因在于,通常只有5%到10%的代码占据了99.999%的运行时间。
因此,如果将这5%的代码运行到我们的加速器上,理论上可以将应用程序速度提升100倍,这并非异常情况。例如,我们可以将图像处理速度提升500倍。我们现在也进行数据处理,这是我最喜欢的应用领域之一,因为几乎所有与机器学习相关的(一种数据驱动的软件方法)工作都涉及数据处理,而我们对此进行了极大的加速。但要做到这一点,就必须创建相应的库。
因此,我们一个领域一个领域地进行开发。我们拥有丰富的自动驾驶汽车库、出色的机器人技术库、用于虚拟筛选(无论是基于物理学的虚拟筛选还是基于神经网络的虚拟筛选)的出色库,以及用于气候技术的出色库等等。我们一个领域一个领域地拓展,需要与合作伙伴建立联系并创造市场。NVIDIA的真正优势在于创造新市场。我们已经做了这么久,以至于英伟达的加速计算似乎无处不在,但我们确实是一步一个脚印地做到的,一个行业一个行业地发展。甚至可以说是三个行业同时进行。
主持人David Solomon: 我知道很多现场的投资者非常关注数据中心市场,因此了解贵公司对中长期机遇的看法将会很有趣。显然,贵公司的行业正在推动所谓的“下一次工业革命”。这个行业面临哪些挑战?谈谈您目前对数据中心市场的看法。
黄仁勋: 这些大型数据中心效率极低,因为里面充满了空气,而空气是导电性很差的介质。因此,我们的目标是将那些几百兆瓦(例如50、100或200兆瓦)的庞大数据中心,浓缩成一个非常紧凑的数据中心。如果观察我们的服务器机架,英伟达的服务器机架看起来很昂贵,每个机架可能价值数百万美元,但它可以替代数千个节点。令人惊奇的是,连接旧的通用计算系统的电缆成本,比替换所有这些系统并将其浓缩到一个机架中还要高。浓缩带来的另一个好处是,浓缩后就可以进行液冷,因为大型数据中心难以进行液冷,但小型数据中心就可以。
因此,我们的首要工作是使数据中心现代化、加速、强化,并提高能源效率。这样可以节省资金、节约能源,效率也更高。如果我们只专注于此,未来十年我们将持续推进这项工作。
当然,还有第二个因素。由于英伟达的加速计算极大地降低了计算成本,在过去的十年里,摩尔定律的增长速度是100倍,而我们的计算能力增长了百万倍。所以问题是,如果你的飞机速度快了一百万倍,你会怎么做?于是人们突然意识到,为什么不用计算机来编写软件呢?与其试图找出功能是什么,试图找出算法是什么,不如将所有数据、所有预测数据提供给计算机,让它自己找出算法。这就是机器学习,生成式AI。
我们在如此大规模、如此多的不同数据领域中实现了这一点,现在计算机不仅能够理解如何处理数据,还能理解数据的含义。因为它可以同时理解多种模式,所以它可以翻译数据。因此,它可以将英语翻译成图像,图像翻译成英语,英语翻译成蛋白质,蛋白质翻译成化学物质。因为它能够同时理解所有数据,所以现在它可以进行我们称之为生成式AI的所有这些翻译工作。将大量的文本转换成少量文本,将少量文本转换成大量的文本,等等。
我们现在正处于这场计算机革命中,令人惊奇的是,价值万亿美元的数据中心将被加速。它发明了一种名为生成式AI的新型软件。这种生成式AI不仅仅是一种工具,更是一种技能。这就是有趣的地方,也是一个新兴产业诞生的原因。因为如果你看看目前的整个IT行业,我们一直在制造人们使用的仪器和工具。而第一次,我们将创造能够增强人们能力的技能。
这就是为什么人们认为人工智能将超越万亿美元的数据中心和IT领域,进入技能领域的原因。什么是技能?数字司机是一种技能;自动驾驶,数字装配线工人,机器人;数字客户服务,聊天机器人;用于规划英伟达供应链的数字员工。我们在公司中大量使用ServiceNow,并且拥有数字员工服务。所以现在我们拥有所有这些数字人类。这就是我们现在所处的AI浪潮。
主持人David Solomon: 退一步,稍微转变一下话题,基于您刚才所说的一切,金融市场正在就一个问题进行持续的争论:随着我们继续构建人工智能基础设施,投资回报率是否足够高。您目前如何评估客户的投资回报率?如果您回顾过去,想想PC和云计算在其采用周期的类似阶段,当时的投资回报率与我们现在在继续扩展时的投资回报率相比如何?
黄仁勋:是的,让我们来看一下。在云计算出现之前,主要趋势是虚拟化,你们应该还记得。虚拟化基本上是指,让我们把数据中心的所有硬件虚拟化成一个虚拟数据中心,然后我们可以跨数据中心移动工作负载,而不是将其直接与特定的计算机关联。结果,数据中心的利用率得到了提高,我们一夜之间看到了数据中心成本降低了 2 倍到 2.5 倍,这都要归功于虚拟化。
第二件事是,在虚拟化之后,我们将这些虚拟计算机直接放入云中。结果,多家公司,而不仅仅是一家公司的多个应用程序,可以共享相同的资源。成本再次降低。利用率再次提高。
顺便说一下,过去十年,甚至十五年里发生的所有这些事情,掩盖了其下发生的根本性变化,那就是摩尔定律的终结。我们在成本降低方面又取得了 2 倍的进步,这掩盖了晶体管缩放的终结。它掩盖了晶体管、CPU 的扩展。然后突然之间,我们已经从这两件事中获得了利用率和成本降低的效益,现在已经没有了。
主持人David Solomon:嗯哼。
黄仁勋:这就是我们现在看到数据中心和计算成本上涨的原因。首先发生的是加速计算。因此,使用加速计算处理数据工作的情况并不少见,有一种叫做 Spark 的技术。在座的各位,Spark 可能是当今世界上使用最广泛的数据处理引擎。如果您使用 Spark 并通过云中的英伟达进行加速,看到 20 倍的加速并不罕见。
因此,您可以节省 10 倍的成本,当然,您需要支付英伟达 GPU 提升 CPU 的费用。所以计算成本会略微上升,可能翻倍,但您可以将计算时间缩短约 20 倍。所以您可以节省 10 倍的成本。没错。对于加速计算而言,看到这种投资回报率并不罕见。因此,我鼓励大家尽可能地进行加速计算,然后用 GPU 运行它。这就是加速计算带来的即时投资回报。
除此之外,生成式 AI 的讨论正处于生成式 AI 的第一波浪潮中,在这个浪潮中,像我们这样的基础设施厂商和所有云服务提供商都将基础设施部署到云中,以便开发人员可以使用这些机器来训练模型或微调模型、为模型设置防护措施等等。而它的回报非常可观,因为需求量如此之大,以至于他们每在我们这里花费 1 美元,就能获得 5 美元的租金回报。这种情况正在全球各地发生,所有资源都被抢购一空。因此,对这方面的需求非常惊人。我们已经了解到的一些应用程序,当然,其中最著名的就是 OpenAI 的 ChatGPT 或 GitHub Copilot,或者我们公司使用的代码生成器,其生产力提升令人难以置信。
我们公司今天没有一个软件工程师不使用代码生成器,无论是我们自己为 CUDA 或 USD(我们公司使用的另一种语言)构建的代码生成器,还是 Verilog、C 和 C++ 代码生成器。我认为,每行代码都由软件工程师编写的时代已经完全过去了。每个软件工程师都将有 24/7 全天候工作的数字工程师伙伴与他们一起工作的理念,这才是未来。所以我对英伟达的看法是,我们有 32000 名员工,但这 32000 名员工周围有希望多 100 倍的数字工程师。没错。
主持人David Solomon:是的,很多行业都在采用这项技术。您最看好哪些案例、用例和行业?
黄仁勋:在我们公司,我们将其用于计算机图形学。如果没有人工智能,我们就无法再进行计算机图形学了。我们计算一个像素,然后推断出另外 32 个像素。我的意思是,这太不可思议了。所以我们可以“幻觉”出另外 32 个像素。它看起来在时间上是稳定的。它看起来很逼真。图像质量令人难以置信。性能令人难以置信。我们节省的能源也令人难以置信,计算一个像素需要消耗大量能量,那是计算。推断另外 32 个像素只需要很少的能量。而且你可以非常快地做到这一点。
所以这里的一个要点是,AI 不仅仅是关于训练模型。当然,这只是第一步。它关乎如何使用模型。因此,当您使用模型时,您可以节省大量的能源,节省大量的处理时间。因此,我们将其用于计算机图形学。如果不是因为 AI,我们就无法为自动驾驶汽车行业提供服务;如果不是因为 AI,我们在机器人技术、数字生物学方面所做的工作,我最近遇到的几乎每家科技生物公司都是建立在英伟达之上的。因此,他们将其用于数据处理或生成蛋白质。
主持人David Solomon:这听起来非常令人兴奋
黄仁勋:令人难以置信。小分子生成,虚拟筛选。我的意思是,借助人工智能,整个领域将首次被彻底革新,用于计算机辅助药物研发。在那里进行着令人难以置信的工作。
主持人David Solomon:谈谈竞争。谈谈你们的竞争优势。肯定有一些私营公司试图扰乱你们的领导地位。您如何看待你们的竞争优势?
黄仁勋:首先,我认为我们有很多与众不同的地方。首先要记住,AI 不仅仅是关于芯片的。AI 是关于基础设施的。今天的计算不是制造一个芯片,然后人们来购买你的芯片,把它放入计算机中。那真的是 90 年代的做法了。如果你看看我们的新型 Blackwell 系统,我们会设计七种不同类型的芯片来创建这个系统,Blackwell 就是其中之一。
所以令人惊奇的是,当你想要构建这台 AI 计算机时,人们会使用“超级集群”、“基础设施”、“超级计算机”等词语,这是有充分理由的。因为它不是一个芯片,它本身也不是一台计算机。因此,我们正在构建整个数据中心。通过构建整个数据中心,如果你曾经看过这些超级集群中的一个,想象一下运行它需要多少软件。计算机内部的所有软件都是定制的。有人必须去编写这些软件。因此,设计芯片的人和设计超级计算机、超级集群以及所有相关软件的公司是同一家公司是有道理的,因为它会更优化,性能更高,能效更高,成本更低。所以这是第一点。
第二点是,AI 是关于算法的,我们非常擅长理解什么是算法,它对底层计算堆栈有什么影响,以及如何将这种计算分布到数百万个处理器上,持续运行数天,同时使计算机尽可能具有弹性,实现高能效,尽可能快地完成工作,等等。所以我们在这方面非常擅长。
最后,AI 本质上是运行在计算机上的计算和 AI 软件。我们知道,对于计算机来说,最重要的事情是**安装基础(Install Base)**,在每个云平台上、在本地到云端都具有相同的架构,并且无论您是在云中构建它,还是在您自己的超级计算机中构建它,或者试图在您的汽车或某些机器人或某些个人电脑中运行它,都具有相同的架构,这对于运行相同的软件来说非常重要。这被称为安装基础。因此,我们过去 30 年的经验为今天奠定了基础。这也是为什么如果你要创建一家公司,最明显的架构是使用英伟达的架构的原因,因为我们在每个云平台上,无论你想要在哪里购买,你都可以买到它。无论你拿起哪台计算机,只要上面写着“英伟达出品”,你就知道你可以运行软件。
主持人David Solomon: 是的,你们的创新速度快得令人难以置信。我想了解更多关于Blackwell的信息,它的训练速度是前代产品Hopper的四倍,推理速度是其30倍。你们创新的速度如此之快,真令人惊叹。你们能保持这种快速创新的速度吗?当您考虑到合作伙伴时,您的合作伙伴如何跟上您交付的创新速度?
黄仁勋: 我们的创新速度,基本方法是,记住,我们正在构建基础设施,共有七种不同的芯片。每种芯片的周期最多大概是两年。最多两年。我们可以每年对其进行一次中期升级,但从架构上来说,如果每两年就推出一种新架构,那速度就太快了,快到不可思议。现在,我们有七种不同的芯片,它们都对性能有贡献。因此,我们可以每年都推出一款比上一代更好的AI集群,超级集群,因为我们有很多不同的部件可以组合使用。
所以,对于拥有特定功率(例如1吉瓦)的用户来说,Blackwell的性能是其三倍,这意味着收入增加三倍。性能转化为吞吐量,吞吐量转化为收入。因此,对于拥有1吉瓦功率的用户来说,收入会增加三倍。你不可能通过降低芯片成本或打折来弥补三倍的收入增长。因此,我们能够通过整合所有这些不同的部件,并在整个堆栈和整个集群中进行优化,从而以更高的速度交付越来越好的价值。反之亦然。
对于任何你想要投入的资金,对于相同的功率,你获得三倍的收入;对于相同的支出,你获得三倍的性能,这也就是降低成本的另一种说法。因此,我们拥有最佳的每瓦性能(即你的收入),也拥有最佳的每单位总拥有成本性能(即你的毛利率)。所以,如果我们继续将其推向市场,客户将从中受益,而且不是每两年受益一次,并且架构兼容,因此你昨天开发的软件今天也能运行。你今天开发的软件可以在你的整个安装基地上运行,所以我们可以运行得非常快。如果每个架构都不同,那你就做不到这一点。
仅仅是组装一个系统就需要一年时间。因为我们把所有东西都整合在一起,在我们向你交付的那一天,它就非常著名了,有人在推特上说,在我们向他们交付系统后19天,他们就启动并运行了一个超级集群。19天!如果你要拼凑所有这些不同的芯片并编写软件,你做不到这一点。你要是能在一年内完成就谢天谢地了。所以我认为,我们将创新速度转化为客户获得更多收入、获得更好的毛利率的能力,这是一件非常棒的事情。
主持人David Solomon: 你们的大部分供应链合作伙伴都在亚洲,你们是如何看待未来的供应链安全?
黄仁勋: 是的,众所周知,亚洲的供应链非常庞大且相互关联。人们认为,当我们提到GPU时,因为很久以前,当我发布一款新芯片,新一代芯片时,我会举起芯片。所以那是一块新的GPU。英伟达的新GPU包含35000个部件,重达80磅,功耗达10000安培。安装后重达3000磅。因此,这些GPU非常复杂,其构造就像电动汽车一样,部件也像电动汽车一样。因此,亚洲的生态系统非常多样化且相互关联。
我们尝试在每一个可能的方面都设计多样性和冗余性。然后,最后一部分是在我们公司拥有足够的知识产权。如果我们必须从一家晶圆厂转移到另一家晶圆厂,我们有能力做到这一点。也许工艺技术没有那么先进,也许我们无法获得相同的性能或成本水平,但我们将能够提供供应。因此,我认为如果发生任何事情,我们应该能够在其他地方继续生产。我们在台积电生产,因为它是全球最好的。它之所以是全球最好的,并非略胜一筹,而是远超其他。
因此,这不仅仅是与他们长期合作的历史、良好的关系,还有他们的敏捷性,他们能够扩展规模,记住英伟达去年的收入出现了大幅增长。如果没有供应链的响应,这种大幅增长是不可能的。因此,包括台积电在内的供应链的敏捷性令人难以置信。在不到一年的时间里,我们已经大大提高了合作生产能力。明年我们将不得不进一步扩大规模,后年还要进一步扩大规模。但即便如此,他们响应我们需求的敏捷性和能力仍然令人难以置信。所以我们使用它们是因为它们很棒。但如果必要,我们当然也可以启用其他厂商。
主持人David Solomon: 贵公司拥有非常优越的市场地位。我们讨论了很多很棒的事情。你担心什么?
黄仁勋: 我们公司与当今世界上每一家AI公司都在合作。我们正在与当今世界上的每一个数据中心合作。我不认识一个不与我们合作的数据中心、云服务提供商或计算机制造商。随之而来的是巨大的责任。很多人把希望寄托在我们身上,每个人都指望我们。而且,需求如此之大,我们组件、技术、基础设施和软件的交付对人们来说意义重大,因为它直接影响着他们的收入,直接影响着他们的竞争力。
因此,我们今天的客户可能比以往任何时候都更加情绪化,这是理所当然的。而且,如果我们能够满足每个人的需求,那么这种情绪就会消失。但这非常情绪化,非常紧张。我们肩负着巨大的责任,我们正在尽最大努力。我们正在全力推进Blackwell,它已经全面投产。我们将在第四季度发货,并在第四季度和明年开始扩大规模。对它的需求非常大。每个人都想成为第一个,每个人都想成为最好的,所以这种紧张程度真的非常非常非同寻常。所以,我认为发明下一个计算机时代很有趣,看到所有这些令人惊叹的应用程序被创建出来也很有趣,看到机器人四处走动令人难以置信,看到这些数字代理作为一个团队协同工作,解决你计算机中的问题令人难以置信,看到我们用来设计将运行我们AI的芯片的AI也令人惊叹。所有这些都令人难以置信。其中真正让人感到紧张的部分是,世界都扛在我们肩上。所以少睡一会儿也没关系。三个小时,这就够了。
主持人David Solomon:*嗯,对你们来说够用。但我还需要更多时间,再半个小时更好。可惜,我们必须结束了。Jensen,非常感谢你,感谢你的到来。
黄仁勋:谢谢。
参考资料: https://www.youtube.com/watch?v=gsPdXHtgSno,公开发表于2024-11-11
👇关注公众号后设🌟标,掌握第一手AI新动态