事件:
英伟达发布FY25Q3季报,本季营收350.82亿美元,同比+94%/环比+17%,毛利率75%,同比持平/环比-0.7pct。综合财报及交流会议信息,总结要点如下:
评论:
1、本季营收符合指引预期,毛利率环比微降主要系产品结构变化影响。
FY25Q3营收为350.82亿美元,同比+94%/环比+17%,超指引预期(325亿美元),毛利率75%,同比持平/环比-0.7pct,环比下降主要系H100系统向数据中心内更复杂和成本更高的系统的产品结构转变。公司使用112亿美元用于股东回报,包括股票回购和现金分红。
2、四大业务板块再次实现同环比增长,H系列持续驱动数据中心营收增长。
1)数据中心:本季营收为308亿美元,同比+112%/环比+17%,Hopper需求异常强劲,环比来看H200的销售额增长至数百亿美元,网络收入同比增长20%,环比略有下降。CSP占数据中心收入约50%,同比增长超过 2倍,消费者互联网收入同比翻番以上,公司的软件、服务和支持收入已年化至15亿美元,预计今年年底将超过20亿美元;2)游戏和AI PC:营收33亿美元,同比+15%/环比+14%,笔记本电脑、游戏机和台式机收入均实现了环比和同比增长;3)专业可视化:营收4.86亿美元,同比+17%/环比+7%,AI正在成为强大的需求驱动因素,包括自动驾驶仿真、用于生产力相关用例的生成式AI模型原型设计,以及媒体和娱乐领域的生成式AI内容创作;4)汽车:营收4.49亿美元创单季新高,同比+72%/环比+30%,主要得益于NVIDIA Orin的自动驾驶部署,以及对NAV(导航辅助车辆)的强劲终端市场需求。
3、FY25Q4营收指引为375亿美元,短期毛利率或有调整但后续逐季修复。
FY25Q4营收指引中值为375亿美元(±2%),同比+69.66%/环比+6.89%,这反映了对Hopper架构的持续需求以及公司Blackwell产品的初步量产,随着供应的可见性不断增强,有望超越此前对Blackwell几十亿美元收入的预测,网络业务收入预计Q4将实现环比增长。在游戏业务方面,预计第四季度的收入将因供应限制而环比下降。毛利率指引为73.5%(±0.5pct),同比-3.2pcts/环比-1.5pcts,随着Blackwell的量产,预计毛利率起初将调整至70%的低位水平,在后续几个季度预计毛利率将恢复至75%左右的水平。
4、H系列Q4环比是否成长有待观察,H与B系列将在Q4并行销售。
1)Hopper:需求将持续到明年,尤其是明年初的几个季度,H200的需求显著增长,订单量和部署速度都非常快,Hopper将在Q4继续销售,包括针对中国市场的特定方案,但Q3到Q4 Hopper环比是否会进一步增长需要观察;2)Blackwell:公司在Q3向客户交付了13000台GPU样品,其中包括首批Blackwell DGX交付给OpenAI,Blackwell的交付数量将逐季增加,Oracle已宣布推出全球首个可拓展至131000割Blackwell GPU的云计算集群,Blackwell系统交付涉及7种芯片,包括支持风冷和液冷的NVL8、NVL36、NVL72等,公司上季度交付的Blackwell为零,本季度将交付“数十亿美元”,供应商合作伙伴包括台积电、安费诺、Vertiv、海力士、美光、安靠、京元、富士康、广达、纬颖、戴尔、惠普、超微电脑、联想等。
投资建议: 。
风险提示:竞争加剧风险、贸易摩擦风险、行业景气度变化风险、宏观经济及政策风险。
附录:英伟达FY2025Q3业绩说明会纪要
时间:2024年11月21日
出席:
Simona Jankowski – IR & VP
Colette Kress - EVP & CFO
Jensen Huang - CEO & President
会议纪要根据公开信息整理如下:
业绩概述:第三季度又是一个创纪录的季度,公司继续实现了令人难以置信的增长,收入达到 351亿美元,环比增长 17%,同比增长 94%,远超我此前325亿美元的预期,所有市场平台均实现了强劲的环比和同比增长,这得益于 NVIDIA 加速计算和 AI 的广泛应用。
数据中心:数据中心收入再创新高,收入308亿美元,环比增长 17%,同比增长 112%。NVIDIA Hopper的需求异常强劲,环比来看,NVIDIA H200的销售额显著增长至数百亿美元,成为公司历史上最快增长的产品,H200的推理性能提升了多达 2倍,TCL改善了约50%。
云服务提供商(CSP)贡献了公司数据中心销售额的约一半,收入同比增长超过 2倍,CSP部署了NVIDIA H200基础设施和高速网络,其安装规模扩展至数万台GPU,以满足AI训练和推理工作负载快速增长的需求,NVIDIA H200支持的云实例目前已在AWS、CoreWeave和Microsoft Azure上线,Google Cloud和OCI也将很快推出。除了大型CSP的显著增长,NVIDIA GPU区域云收入同比翻番,北美、EMEA(欧洲、中东及非洲)和亚太地区加速了NVIDIA 云实例和主权云的建设。
消费者互联网收入同比翻番以上,原因是公司扩大了NVIDIA Hopper基础设施规模,以支持下一代AI模型的训练、多模态和自主代理AI、深度学习推荐引擎,以及生成式AI推理和内容创建工作负载。
NVIDIA的Ampere和Hopper基础设施推动了推理收入的增长,使NVIDIA成为全球最大的推理平台,公司的庞大装机基础和丰富的软件生态系统鼓励开发者优化NVIDIA 平台,并持续提升性能和TCL(总拥有成本),NVIDIA软件算法的快速进步使Hopper推理吞吐量在一年内提升了 5倍,首个token生成时间缩短了 5倍,即将发布的NVIDIA NIM将进一步使Hopper推理性能提升 2.4倍,性能的持续优化是NVIDIA的标志,推动了整个NVIDIA装机基础获得越来越大的经济回报,Blackwell已进入全面生产阶段,并成功完成了大规模调整。
公司在第三季度向客户交付了13000台GPU样品,其中包括首批Blackwell DGX 工程样品之一交付给OpenAI。Blackwell是一个全栈、全基础设施、AI数据中心级别的系统,提供定制化配置,以满足多样化和不断增长的AI市场需求,包括从x86到ARM,从训练到推理的GPU,从InfiniBand到以太网交换机,以及NVLink和从液冷到风冷的解决方案,每个客户都在竞相抢占市场先机,Blackwell现在已交付到我们所有的主要合作伙伴手中,他们正在努力将其数据中心上线。
公司正在将Blackwell系统集成到客户多样化的数据中心配置中,Blackwell的需求非常惊人,我们正全力以赴扩大供应规模,以满足客户对我们的巨大需求,客户正在为大规模部署Blackwell做准备。Oracle宣布推出全球首个Zettascale AI云计算集群,可扩展至超过131000个Blackwell GPU,以帮助企业训练和部署下一代一些最苛刻的 AI 模型。
昨日,微软宣布他们将成为首家提供基于Blackwell的云实例的CSP,这些实例由NVIDIA GB200和Quantum InfiniBand提供支持,目前已进入私有预览阶段。上周,Blackwell首次亮相最新一轮的MLPerf Training结果,并在每GPU基准测试中大获全胜,其性能相比Hopper提升了2.2倍,这些结果还展示了我们为降低计算成本所做的不懈努力。
在运行GPT-3基准测试时,只需64个Blackwell GPU,而H100需要256个,实现了4倍成本减少,NVIDIA Blackwell架构通过NVLink Switch提供了多达30倍的推理性能提升,并实现了全新的推理扩展吞吐量和响应时间水平,非常适合运行新一代推理应用程序,例如OpenAI的o1模型。
每一次新的平台变革都会催生一波初创企业,已经有数百家AI原生公司凭借极大的成功交付AI服务,虽然Google、Meta、Microsoft 和OpenAI是其中的领军者,但像Anthropic、Perplexity、Mistral、Adobe Firefly、Runway、Midjourney、Lightricks、Harvey、Codeium、Cursor和Bridge也都取得了巨大的成功,同时,还有成千上万家AI原生初创企业正在构建新服务。
下一波AI革命将是企业级AI和工业AI的崛起,企业级AI正在全面加速发展,NVIDIA AI Enterprise,包括NVIDIA NeMo和NIM微服务,是一款Agentic AI的操作平台,行业领导者正在使用NVIDIA AI开发协同工具(Co-Pilots)和代理(Agents),通过与NVIDIA合作,Cadence、Cloudera、Cohesity、NetApp、Nutanix、Salesforce、SAP和ServiceNow正在竞相加速这些应用程序的开发,未来几年可能会部署数十亿个代理。
像Accenture和Deloitte这样的咨询行业领导者正在将NVIDIA AI带入全球企业,Accenture推出了一个新业务集团,拥有30000名接受过NVIDIA AI技术培训的专业人员,以帮助推动这一全球建设。此外,拥有超过77万员工的Accenture正在内部使用NVIDIA支持的Agentic AI应用程序,其中一个案例将营销活动中的手动步骤减少了25%-35%。近1000家公司正在使用 NVIDIA NIM,其快速普及反映在NVIDIA AI Enterprise的商业化中,预计NVIDIA AI Enterprise全年收入将同比增长超过2倍,并且公司的销售渠道正在持续增长。
总体而言,公司的软件、服务和支持收入已年化至15亿美元,预计今年年底将超过20亿美元,工业AI和机器人技术正在加速发展,这得益于物理AI的突破以及对物理世界理解的基础模型。
类似于企业AI代理使用的NVIDIA NeMo,公司为开发者构建了NVIDIA Omniverse,用于开发、训练和运行工业AI和机器人技术,一些全球最大的工业制造商正在采用NVIDIA Omniverse来加速其业务,自动化工作流程,并实现新的运营效率水平。全球最大的电子制造商富士康正在使用基于NVIDIA Omniverse构建的数字孪生和工业AI,以加快其Blackwell工厂的建设并推动新的效率提升,仅在其墨西哥工厂,富士康预计每年的千瓦时用电量将减少超过 30%。从地理角度来看,由于向行业出口合规的铜制品出货量增加,公司在中国的数据中心收入实现了环比增长,作为数据中心总收入的一个比例,中国市场的收入仍然远低于出口管制开始之前的水平,预计中国市场在未来将保持非常竞争的态势,公司将继续遵守出口管制规定,同时服务我们的客户,我们的主权AI项目正在不断取得进展,各国正在采用NVIDIA加速计算,推动由AI驱动的新工业革命。
印度的领先CSP(云服务提供商),如塔塔通信(Tata Communications)和Yotta Data Services,正在为数万台NVIDIA GPU建设AI工厂,到年底,印度 NVIDIA GPU部署将增加近10倍,Infosys、TSE和Wipro等公司正在采用NVIDIA AI Enterprise,并为近50万名开发人员和顾问提供技能提升培训,以帮助客户在我们的平台上构建和运AI 代理。
在日本,软银(SoftBank)正在使用NVIDIA DGX Blackwell和Quantum InfiniBand构建该国最强大的AI超级计算机,软银还与NVIDIA合作,将电信网络转型为分布式AI网络,基于NVIDIA AI Aerial和AI-RAN平台运行,可同时处理5G RAN和CUDA AI,我们将在美国与T-Mobile推出相同的解决方案,包括NEC和NTT在内的日本领导企业正在采用NVIDIA AI Enterprise,而主要的咨询公司(如EY和Strategy & Consulting)正在帮助将NVIDIA AI技术引入日本的工业领域。
网络业务收入同比增长 20%,环比收入增长的领域包括InfiniBand和以太网交换机、SmartNIC和BlueField DPU,然而,网络收入整体环比略有下降,但网络需求强劲并在增长中,预计第四季度将实现环比增长,CSP和超级计算中心正在使用并采用NVIDIA InfiniBand平台,为新的H200集群提供支持。
NVIDIA Spectrum-X以太网AI的收入同比增长超过3倍,公司的销售渠道正在扩展,多家CSP和消费互联网公司计划部署大型集群,传统以太网并非为AI设计,而NVIDIA Spectrum-X独特地利用了此前InfiniBand独有的技术,使客户能够实现GPU计算的巨大扩展。通过Spectrum-X,xAI的Colossus拥有10万台Hopper超级计算机,可实现零应用延迟降级,并将数据吞吐量维持在95%,而传统以太网则仅为60%。
游戏:游戏收入为33亿美元,环比增长14%,同比增长15%,第三季度是游戏领域表现出色的一个季度,笔记本电脑、游戏机和台式机收入均实现了环比和同比增长,RTX的终端需求受到返校季销售强劲的推动,消费者继续选择GeForce RTX GPU和设备来支持游戏、创意和AI应用,渠道库存保持健康状态,公司正在为假日季做好准备,已开始出货新的GeForce RTX AI PC,这些PC配备了来自ASUS和MSI的最高321 AI TOPS,并支持微软的Copilot+功能,预计在第四季度推出,这些设备利用RTX光线追踪和AI技术的强大功能,极大提升了游戏、照片和视频编辑、图像生成以及编码的性能。
在过去的一个季度,公司庆祝了GeForce 256诞生25周年,作为世界上第一款GPU,从变革计算图形到引领AI革命,NVIDIA的GPU一直是我们这个时代一些最重要技术的驱动力。
专业可视化:收入4.86亿美元,环比增长7%,同比增长17%,NVIDIA RTX工作站仍然是专业图形、设计和工程相关工作负载的首选,此外,AI正在成为强大的需求驱动因素,包括自动驾驶仿真、用于生产力相关用例的生成式AI模型原型设计,以及媒体和娱乐领域的生成式AI内容创作。
汽车:收入创下纪录,达到4.49亿美元,环比增长30%,同比增长72%,这一强劲增长得益于NVIDIA Orin的自动驾驶部署,以及对NAV(导航辅助车辆)的强劲终端市场需求,沃尔沃汽车推出了其基于NVIDIA Orin和DriveOS的全电动SUV。
毛利率:GAAP毛利率为74.6%,非GAAP毛利率为 75%,环比下降,主要原因是H100系统向数据中心内更复杂和成本更高的系统的产品结构转变。
运营费用:环比增长了9%,这是由于新产品推出所需的更高的计算、基础设施和工程开发成本。
股票回购和现金分红:三季度公司通过股票回购和现金分红的形式向股东返还了112亿美元。
FY25Q4业绩展望:
四季度总收入预计为375亿美元,上下浮动2%,这反映了对Hopper架构的持续需求以及公司Blackwell产品的初步量产,尽管需求远远超过供应,但随着供应的可见性不断增强,我们有望超越此前对Blackwell几十亿美元收入的预测。在游戏业务方面,尽管第三季度的销售表现强劲,但预计第四季度的收入将因供应限制而环比下降。
GAAP和非GAAP的毛利率预计分别为73%和73.5%,上下浮动50个基点。Blackwell是一个可定制的AI基础设施,具有多种类型的NVIDIA自研芯片、多种网络任务选项,以及用于风冷和液冷数据中心的配置,公司当前的重点是满足强劲需求,增加系统供应,并为客户提供最佳的配置组合。随着Blackwell的量产,预计毛利率将调整至70%的低位水平,在完全量产后,我们预计Blackwell的毛利率将达到70%的中位水平。GAAP和非GAAP的运营费用预计分别为48亿美元和34亿美元。
我们是一家数据中心规模的 AI 基础设施公司,公司的投资包括建设用于硬件和软件栈开发的数据中心,并支持新产品的推出,GAAP和非GAAP的其他收入和支出预计为约4亿美元,不包括非关联投资的收益和损失。GAAP 和非GAAP的税率预计为16.5%,上下浮动1%,不包括任何离散项目。
Q&A
Q:关于大语言模型扩展是否已经停滞的争论,目前显然仍处于非常早期的阶段,公司是如何帮助客户解决这些问题的?此外,关于一些尚未受益于Blackwell的集群,这是否进一步推动了对Blackwell的需求?
A:基础模型的预训练扩展仍然有效并在继续进行,这是一条经验法则,而非根本的物理定律,但现有证据表明它依然在扩展,然而,仅仅依靠预训练扩展已经不够,现在我们发现了另外两种扩展方式。
第一种是后训练扩展,最初的后训练方式是基于人类反馈的强化学习(RLHF),而现在我们有了基于AI反馈的强化学习(RLAIF),以及各种形式的合成数据和生成数据来辅助后训练扩展。
另一个最大的进展和最令人兴奋的发展是Strawberry(ChatGPT o1,OpenAI 的 o1),它引入了推理时间扩展,也称为测试时间扩展。它的工作原理是,思考时间越长,生成的答案质量越高,这种方法包括“链式思维”(chain of thought)和“多路径规划”(multi-path planning)等技术,能够进行反思等一系列过程,这在直觉上有点类似于我们在回答问题之前在脑海中进行思考的过程。
因此,现在我们有了三种扩展方式,并且可以看到这三种扩展方式正在全面展开,结果就是,对我们基础设施的需求非常强劲。举个例子,上一个基础模型时代的尾声使用了约10万台 Hopper,而下一代从10万台Blackwell开始,这大致反映了行业在预训练扩展、后训练扩展以及现在非常重要的推理时间扩展方面的趋势。
由于这些原因,需求非常强劲,但同时需要记住,我们也看到推理需求正在迅速扩展,公司目前是全球最大的推理平台,因为我们的装机基础非常庞大,一切基于Ampere和Hopper训练的模型在Ampere和Hopper上的推理效果都极为出色。
随着我们转向使用Blackwell训练基础模型,它留下了一个庞大的高效推理基础设施装机基础,推理需求在增加,推理时间扩展也在增长,我们也看到AI原生公司的数量持续增长,此外,企业对Agentic AI的采用也成为新的热点,因此,公司从多个不同领域看到了大量的需求涌现。
Q:能否谈谈公司按时执行的能力?另外,关于供应限制,是多种组件导致的吗?还是特别集中在HBM?供应限制是否有所改善?还是在恶化?
A:关于第一个问题,Blackwell的生产正在全速推进,实际上,正如之前提到的,公司本季度交付的Blackwell数量将超过之前的预期,我们的供应链团队与供应合作伙伴通力合作,正在全力扩大Blackwell的供应,并计划在明年继续努力提升产能。
确实,需求目前超过了我们的供应,这是可以预期的,因为我们正处于生成式AI革命的开端,同时也处于能够进行推理和长时间思考的新一代基础模型的起步阶段。此外,物理AI是一个非常令人兴奋的领域,这种AI现在能够理解物理世界的结构。
Blackwell的需求非常强劲,我们的执行情况良好,公司在全球范围内开展了大量的工程工作。例如,Dell和CoreWeave正在部署系统,Oracle的系统也已经上线,微软即将预览其Grace Blackwell系统,Google的系统也在运行,所有这些云服务提供商(CSP)都在竞相抢占先机。
公司与这些客户的工程合作相当复杂,这是因为尽管我们构建了全栈和完整的基础设施,我们仍需将这些 AI 超级计算机解耦,并将其集成到世界各地的定制数据中心架构中,这种集成过程我们已经经历了多个世代,因此我们对此非常有经验,但即便如此,目前仍有大量工程工作需要完成。不过,从目前上线的所有系统来看,Blackwell状态非常良好,本季度的供应计划已经超过了我们的预期。
关于供应链,Blackwell系统的交付涉及7种定制芯片,包括支持风冷或液冷的 NVLink 8、NVLink 36和NVLink 72,支持x86或Grace的系统,并将这些系统集成到全球各地的数据中心中,这是一项极其复杂的工作,上季度公司交付的Blackwell系统为零,而本季度将交付的Blackwell系统数量以“数十亿美元”计,这种扩展速度令人惊叹,几乎全球的每家公司都参与到了我们的供应链中,从TSMC和Amphenol(连接器公司)到Vertiv、SK Hynix、Micron Spill、Amkor、KYEC,以及富士康及其建设的工厂、Quanta、Wiwynn,再到Dell、HP、Super Micro、联想等合作伙伴,参与的公司数量非常庞大,真是令人难以置信,总的来说,目前Blackwell的量产进展非常顺利。
最后,关于执行产品路线图的能力,公司正按计划执行,通过这样做,我们不仅提高了平台的性能,还显著降低了训练和推理的成本,使AI更加普及。
此外,还有一点非常重要,那就是数据中心的规模是有限的,从以前的10兆瓦到现在的100兆瓦乃至几百兆瓦,甚至规划中的千兆瓦级数据中心,无论规模多大,其电力都是有限的,在电力受限的数据中心中,最高的性能功耗比直接转化为客户的最高收入,公司的annual roadmap一方面降低了成本,另一方面,因为我们的性能功耗比远优于其他任何竞争对手,为客户创造了最大的收入。因此,这种年度节奏对公司来说非常重要,我们完全有意愿继续保持,并且目前一切进展顺利。
Q:关于Blackwell今年的增长轨迹能否进一步说明?之前提到,Blackwell的表现会比预期更好,可能达到在1月提到的“数十亿美元”规模以上的水平。近期还提到Blackwell将在4月季度超越Hopper,4月季度是Blackwell超越Hopper的节点吗?其次随着Blackwell的增长,毛利率可能会下降到70%初期水平,如果4月是交叉点,这是否意味着毛利率的最大压力集中在4月季度?到时候毛利率会在70%出头吗?
A:关于毛利率的讨论,我们在初期阶段推出Blackwell时,市场会看到许多不同的配置以及不同类型的芯片,公司将专注于为客户提供最佳的使用体验,同时逐步提升毛利率。起初,毛利率确实会处于70%出头的水平,但随着后续几个季度的推进,我们的毛利率会逐步增长,并希望能快速恢复到75%。
Hopper的需求将持续到明年,尤其是明年初的几个季度,同时,我们在下一季度会交付更多的Blackwell,而再下一季度交付的数量会比第一季度更多,从全局来看,目前我们正处于计算领域两大重要转型的初始阶段,这种转型意义非凡。
第一,计算从传统的运行在CPU上的代码编程模式,转向基于GPU运行的神经网络生成的机器学习模式,这种从代码编程到机器学习的根本转变已经普及,几乎所有企业都在推进机器学习技术,而机器学习也是生成式AI的基础,全球范围内价值万亿美元的计算系统和数据中心正在为机器学习的需求进行现代化改造。
第二,在这些现代化系统之上,我们正在构建一种全新的能力,即AI,当我们提到生成式AI时,实际上是在说这些数据中心已经变成了“AI工厂”,就像发电厂生成电力一样,现在的数据中心正在生成AI。由于AI服务的用户规模庞大,这些“AI工厂”会像电力工厂一样全天候运行。目前,许多AI服务已经是24/7不间断运行的状态。
因此,我们将见证这种新型系统的上线,我称之为“AI工厂”,因为这与传统数据中心有着本质的不同,这两大根本性趋势才刚刚开始,我们预计这种现代化改造以及新兴行业的创造将持续多年。
Q:是否可以合理地假设,英伟达的毛利率将在2025年下半年恢复到70%水平?此外历史上硬件部署周期通常伴随着一定的消化阶段,英伟达何时会进入这个阶段?还是说,因为Blackwell刚刚开始,这个问题还为时过早?为满足首波需求为目标,预计需要几个季度的出货?这种增长能否持续到2026年?是否应该预期硬件部署在长期结构性增长中会出现消化阶段?
A:关于毛利率是否能在明年下半年达到70%水平,我认为这是合理的假设,具体来看,目前全球的数据中心多数是为过去运行在CPU上的手写应用程序设计的,而这已经不再适用,如果任何公司计划新建数据中心,都应面向机器学习和生成式AI的未来设计,因为旧的数据中心已经足够多了。在接下来的几年里,全球数据中心将逐步现代化升级,例如,假设未来4年数据中心逐步完成现代化改造,同时IT行业年均增长20%到30%,到2030年,全球计算相关数据中心的总价值可能达到数万亿美元,我们需要通过现代化升级,从编码计算转向机器学习计算。
另一方面,生成式AI正在为世界带来一种全新的能力和市场细分,这种能力并没有取代现有市场,而是完全创新的,就像iPhone的推出,它并没有替代其他产品,而是创造了全新的需求。我们会看到越来越多类似OpenAI这样的公司,它们通过服务生成智能,这些智能可能是数字艺术智能(如Runway),基础智能(如OpenAI),法律智能(如Harvey),或数字营销智能等,这样的AI原生公司数量已达数百家,并在快速增加。
每一次平台转型都会催生一波新企业,比如互联网时代的互联网公司,云计算时代的云原生公司,以及移动互联网时代的移动原生公司,现在,AI原生公司正在崛起,因为人们看到了平台转型带来的全新机遇。因此,我们的重点将是两方面:第一,推动IT和计算的现代化升级;第二,构建用于生成AI的新型“AI工厂”,为全新产业生产AI。
关于Hopper与Blackwell的动态:对于毛利率的现状和变化,“低”毛利率可能在71%至72.5%之间,甚至可能略高,公司将通过改进生产良率和优化产品性能,推动全年毛利率的逐步提升,最终在明年下半年恢复到75%。
至于Hopper,目前H200的需求显著增长,不仅订单量大幅提升,部署速度也非常快,这是我们见过增长最快的产品之一,Hopper将在第四季度继续销售,并覆盖各种配置,包括针对中国市场的特定方案。同时,客户也在积极布局Blackwell,因此两者将在第四季度并行运行,至于Hopper在第三和第四季度之间是否会进一步增长,这种可能性存在,但具体结果仍需观察。
Q:能否谈谈对Inference市场的观察?此前提到过Strawberry和长周期推理项目的相关影响,也提到过将部分老化的Hopper芯片用于推理的可能性,是否预计在接下来的12个月里,Inference的增长速度会超过Training?
A:我们的愿景是,有一天全球范围内的推理应用能达到非常高的水平,这将标志着AI的真正成功,即每家公司都在营销、预测、供应链、法律、工程以及编码等部门内全天候使用推理功能,我们希望企业能够24/7地运行推理,同时催生数千家AI原生初创企业,这些公司可以生成Tokens和AI,为各类计算体验提供支持,从Outlook、PowerPoint到Excel,甚至打开PDF文件,都会涉及大量Tokens生成。
我个人很喜欢Google推出的NotebookLM应用,我将大量PDF和学术论文存入其中,利用它的解析和语音功能,既有趣又高效,这正是AI的目标,训练模型供用户使用。
此外,还有一个全新AI领域称为“Physical AI”,与大语言模型理解人类语言和思维过程不同,“Physical AI”可以理解物理世界的结构意义,判断哪些是合理的、可能发生的,并预测短期未来,这种能力对工业AI和机器人领域具有极高的价值,也因此激发了许多AI原生公司、机器人公司和物理AI公司的发展。这正是我们开发Omniverse的原因。
Omniverse的目的在于支持这些AI的创建,让它们通过合成数据生成和强化学习在物理反馈中成长,而非仅依赖人类反馈,Omniverse能够支持物理AI的发展,实现推理的目标,当前,我们已开始看到推理领域的增长趋势,这令人振奋。
需要说明的是,推理本身非常复杂,高精度、高吞吐量和低延迟的需求使推理变得极具挑战性。一方面,推理的上下文长度不断增加,因为模型需要理解复杂语境以完成任务;另一方面,模型的规模和Multimodality也在不断扩大,这些技术维度上的创新对硬件架构提出了极高要求。
NVIDIA的架构能够应对这些挑战,因为我们拥有一个强大的生态系统,基于CUDA和NVIDIA架构进行创新的开发者可以更快速地实现成果,并确保成果能够无缝运行,如果出现问题,开发者通常也会认为是自身代码的问题,而不是NVIDIA的架构。
这种全面创新的能力,加上庞大的用户基础,使得在NVIDIA计算平台上开发的成果能够广泛部署到全球数据中心、边缘设备及机器人系统中。这种能力无疑是非常卓越的。
Q:关于Blackwell周期和数据中心业务中的网络业务,上季度结果显示,网络业务环比下降了约15%,但公司提到需求仍然非常强劲,还提及多个云计算服务提供商(CSP)针对大规模集群的设计中标情况,能否详细说明网络业务的现状、可能遇到的制约因素,以及公司对Spectrum-X实现此前提到的数十亿美元目标的信心?
A:首先来看网络业务,与去年同期相比,我们的增长非常显著,自收购Mellanox以来,公司的重点一直是将网络与数据中心业务深度整合,网络在其中扮演着至关重要的角色,我们通过数据中心系统销售网络解决方案的能力持续提升,表现也非常良好,本季度虽然有些许下滑,但公司有信心快速恢复增长。
当前,公司正为Blackwell和更多系统的准备工作奠定基础,这些系统不仅会使用我们现有的网络技术,还将整合许多针对大规模系统的新型网络解决方案,因此,我们对未来的增长充满信心。
Q:在上次财报电话会议中,提到Sovereign AI的需求规模在低双位数的数十亿美元级别,目前情况如何?能否解释游戏领域的供应约束问题?这是否与供应向数据中心倾斜有关?
A:首先谈谈主权AI,主权AI是公司增长的重要领域之一,特别是在生成式AI兴起后,许多国家开始构建本地化的大模型,这些模型适配本国语言和文化,并与国内企业合作开发,在今天的会议中,我们也讨论了这一领域的多项进展。
公司在主权AI领域的管道仍然非常稳固,各国正在努力构建这些基础模型和区域云。同时,一些国家也在建设AI工厂,为主权AI的应用提供支持,这一趋势不仅在欧洲表现显著,亚太地区也出现了显著增长,主权AI仍将为公司提供长期的增长机会。
关于游戏供应的问题,目前我们的重点是快速提升各类产品的供货能力,就游戏而言,由于销售表现强劲,供应链需要更快地跟上需求的节奏,本季度可能会面临一定的供应紧张,但随着进入新的日历年,我们将恢复正常供应,虽然本季度略显吃紧,但我们预计情况会很快改善。
Q:关于美国国内和中国相关业务的发展,是否有任何关于关税或相关事项的消息或讨论?
A:目前,我们专注于本季度的目标,特别是在Blackwell的生产和出货方面,为此,我们与全球的供应商紧密合作,确保顺利推进,等到下个季度时,公司会为提供关于下一阶段推进情况的更详细信息。
至于新一届政府的政策,无论其决定如何,公司都会全力支持并遵守相关要求,这是我们必须履行的最高责任。同时,我们将尽全力优化业务,如以往一样,我们需要做到三点:完全遵守任何新规,尽最大努力支持客户,以及在市场中积极竞争,并且要同时兼顾这三方面。
Q:提到AI生态系统中的不同阶段,包括pre-training、大语言模型、einforcement learning及inference阶段。能否从高层次的角度简述,在AI生态系统中,比如在某些客户或大模型中,目前各阶段大致的算力分布是怎样的?pre-training、einforcement learning以及inference分别占据多少算力?哪个部分的增长最为关键?
A:目前,大部分算力仍集中在基础模型的预训练阶段,post-training技术刚刚开始应用,无论是在预训练还是后训练中,能够实现的优化都旨在尽量降低推理的成本。然而,优先顺序总是有限的,因此在实际应用中仍需现场决策、情境推理和反思。
从整体来看,所有三个阶段都在扩大规模是合理的,尤其是在基础模型领域,现在,我们已经进入multimodality基础模型时代,训练这些模型需要处理的海量视频数据量级达到数peta bytes,规模惊人。
因此,预计未来,预训练、后训练和推理阶段都会持续扩展规模,这也是为什么我们需要越来越多的计算能力,并需要大幅度提升性能,从而降低成本,推动收益增长,并进一步推进AI革命的关键原因。
总结:英伟达业务的显著增长由两大根本趋势驱动,这些趋势正在推动全球范围内对英伟达计算技术的采用。
首先,计算架构正在经历一次重新定义,从传统的代码编程模式转向基于机器学习的平台,这一转变意味着从在CPU上运行代码,到在GPU上处理神经网络,传统数据中心基础设施的万亿美元级装机量正在被重构,以适应“软件2.0”的需求,通过机器学习生成AI。
其次,AI时代正全面加速发展,生成式AI不仅是一种新型的软件能力,更是一个崭新的行业,AI工厂正在生产数字智能,引领着一场能够催生数万亿美元级AI产业的新工业革命,对Hopper的需求和对Blackwell的期待(目前已全面投入生产)异常强劲,这背后有多个原因:一是基础模型的开发者数量较去年显著增加;二是预训练和后训练的计算规模正以指数级增长;三是AI原生初创公司的数量空前增多,同时成功的推理服务也在不断增加。此外,随着ChatGPT和OpenAI的推出,一种名为“test time scaling”的新规模法则也应运而生,所有这些发展都需要极大的计算能力支撑。
AI正在重塑各行各业、企业和国家,企业正在采用“Agentic AI”来彻底变革工作流程。从长远来看,AI助手将协助员工更快速、更高效地完成工作,由于“物理AI”的突破,工业机器人领域的投资激增,推动了新的训练基础设施需求,研究人员开始利用海量视频数据和Omniverse合成生成的数据来训练全球性基础模型,机器人时代即将到来。
全球各国正逐步认识到这些AI趋势的重要性,开始重视建设本国的AI基础设施,AI时代已经到来,并呈现出广泛而多样化的特点,英伟达凭借其在技术、规模及全栈解决方案方面的专业能力,能够为未来涵盖数万亿美元机会的AI与机器人市场提供全面支持,从各大超大规模云、企业私有云,到主权区域AI云,从本地部署到工业边缘和机器人应用,英伟达全方位满足这些需求。
团队介绍
鄢凡:北京大学信息管理、经济学双学士,光华管理学院硕士,15年证券从业经验,08-11年中信证券,11年加入招商证券,现任研发中心董事总经理、电子行业首席分析师、TMT及中小盘大组主管。
团队成员:王恬、程鑫、谌薇、研究助理(涂锟山、王虹宇、赵琳)。
团队荣誉:11/12/14/15/16/17/19/20/21/22年《新财富》电子行业最佳分析师第2/5/2/2/4/3/3/4/3/5名,11/12/14/15/16/17/18/19/20年《水晶球》电子2/4/1/2/3/3/2/3/3名,10/14/15/16/17/18/19/20年《金牛奖》TMT/电子第1/2/3/3/3/3/2/2/1名,2018/2019 年最具价值金牛分析师。
投资评级定义
重要声明