H100价格大跌!GPU供需失衡,真过剩?

文摘   2024-10-17 16:23   江苏  

在人工智能的飞速发展中,GPU作为核心计算资源,一直是推动AI进步的重要驱动力。然而,近期GPU市场,尤其是NVIDIA的H100芯片,出现了显著的价格波动供需变化,这不仅引起了业界的广泛关注,也对AI产业的未来发展提出了新的挑战和思考。



AI军备竞赛


自2012年AlexNet获得ImageNet图像分类竞赛冠军,学术界的目光慢慢重新开始关注深度学习
2022年11月。基于A100 GPU训练的GPT 3.5的横空出世,引爆了全世界对AI的美好想象。
2023年3月。随着世界对AI的空前关注,H100 GPU发布了。

当普通民众想象着AI减轻人类工作量的时候,资本已经估算了AI市场数万亿美元的份额,他们怀着这样的渴望,急切地寻找可以投资的公司和创始人以期获得第一份蛋糕,这导致市场对GPU的需求激增。

H100 工作站



快速下降的租赁价格



2023年尽管英伟达缩减大部分游戏显卡的产能来提高专业显卡的产能,市场上的一块专业显卡售价仍然超出其发售价的1倍乃至更多。


对大部分AI公司来说只能去租赁GPU训练模型,当时国外GPU租赁价格普遍高于4.70美元/小时,并且这个价格需要排队等候。到了2024年,国外GPU租赁价格普遍在2.85美元/小时,国内A100每小时租赁价格为6.7元,RTX 4090价格仅为1.98元,远远低于国内网吧价格。

国内GPU租赁价格


GPU租赁价格的快速下降可能有以下几个因素:
  • 供过于求:随着AI基础设施的大量投资,市场上的GPU算力供应增加,特别是在H100芯片的案例中,供应量的增加导致了租赁价格的下降。

  • 开放权重模型的兴起:开放权重模型,如LLaMA3,提供了与闭源模型相媲美的性能,这减少了从头开始训练大型模型的需求,从而降低了对高端GPU的需求。

  • 基础模型公司减少:基础模型训练的资本支出被认为是快速贬值的资产,这导致基础模型公司数量减少,进而减少了对GPU算力的需求。

  • 大型模型创建者转向自建基础设施:主要的模型创建者,如Facebook和OpenAI,正在从公共云平台转向自建的大规模集群,减少了对现有GPU集群的依赖。

  • 硬件供应延迟:之前由于供应链问题导致的GPU发货延迟,使得市场上出现了硬件供应的积压,当这些延迟的供应最终进入市场时,增加了供应量,进一步压低了价格。

  • 更便宜的GPU替代品的出现:Nvidia、AMD和Intel提供了更经济的GPU替代品,这些产品虽然在多节点训练方面可能不如H100,但在单节点或小集群微调和推理方面表现良好,为市场提供了更低成本的选择。


从开源模型的兴起到新芯片技术的推进,GPU市场正经历着结构性的供需失衡。从长远来看,算力作为AI发展的基石,其重要性不言而喻。


随着技术的进步,算力成本的降低将推动模型能力的进一步提升,为AI的广泛应用铺平道路。可以看到AI领域的投资机会将更加广泛和多元,不再局限于硬件端的有限博弈。未来,随着需求的激发和软件优化的加速,GPU市场有望迎来新的发展机遇。



槿墨AI
产品服务

结合大模型通用知识及在交通、社会治理、安全生产、自然资源等行业领域的知识,深入业务场景,精确捕获用户意图,为用户提供智能问答、数据分析、报表生成、工作任务理解与执行等一系列服务

📞若您有相关需求,欢迎点击下方链接与我们沟通洽谈

🗨️也可以在公众号后台给我们留言




槿墨AI
开启探索人类未来命运的旅程,拥抱如槿似墨的无限可能。
 最新文章