什么是GDDR内存？
GDDR代表Graphics Double Data Rate ，是一种专门为显卡设计的内存。GDDR内存与大多数计算机使用的DDR内存相似，但它针对显卡的使用进行了优化。GDDR内存通常比DDR内存带宽更高，这意味着它可以一次传输更多数据。
GDDR6是GPU的最新内存标准，per-pin数据速率峰值为16Gb/s。GDDR6在包括NVIDIA RTX 6000 Ada和AMD Radeon PRO W7900在内的大多数GPU中使用，仍然用于2024年的GPU。
NVIDIA还与美光合作开发GDDR6X，这是GDDR6的继任者。我们这样说是因为除了从NRZ到PAM4的编码外，两者之间没有任何硬件变化，并且由于NVIDIA是唯一的用户，JEDEC行业标准化没有认可。DDR6X将per-pin带宽提高到21Gb/s。GDDR7是下一个应该被所有人广泛采用的GDDR标准。
截至2024年，GDDR6和GDDR6X的最大内存总线为384位。GDDR内存是焊接到GPU芯片周围的PCB上的单个芯片。
什么是HBM内存？
HBM代表高带宽内存，是一种专门为GPU开发的新型内存。
HBM内存旨在提供比GDDR内存更大的内存总线宽度，这意味着它可以一次传输更多数据。单个HBM内存芯片不如单个GDDR6芯片快，但这使得它比GDDR内存更节能，这对移动设备来说是一个重要的考虑因素。
HBM内存位于GPU封装内并堆叠——例如，HBM有四个DRAM（4-Hi）的堆栈，每个有两个128位通道，总宽度为1024位（4个*2个通道*128位）。由于HBM内存作为内存芯片模块内置在GPU芯片中，因此错误和空间更少。因此，单个GPU不容易像配备GDDR的GPU那样易于扩展内存配置。
最新采用最多的HBM内存是NVIDIA H100中的HBM3，具有5120位总线和超过2TB/s的内存带宽。HBM3也存在于竞争对手的AMD Instinct MI300X中，具有8192位总线和超过5.3TB/s的内存带宽。英伟达还在其GH200和H200中引入了新的HBM3e内存，作为第一批使用HBM3e的加速器和处理器，具有更大的内存带宽。这些配备HBM内存的硬件正在快速翻新。H100和MI300X等加速器GPU需要HBM的一个重要原因是多个GPU之间的互连性；为了相互通信，宽总线宽度和快速的数据传输速率对于减少将数据从一个GPU传输到另一个GPU的瓶颈至关重要。
GDDR与HBM内存
那么，哪种类型的内存更适合GPU？答案是，这取决于具体的场景。配备GDDR内存的GPU通常是：
更容易访问，因为它们是主流的GPU类型
更便宜，因为GDDR直接焊接在PCB上，而不是GPU封装上。
大多数主流应用程序不会最大化内存带宽。
但GDDR通常消耗更多的能源，效率不那么高。
配备HBM内存的GPU通常是：
更不容易获得，更利基
非常昂贵，在H100等旗舰加速器中发现。
仅用于需要最多带宽的HPC和高利基工作负载
高效，并提供更大的总线宽度，以并行化每引脚速率。
大多数应用程序不需要HBM内存。对于利用大量数据的工作负载来说，更高的内存带宽是最重要的。仿真、实时分析、密集的人工智能训练、复杂的人工智能推理等工作负载都可以从使用更多的内存带宽中受益。
同样重要的是要考虑，如果工作负载相互并行，配备GDDR的最快GPU可以正常工作。NVIDIA RTX 6000 Ada是一款功能强大的旗舰GPU，非常适合中小型人工智能训练、渲染、分析、模拟和数据密集型工作负载，内存带宽为960GB/s。插槽具有多GPU设置的服务器或工作站，工作可以并行化和拆分，以获得更高的性能。
然而，像NVIDIA H100这样的HBM配备GPU可以显著提高企业部署的生产力（尽管成本很高）。更高的性能和更少的等待可以实现更快的突破。ChatGPT等部署利用H100集群协同工作，在给定时间为数百万用户执行实时推理和生成人工智能功能，处理提示并交付实时输出。
结论
总之，GDDR内存和HBM内存都有其优点和缺点。GDDR内存更便宜，对于需要高带宽但不需要绝对最高性能的应用程序来说是一个不错的选择。另一方面，HBM内存更昂贵，但提供更高的带宽，是需要高性能的应用程序的不二之选。在这两种类型的内存之间进行选择时，重要的是要考虑场景和成本。
1、2024年中国AI Agent研究：创新驱动，智能技术革新
2、中国AI Agent行业研究：智能体落地千行百业，引领智能化革命的新引擎
AI Agent行业词条报告：驱动智能交互变革，重塑服务生态
1、面向办公自动化领域的 AI Agent 建设思考与分享
2、AI Agent 在企业经营分析场景的落地
3、LLM和Multi-Agent在运维领域的实验探索
2024年AI Agent行业研究报告
温馨提示：
扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
