世界越来越质疑摩尔定律的消亡，但悲剧在于，它在十多年前就已经消亡了，只是没有大张旗鼓。
相比逻辑上，但摩尔定律也一直适用于DRAM。
DRAM不再缩放。在辉煌的年代，内存密度每18个月翻一番——甚至超过了逻辑。这相当于每十年密度增加100多倍。但在过去的十年里，缩放速度如此之慢，以至于密度只增加了2倍。
现在，随着人工智能的爆炸性增长，该行业的平衡进一步受被打乱。虽然随着时间的推移，逻辑芯片在密度和每个晶体管的成本上都有了显著改善，但DRAM速度的提高却很慢。尽管FUD很大，但台积电的3纳米和2纳米工艺节点的每个晶体管成本继续下降。
而对于内存，带宽的增加是由昂贵的封装驱动的。
高带宽内存（HBM）是加速器内存的核心，per GB的成本是标准DDR5的3倍或更多。客户被迫接受这一点，因为如果他们想设计一个有竞争力的加速器，几乎没有其他选择。这种平衡是不稳定的——随着层数的增加，未来的HBM世代变得更加复杂。
随着模型权重接近TB规模，人工智能内存需求正在爆炸性增长。对于H100来说，约50%以上的制造成本归因于HBM，考虑Blackwell这一比例到~60%以上。
换句话说，DRAM行业遇到了障碍。算力改进虽然速度变慢，但远远超过了内存。DRAM的创新步伐如何重新加快——以及未来可以利用哪些创新来提高带宽、容量、成本和电力使用？
数千亿美元的人工智能资本支出，该行业有强大的动力推动这些解决方案向前发展。
DRAM入门
计算机中使用的内存有几种类型。最快的是SRAM（静态随机存取存储器），它与逻辑处理器工艺兼容，位于CPU或GPU上。由于它在逻辑芯片上，SRAM也是最昂贵的内存类型——每字节比动态随机存取存储器（DRAM）贵约100倍以上——因此仅少量使用。另一端包括非易失性NAND固态驱动、硬盘驱动和磁带。这些很便宜，但对许多任务来说太慢了。DRAM位于SRAM和Flash之间——足够快，足够便宜。
DRAM可以占非人工智能服务器系统成本的一半。然而，在过去的10年里，它是所有主要逻辑和内存中规模增长最慢的。16Gb DRAM芯片在8年前首次大量提供，但今天仍然是最常见的；推出时，它们的价格约为每千兆字节3美元。目前，功耗得到了最好的改善，这主要是由于LPDDR的兴起。DRAM缺乏进展是阻碍计算的性能和经济的瓶颈。
