SuperComputer 2024超算大会上，NVIDIA公布了一系列新产品、新技术，其中最亮眼的当属“GB200 NVL4”计算平台，也是其SuperChip超级芯片家族的一员。
这是一套单服务器解决方案，在一块不大的板子上，集成了四颗Blackwell GB200 GPU芯片、两颗Grace CPU芯片，彼此通过NVLink总线高速互联。
四颗Blackwell共拥有768GB HBM3内存，合计带宽32TB/s，两颗Grace CPU则有960GB LPDDR5X内存。
二者合计，就是恐怖的1.7TB！
该方案适合HPC、AI混合负载应用，号称对比上代GH200 NVL4，训练和图里性能高1.8倍，模拟性能高2.2倍。
当然代价就是极高的功耗，总计不可思议的5400W——一个小时5.4度电。
如果不需要 这么彪悍的方案，NVIDIA也早就提供了两颗Blackwell GB200 GPU芯片、一颗Grace GPU芯片的版本，规模减半，当然功耗也要2700W。
当然，大家都觉得NVIDIA这条路有点不对头，功耗实在太高了。事实上，AI确实不止一条路。
微软投资的硅谷初创公司d-Matrix近日宣布，其首款人工智能芯片Corsair开始出货。
d-Matrix表示Corsair在单台服务器中为Llama3 8B提供每秒处理60000个tokens的性能，每个tokens的延迟为1毫秒。
该公司声称，与GPU和其他替代方案相比，Corsair提供了性能、能源效率和成本节省。
对于AI推理运算，数据传输是最大的瓶颈，它需要大量内存，也需要非常快的内存，但两者却很难兼顾。
目前的解决方案主要有三种，第一种是通过采样和流水线减少处理的数据量来加速深度学习，但也限制了准确性和精确性。
第二种是在传统的处理器附近设置专用AI引擎的处理器，苹果、英伟达、Intel和AMD都采用这种方式，但这要集成SRAM和外部DRAM，仍然是高能耗和低效率。
第三种是将计算移动到内存附近，也就是d-Matrix采用的方法，这种叫数字存算一体（DIMC）的技术架构降低了延迟，减少了消耗。
因此非常适合AI推理，因为推理会涉及一个相对静态（但大型）的权重数据集，这个数据集被反复访问，DIMC消除了大部分能量转移费用和数据移动的延迟。
得益于DIMC，Corsair可提供150TB/s的超高内存带宽，交互速度提高了10倍，能效提高了3倍。
其他方面，Corsair芯片采用行业标准的PCIe Gen5全高全长卡外形，通过DMX Bridge卡连接成对的卡。
每张Corsair卡都由多个DIMC计算核心驱动，具有2400 TFLOP的8位峰值计算能力、2GB的集成性能内存和高达256GB的片外容量内存。
