2024 Hot Chips｜SK Hynix 的 AiMX-xPU AI 内存解决方案
科技
科技
2024-09-04 07:54
上海
![]()
芝能智芯出品在 Hot Chips 2024 大会上，SK Hynix 以其突破性的人工智能（AI）计算内存解决方案——AiMX-xPU 引起了广泛关注，不仅展示了 SK Hynix 在内存计算领域的创新，还描绘了未来 AI 推理的全新可能性。通过在内存中直接进行计算，AiMX-xPU 减少了数据在处理器和内存之间的移动，从而提升了性能并降低了能耗，在 AI 专用计算内存解决方案上的重大进步，值得深入探讨其技术优势、挑战和未来发展潜力。
SK Hynix 的 AiMX-xPU 利用内存计算技术实现了大规模语言模型（LLM）推理的显著加速。传统 AI 推理过程需要频繁地将数据从内存移动到计算单元（如 CPU 或 GPU），这种数据搬移不仅消耗时间，还会带来能耗上的增加。AiMX-xPU 则直接在内存中执行计算任务，无需数据频繁穿越互连通道，从而实现更快的响应速度和更低的功耗。AiMX-xPU 采用 Xilinx Virtex FPGA 和定制封装的 GDDR6 AiM（Artificial Intelligence Memory）内存加速器卡。这种设计可以将多头注意力机制等复杂计算直接映射到内存中，大幅提高处理效率。SK Hynix 在 OCP 2023 峰会和 FMS 2024 上已经展示了 GDDR6 内存芯片的原型，并在 Hot Chips 2024 上进一步演示了其在 AI 推理中的应用效果。● 高效内存计算架构：AiMX-xPU 的核心在于利用内存本身进行计算任务。通过 32 个 AIM 封装，SK Hynix 将内存容量从 16GB 扩展到 32GB，并展示了在 LLM 推理中的性能提升。
尽管 32GB 的容量在商用产品中或许仍显不足，但对于技术验证阶段来说已经足够，并为未来更大容量的实现打下了基础。● 面向未来的扩展计划：SK Hynix 已计划将内存容量进一步扩展至 256GB，这一升级将为更大规模的 AI 模型提供支持。此外，公司正在考虑将该技术应用于类似 Llama-3 的新一代 AI 模型推理中，为 AI 推理任务的内存计算开辟新边界。● 设备端 AI 的潜力：除了数据中心级别的 AI 推理，SK Hynix 还在探索设备端 AI 的应用。
设备端 AI 通常面临内存限制问题，而 AiMX-xPU 通过将计算从系统芯片（SoC）移出，使得计算更加高效且不占用 SoC 上的计算资源。这样的设计适用于包括智能手机、平板电脑等设备，将计算能力进一步下放到边缘设备，为物联网和边缘计算的快速发展提供支持。AiMX-xPU 展现了巨大潜力，但这一创新技术在走向成熟和大规模应用的过程中依然面临诸多挑战。● 内存与计算的协同优化：将计算直接集成到内存中，打破了传统计算架构的界限。
这种创新设计需要解决内存正常使用与计算需求之间的协调问题，同时也可能带来芯片热量和功耗的增加。SK Hynix 必须在内存计算与设备整体性能之间找到平衡。● 编程与软件生态：对于开发者而言，如何为 AiMX-xPU 进行编程是一个重要挑战。
SK Hynix 需要构建一个友好的开发环境，并制定相关的编程接口与工具，使得开发者能够方便地利用其内存计算能力。这涉及到内存访问模式、计算内核的编写以及性能调优等方面的复杂性。● 市场接受度与集成难度：AiMX-xPU 的大规模应用不仅需要自身技术的不断成熟，还需要与主流 SoC 厂商的紧密合作。
尽管内存计算展示了相当大的潜力，但其是否能够被广泛采纳、集成进现有计算生态系统仍有待观察。SK Hynix 需要与业界其他巨头共同推动这一新技术的标准化和生态建设。SK Hynix 的 AiMX-xPU 代表了内存计算领域的前沿突破，为 AI 推理带来了全新的效率和能耗优化方案。通过直接在内存中进行计算，AiMX-xPU 改变了传统计算架构，为未来的 AI 应用提供了更强的性能支持，SK Hynix 仍需解决多个技术和市场挑战。
