芝能智芯出品
在 2024 年的 Hot Chips 大会上，人工智能无疑成为了主角，其中，SambaNova 推出的 SN40L RDU（Reconfigurable Data Unit）备受瞩目。
这款芯片以其为万亿参数级别的 AI 模型设计的独特架构和创新性能，为高性能计算领域带来了新一轮的变革。
Part 1
SambaNova SN40L
的创新架构：
Cerulean 架构
SN40L 是基于 SambaNova 的最新 Cerulean 架构，这款芯片采用台积电 5nm 工艺制造，特别为超大规模 AI 模型设计。
其核心特点在于采用了三层内存架构，包括 520MB 片上 SRAM、64GB HBM 及额外的 DDR 内存作为容量层。此设计大幅度提升了数据存储和访问的效率，使得该芯片在大规模数据处理任务中表现出色。
● 在架构设计上，SambaNova SN40L 采用了数据流架构，支持用于训练和推理的高效计算模式。
相较于传统的 GPU 和 CPU，这种架构能更好地优化数据流动，减少数据传输延迟，从而提高整体计算效率。
通过 16 插槽系统，SN40L 实现了 8GB 的片上 SRAM 和 1TB 的 HBM，从而能够更好地处理庞大的 AI 模型和复杂的运算任务。
SN40L 的计算单元设计别具一格，跳出了传统处理器的框架。与常见的提取、解码等执行单元不同，SN40L 的计算单元由一系列静态阶段组成，能够作为数据流处理单元进行操作。
在执行矩阵计算时，该单元可充当脉动阵列，通过数据的高效流动，实现并行计算的优化。
这种设计不仅减少了运算过程中的数据瓶颈，还极大地提升了复杂计算的吞吐量。
● 在内存管理上，SN40L 采用了可编程管理暂存器取代传统缓存，提供了更高的灵活性和数据管理效率。
高级内存单元框图显示，SambaNova 在芯片内集成了多种可配置的内存资源，为复杂任务提供了更加灵活的存储解决方案。
Part 2
创新的片上互连与网络设计
SN40L 的片上互连设计同样值得关注，其物理网络分为矢量、标量和控制三种模式，分别用于不同类型的数据传输任务。这种分层的网络结构能够有效地优化芯片内部的数据传输路径，减少数据在不同模块间传输时的延迟和功耗。
AGCU（外存储器访问单元）和 PCU（片上 SRAM 访问单元）的分工明确，使得芯片能够高效地管理内外部数据的调用，为大规模模型的运行提供了坚实的基础。
SambaNova SN40L 通过强大的编译器支持，实现了硬件与软件的深度融合。
以 Softmax 运算为例，编译器能够捕获运算的特点并直接映射到硬件中。对于转换器模型和其他复杂 AI 结构，编译器能够将多个函数调用整合为一次内核调用，极大地减少了启动开销。
这意味着，芯片可以花费更多时间在有意义的计算上，而非在函数调用的管理和数据交换上消耗资源。
这种融合方法在处理 Transformer 模型的解码器时尤其有效。SN40L 将复杂的解码器映射成一个内核调用，简化了运行逻辑，并大幅减少了运算过程中的冗余步骤，从而进一步提高了推理速度。
● 在推理性能方面，SN40L 具有极强的竞争力。尤其是在大型语言模型（LLM）和生成式 AI（GenAI）的应用中，SN40L 展现了卓越的推理效率和速度表现。
DDR 内存被用于管理混合专家模型的检查点，避免了对主机 CPU 的频繁调用，从而减少了数据在芯片与主机之间的传输时间。
此外，SN40L 板载 DDR 的存在，使其在模型切换时表现得更加平滑，提供了更高的推理效率。
● 在训练方面，SN40L 通过深度优化的内存和计算资源分配，确保了大规模模型在训练时的稳定性和高效性。
该芯片的架构和编译器支持能够有效减少模型训练过程中的内存瓶颈，为大规模 AI 模型的快速迭代提供了可能。
小结
SambaNova SN40L RDU 是一款面向未来的创新芯片，其独特的架构设计和强大的计算能力，使其在万亿参数级别的 AI 模型中拥有极高的应用潜力。
作为一款集训练和推理于一体的高性能芯片，SN40L 为大规模人工智能任务提供了新的解决方案，展示了数据流架构在现代计算中的巨大优势。
随着 AI 模型的进一步扩展和复杂化，SN40L 的创新设计将继续引领高性能计算领域的发展潮流。
