Meta 开放炼丹炉：全面拥抱开放硬件，加速 AI 算力基础设施建设

文摘 2024-10-20 11:38 美国

Meta 的 AI 模型规模不断扩大，例如 Llama 3.1 405B 拥有 4050 亿个参数，需要巨大的算力支持，预计未来 AI 训练所需的计算量将比现在显著增长。Meta 积极拥抱开放硬件，推出 Catalina 和 Grand Teton 平台、DSF 和 FBNIC 等创新硬件，构建开放、高性能的网络基础设施——如同构建一个开放的炼丹炉，并与微软合作，共同推动开放式创新，致力于开源 AI，构建开放的 AI 生态系统。

如果将日新月异的大模型比作 AI 时代的灵丹妙药，那么强大的算力基础设施无疑就是炼制这些灵丹的“炼丹炉”。随着人工智能 (AI) 的快速发展，AI 模型的规模和复杂性不断提升，对“炼丹炉”的需求也呈指数级增长。为了应对这一挑战，Meta 积极拥抱开放硬件，通过与行业合作伙伴共同创新，构建更加灵活、可扩展和高效的 AI 基础设施——如同打造一个开放的炼丹炉，并致力于推动 AI 生态系统的开放和协作。本文将深入解读 Meta 的开放式 AI 硬件战略，重点介绍 Catalina、Grand Teton、DSF 等创新“炼丹利器”，并探讨 Meta 对开源 AI 的承诺。

Meta 的 AI 发展现状与挑战

AI 已成为 Meta 核心技术，应用于 Feed、广告等关键业务。例如，Meta 的 Feed 和广告系统都依赖于 AI 模型的创新来优化和提升效率。

然而，随着 AI 模型规模的不断扩大，Meta 面临着前所未有的算力挑战。以 Meta 最大的模型 Llama 3.1 405B 为例，它拥有 4050 亿个参数和高达 128k 个令牌的上下文窗口，训练这样一个庞大的模型需要海量的计算资源，如同需要一个巨大的炼丹炉才能炼制出如此强大的灵丹。

为了满足日益增长的算力需求，Meta 的 AI 训练集群规模在 2023 年经历了爆发式增长，从最初的 1K GPU 迅速扩展到 16K GPU，并且预计未来几年 AI 训练所需的计算量还将持续增长，这意味着 Meta 需要不断扩大其“炼丹炉”的规模。

除了 GPU，高性能的网络和充足的带宽也成为制约 AI 基础设施发展的关键瓶颈。为了训练如此规模的 AI 模型，Meta 的基础设施需要在超过 16,000 个 NVIDIA H100 GPU 上运行，并且需要一个能够处理海量数据传输的高效网络系统，如同炼丹炉需要高效的输送管道才能保证炼制过程的顺利进行。

Meta 的开放式 AI 硬件战略：打造开放的炼丹炉

面对 AI 算力需求的爆炸式增长，Meta 积极拥抱开放硬件，通过与行业合作伙伴共同创新，构建更加灵活、可扩展和高效的 AI 基础设施——如同打造一个开放的炼丹炉，让更多人能够参与到 AI 炼丹的过程中来。

Meta 宣布推出 Catalina，这是一个专为 AI 工作负载设计的新型高性能机架，如同炼丹炉的核心部件。Catalina 基于 NVIDIA Blackwell 平台，专注于模块化和灵活性，旨在支持最新的 NVIDIA GB200 Grace Blackwell 超级芯片，以满足现代 AI 基础设施不断增长的需求。

图1：Catalina 机架 (左：正面图；右：背面图)

同时，Meta 扩展了 Grand Teton 平台，使其能够支持 AMD Instinct MI300X 加速器，如同为炼丹炉添加了新的燃料。Grand Teton 是 Meta 的下一代 AI 平台，其设计具有强大的计算能力，可支持内存带宽受限的工作负载（例如 Meta 的深度学习推荐模型 (DLRM)）以及计算受限的工作负载（例如内容理解）的需求。

图2: Grand Teton 平台，支持 AMD Instinct MI300X 加速器

此外，Meta 还构建了开放式分解式计划结构 (DSF)，用于其下一代 AI 集群，如同为炼丹炉设计了更加灵活的结构。DSF 是一种开放的、与供应商无关的网络系统，它可以克服规模、组件供应和功率密度的限制，使 Meta 能够与来自整个行业的供应商合作，设计既具有创新性又具有可扩展性、灵活性和效率的系统。

Meta 的网络硬件创新：炼丹炉的利器

为了构建高性能的 AI 网络基础设施，Meta 不断推动网络硬件的创新，并积极参与开放计算项目 (OCP)，如同不断改进炼丹炉的各个部件，使其更加高效和易用。

DSF：分解式计划结构

DSF 是 Meta 为其下一代 AI 集群开发的一种新型网络结构，它采用分解式设计，将网络功能分解成独立的、可互换的模块，如同将炼丹炉的各个部件模块化，方便根据需要进行替换和升级。这种设计打破了传统网络设备的封闭性，使 Meta 能够与来自整个行业的供应商合作，选择最适合其需求的组件，并构建更灵活、可扩展和高效的网络系统。DSF 还支持开放的 OCP-SAI 标准和 FBOSS，促进了网络生态系统的开放性和协作性。

DSF 平台：Arista 7700R4 系列

DSF 平台 Arista 7700R4 系列由专用的叶片和主干系统组成，它们组合在一起创建了一个大型的分布式交换机。作为分布式系统，DSF 旨在支持高规模的 AI 集群。

图3：7700R4C-38PE：DSF 叶片交换机

• DSF 分布式叶片交换机（基于 Broadcom Jericho3-AI）
• 18 x 800GE (36 x 400GE) OSFP800 主机端口
• 20 x 800Gbps (40 x 400Gbps) 结构端口
• 14.4Tbps 的线速性能，16GB 缓冲区

图4：7720R4-128PE：DSF 主干交换机

• DSF 分布式主干交换机（基于 Broadcom Ramon3）
• 加速计算优化管道
• 128 x 800Gbps (256 x 400Gbps) 结构端口
• 102.4Tbps 的线速性能

FBOSS 和 SAI

Meta 继续采用 OCP-SAI 将新的网络结构、交换机硬件平台和光纤收发器加入 FBOSS。Meta 与供应商和 OCP 社区合作，共同发展 SAI。它现在支持 DSF 和其他增强路由方案等新功能和概念，如同不断完善炼丹炉的操作系统，使其更加稳定和高效。

图5: FBOSS 和 SAI

开发者和工程师来自世界各地可以与这个开放的硬件一起工作，并且贡献他们自己的软件，而他们，反过来，可以自己使用并与更广泛的行业共享，这体现了开放炼丹炉的共享精神。

51T 交换机

Meta 推出两款下一代 400G 结构交换机 Minipack3 和 Cisco 8501，它们都向后兼容之前的 200G 和 400G 交换机，并将支持升级到 400G 和 800G，如同为炼丹炉配备了更强大的动力引擎。Minipack3 使用 Broadcom 最新的 Tomahawk5 ASIC，而 Cisco 8501 则基于 Cisco 的 Silicon One G200 ASIC。这些高性能交换机通过 64 个 OSFP 端口传输高达 51.2 Tbps 的数据，并且该设计经过优化，无需中继器即可实现最高的电源效率。与之前的型号相比，它们的每比特功耗也显着降低。Meta 将在 FBOSS 上运行 Minipack3 和 Cisco 8501。

图6: Minipack3（基于 Broadcom Tomahawk5，由 Meta 设计，Celestica 制造）51.2T 交换机

图7: Cisco 8501（基于 Cisco Silicon One G200，由 Cisco 设计和制造）51.2T 交换机

2x400G FR4 光纤

Meta 的数据中心结构已从 200 Gbps/400 Gbps 发展到 400 Gbps/800 Gbps，并且 Meta 已经在其数据中心部署了 2x400G 光纤，以满足高带宽网络互连需求，如同为炼丹炉搭建了更加高速的传输通道。

图8: 2x400G FR4 光纤

FBNIC：多主机基础 NIC

FBNIC 是 Meta 设计的一款多主机基础 NIC，它集成了 Meta 首款网络 ASIC，并能够支持多达四个主机，每个主机都具有完整的数据路径隔离，如同为炼丹炉添加了更多连接端口，允许多个炼丹师同时操作。这种设计提高了网络连接密度和性能，并简化了服务器的设计和管理。FBNIC 还符合 OCP NIC 3.0 标准，促进了 NIC 生态系统的标准化和开放性。

图9: FBNIC 多主机基础 NIC

• 网络接口，最多 4×100/4×50/4×25 GE，每个通道支持高达 56G PAM4 的 SerDes
• 最多 4 个独立的 PCIe Gen5 切片
• 硬件卸载，包括 LSO、校验和
• 用于 PTP 的线路速率时间戳（从 PHY 一直到每个主机）
• 标头数据拆分以辅助零拷贝
• 符合 OCP NIC 3.0，版本 1.2.0，设计规范

Meta 与微软的合作：携手共建开放炼丹炉

Meta 与微软在 OCP 内建立了长期合作伙伴关系，共同致力于推动开放式创新，如同两位炼丹大师携手合作，共同打造更加强大的炼丹炉。双方在多个关键项目上进行了合作，例如开放加速器模块 (OAM) 标准和 SSD 标准化，展示了对推进开放式创新的共同承诺。

双方目前的合作重点是 Mount Diablo，这是一种新型分解式电源机架，如同为炼丹炉提供更加稳定和高效的能源供应。它是一个尖端解决方案，具有可扩展的 400 VDC 单元，可提高效率和可扩展性。这种创新设计允许每个 IT 机架安装更多 AI 加速器，从而显着提升 AI 基础设施。双方很高兴能够通过这一贡献继续合作。

Meta 对开源 AI 的承诺：开放炼丹炉，共享炼丹秘籍

Meta 坚信开源是释放 AI 潜力的关键，并致力于构建开放的 AI 生态系统，如同将炼丹炉的图纸和炼丹秘籍公开，让更多人能够学习和使用。Meta 相信开源将把 AI 的优势和机遇带给全世界的人们，并积极推动开源 AI 软件框架和模型，例如 PyTorch 和 Llama。

Meta 认为开放的 AI 硬件系统对于提供 AI 发展所需的那种高性能、经济高效且适应性强的基础设施至关重要。Meta 鼓励任何希望帮助推进 AI 硬件系统未来发展的人员加入 OCP 社区，共同构建开放的 AI 生态系统，释放开放式 AI 的真正承诺，共同推动 AI 技术的进步和发展。