👆如果您希望可以时常见面,欢迎标星🌟收藏哦~
来源:内容编译自nextplatform,谢谢。
在高性能计算的大部分历史中,一台超级计算机通常是一个独立的设备,主要用于运行模拟或模型,其与外部世界的唯一联系只需要一个相对较小的接口,用于显示一些可视化内容。
但在生成式AI(GenAI)版本的人工智能中,核心在于不断从外界获取数据,并通过输出建议或行动来对外界进行回应。这意味着,AI集群需要高带宽、快速且无损的网络,以避免浪费时间——进而避免浪费这些非常昂贵的AI服务器(搭载了GPU和其他类型的AI加速器)的成本。同时,连接AI系统与外界的前端网络也可能需要从企业常见的10 Gb/秒速度升级。
这就是为什么像Arista Networks这样的公司对GenAI充满期待。
在2024年第三季度财报电话会议上,Arista高管表示,他们新增了一位“云巨头”客户,该客户加入了此前四家试用或试点其AI专用交换机的超大规模和云构建客户名单中,这些客户为下一代AI集群进行测试,目前每个集群中包含50,000到100,000个GPU,未来甚至会更多。Arista进一步表示,还有15个企业客户正利用更少数量的GPU构建AI集群,他们也在测试Arista的产品,逐步进入试点和生产系统阶段。(我们猜测,企业可能部署了数千个GPU,甚至多达10,000个,前提是他们能获得Nvidia或AMD的GPU配额,以及CFO的预算批准。)
因此,AI网络需求正在逐步建立,Nvidia的InfiniBand网络虽然在AI集群中占据主导地位,但正面临Arista以及其自有的Spectrum-X产品线的竞争。以IT速度来看,这一进展耗费了很长时间。但以太网的初始性能不足以充分利用这些GPU,因此在RDMA和拥堵控制方面做了提升,以便在InfiniBand强势的领域展开竞争,并利用以太网在相同层级的后端网络中较InfiniBand更高的可扩展性。
AI前端升级与后端之间的比例,即Arista首席执行官Jayshree Ullal所称的“AI中心”比例尚不清楚,因为这是一个新兴现象。随着时间推移,这种比例也会变得越来越难以确定。(就像现在很难界定什么是“云”一样。)2025年的预测是,AI后端网络市场为7.5亿美元,AI相关前端网络市场也为7.5亿美元,此外还有750亿美元用于校园网络。
Ullal在电话会议中解释道:“我们越来越看到,每在后端网络上花费一美元,前端网络可能需要多花费30%、100%,甚至200%。这就是为什么我们相信,明年将会再有7.5亿美元用于前端流量,其中包括AI,但不只限于AI。因此,我不会惊讶于这个数值在30%到200%之间,平均大约为100%,即后端为前端的两倍。所以我们对此感到很乐观。我们尚不清楚如何精确地统计纯AI支出,这就是为什么我不断补充说明,当推理、训练、前端存储、WAN和传统云融合时,纯AI支出会变得难以追踪。”
但这将是明年的事情。在9月的这个季度,Arista仍在努力获取一些AI业务订单。它目前已经达成了五个大客户的交易(上个季度是四个)。我们对这些客户的具体项目所知不多,但知道其中之一是Meta平台公司,正在构建两个集群,一个采用Nvidia InfiniBand互连,另一个则使用Arista以太网。根据Ullal的说法,其中三位客户的进展良好;一位刚刚起步,而新加入的第五位客户进展“较预期缓慢”,因其“等待新GPU,面临电力和冷却等挑战”。
在这一季度,Arista的产品收入增长18.5%,达到15.3亿美元,服务收入增长28.2%,达到2.871亿美元。
产品中的软件订阅收入下降了30.2%,为2070万美元,拖累了整体软件和服务收入的增长,合计仅增长了21.4%,达到3.079亿美元。我们不清楚这里的原因。
整体来看,该季度收入增长了20%,达到18.1亿美元,较上季度增长7.1%。预期收入范围为17.2亿到17.5亿美元。运营收入增长了30.2%,达7.85亿美元,显示出良好的成本控制和更高利润,净收入增长更快,达37.2%,为7.48亿美元,净收入占收入的41.3%,是自2019年第四季度以来的最高水平,且当时是因税收优惠而达到了47.2%的水平。这是真实的利润,而非会计上的调整。第三季度部分研发成本推迟至第四季度也有所帮助。
Arista在第三季度末持有73.4亿美元的现金及等价物,同比增长66.7%。客户采购承诺增加了15%,达到23亿美元,递延收入为25.7亿美元。
展望未来,Arista表示第四季度收入应在18.5亿至19亿美元之间,全年增长18%,此前预期为10%-12%。
对于2025年,随着网络客户结构转向云和AI客户,预计收入将增长15%-17%,但毛利率可能下降3至5个百分点,年度收入将超过80亿美元。
至于向400 Gb/秒和800 Gb/秒互联的过渡,Ullal表示大多数AI试验都是针对400 Gb/秒的产品,因为客户正等待网络接口卡和超以太网功能(如包喷射)以便升级到800 Gb/秒网络。
“虽然我们正在进行一些800 Gb/秒的早期试验,但大多数试验仍然是400 Gb/秒的,”Ullal表示。“我预计到2025年,我们将看到400 Gb/秒和800 Gb/秒之间的更好分配。”
原文链接
https://www.nextplatform.com/2024/11/08/the-back-end-ai-network-puts-pressure-on-the-front-end/
👇半导体精品公众号推荐👇
▲点击上方名片即可关注
专注半导体领域更多原创内容
▲点击上方名片即可关注
关注全球半导体产业动向与趋势
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第3941内容,欢迎关注。
推荐阅读
『半导体第一垂直媒体』
实时 专业 原创 深度
公众号ID:icbank
喜欢我们的内容就点“在看”分享给小伙伴哦