AMD Ryzen AI 9 HX 375 在 LLM 性能方面优于 Intel 的 Core Ultra 7 258V

文摘   2024-11-02 15:32   安徽  
 

  在某些应用程序中,Strix Point 的延迟比 Lunar Lake 低 3.5 倍。  

 图像未添加注释

AMD 声称其 Ryzen AI 300(代号为 Strix Point)产品可以在消费类 LLM 工作负载中轻松击败英特尔最新的 Core Ultra 200V(代号为 Lunar Lake)CPU。Team Red 展示了几张图表 - 比较了两个系列的处理器的性能 - AMD 领先 27% 以上。

自 AI 繁荣以来,硬件和软件领域的科技巨头都加入了一场军备竞赛,以在 AI 领域超越彼此。虽然其中大部分纯粹是为了 “AI 炒作”,但主流客户的好处开始显现。Microsoft 要求任何系统至少需要 40 TOPS 才能被视为“Copilot+ PC”。现在,几乎每个 CPU 制造商都为神经处理单元 (NPU) 保留了宝贵的硅空间。

在这一点上,AMD 表示,在本地运行 LLM 时,其 Strix Point APU 的性能似乎优于 Intel 的 Lunar Lake。LM Studio 的典型消费级 LLM 基于 llama.cpp 框架运行。Ryzen AI 9 HX 375 在 CPU 部门领先 Core Ultra 7 258V 高达 27%。延迟基准测试对英特尔来说绝对是一场血腥屠杀——据报道,AMD 在 Mistral Nemo 3.5 2407 12b Instruct 模型中的延迟降低了 12 倍。切换到集成显卡解决方案时,Ryzen AI 9 HX 375 的 Radeon 890M iGPU 最多比英特尔的 Arc 23V 快 140%。

 图像未添加注释

 图像未添加注释

 图像未添加注释

有趣的是,虽然 HX 375 是最快的 Strix Point APU,但 Core Ultra 7 258V 不是。旗舰产品 Core Ultra 9 288V 提供完整的 30W TDP,这与 Strix Point 相对更好,因为后者可以配置为高达 54W。

除此之外,AMD 随后在英特尔自己的和第一方 AI Playground 中测试了这两款笔记本电脑——我们看到 AMD 使用 Mistral 7b Instruct v13.1 模型领先 0.3%。Microsoft Phi 3.1 Mini Instruct 测试的吸引力略显逊色,领先优势降至 8.7%。

 (图片来源:AMD)

    关注+星标“硅基LIFE”,每日获取关于人工智能、芯片领域最新动态。 加微信fusion9000,进“硅基LIFE”粉丝交流群交流并接收实时滚动推送的最新信息  

硅基LIFE
每天推送全球关于芯片和人工智能的最新动态
 最新文章