为什么要使用 NPU 而不是 CPU 或 GPU？

科技 2024-09-25 13:27 江苏

本文由半导体产业纵横（ID：ICVIEWS）编译自pcworld

目前只有部分PC 配备了 NPU。

CPU 和 GPU 已经过时了。如今，最前沿的都是 NPU，硬件制造商都在大谈 NPU 的性能。

NPU 是一种计算机组件，旨在以节能的方式加速 AI 任务，为具有强大 AI 功能的新 Windows 桌面应用程序铺平道路。无论如何，这就是计划。

所有 PC 最终都会配备 NPU，但目前只有部分PC 配备了 NPU。以下是您需要了解的有关 NPU 的所有信息，以及为什么 NPU 是目前计算机行业的热门话题。

什么是 NPU？

NPU 代表神经处理单元。它是一种针对人工智能和机器学习任务进行优化的特殊处理器。这个名字的由来是因为人工智能模型使用神经网络。通俗地说，神经网络是一个由相互连接的节点组成的庞大网络，这些节点之间传递信息。

NPU 并不是一个需要购买并插入的单独设备（例如 GPU）。相反，NPU 是作为现代处理器平台的一部分，例如英特尔的 Core Ultra、AMD 的 Ryzen AI 以及高通的 Snapdragon X Elite 和 Snapdragon X Plus。这些平台有一个 CPU，以及一个集成的 GPU 和 NPU。

NPU 与 CPU、GPU：有什么区别？

多年来，计算机一直在中央处理器 (CPU) 或图形处理单元 (GPU) 上运行任务。AI PC（即带有 NPU 的计算机）仍然以这种方式工作。

CPU 负责运行计算机上的大多数任务。但 GPU，尽管名字叫 GPU，却不只用于图形和游戏任务。GPU 实际上只是针对不同类型的计算任务进行了优化，这就是为什么 GPU 对于非游戏领域（如挖掘加密货币和运行高性能本地 AI 模型）至关重要。事实上，GPU 非常擅长此类 AI 任务——但 GPU 非常耗电。

这就是 NPU 发挥作用的地方。NPU 在计算 AI 任务时比 CPU 更快，但与 GPU 相比则没有那么快。权衡的是，在计算相同的 AI 任务时，NPU 消耗的电量远低于 GPU。此外，当 NPU 处理与 AI 相关的任务时，CPU 和 GPU 都可以释放出来处理各自的任务，从而提高整体系统性能。

为什么要使用 NPU 而不是 CPU 或 GPU？

如果您在 PC 硬件上运行Stable Diffusion 等 AI 图像生成软件（或其他 AI 模型），并且需要最大性能，那么 GPU 将是您的最佳选择。这就是 Nvidia 将其 GPU 宣传为优于 NPU 的“高级 AI”硬件的原因。

但有时，您想要运行的 AI 功能对于普通 CPU 来说可能过于繁重，但并不一定需要 GPU 的顶级性能。或者，也许您在使用笔记本电脑，想要利用 AI 功能，但又不想让 GPU 耗尽电池电量。

有了 NPU，笔记本电脑可以执行本地（设备上）AI 任务，而不会产生大量热量，也不会消耗过多的电池寿命，而且它可以执行这些 AI 任务，而不会占用 PC 正在执行的其他操作的 CPU 和 GPU 资源。

即使你对人工智能本身不感兴趣，你仍然可以将 NPU 用于其他用途。在 2024 年 CES 上，惠普展示了一款游戏流媒体软件，该软件使用 NPU 执行视频流任务，释放 GPU 来运行游戏本身。通过使用 NPU 的额外计算能力，流媒体软件不会占用任何 GPU 资源……而且它比使用 CPU 执行相同类型的任务要快得多。

Windows PC 软件到底能用 NPU 做什么呢？

有了 AI PC，操作系统和系统上的应用程序都可以使用 NPU。

例如，如果您的笔记本电脑配备Intel Meteor Lake 硬件，内置的 NPU 将允许您运行 Windows Studio 效果，这是由 AI 驱动的网络摄像头效果，可在使用您的网络摄像头的任何应用程序中提供背景模糊和强制眼神接触等功能。

微软的 Copilot+ PC（首批搭载高通骁龙 X 芯片）拥有自己的 AI 功能，这些功能使用该平台内置的 NPU。例如，微软推迟的 Windows Recall 功能就需要 NPU。

2024 年 11 月，AMD 和英特尔 PC 将可以使用之前仅限高通 PC 使用的 Copilot+ PC 功能，但只有搭载全新 AMD Ryzen AI 300 系列和英特尔酷睿超系列 2（Lunar Lake）处理器的 AMD 和英特尔 PC 才能使用。

这些只是 Windows 内置的功能；应用程序开发人员还可以通过多种方式使用 NPU。不要惊讶于 Audacity 和 GIMP 的插件提供了由计算机 NPU 驱动的 AI 音频和照片编辑功能。可能性是无穷无尽的，但硬件仍处于早期阶段，因此要充分发挥其潜力还需要一段时间。

如果我的电脑已经可以运行 AI 软件，为什么还需要 NPU？

目前大多数具有 AI 功能的应用程序（包括 Microsoft 的 Copilot 聊天机器人）尚未使用 NPU。相反，它们在遥远的云服务器上运行 AI 模型。这就是为什么你可以在任何设备上运行 Microsoft Copilot、ChatGPT、Google Gemini、Adobe Firefly和其他 AI 解决方案，无论是旧的 Windows PC、Chromebook、Mac、Android 手机还是其他设备。

但这些服务在云端运行 AI 模型的成本很高。例如，微软在数据中心花费大量资金处理 Copilot AI 任务。公司希望将这些 AI 任务转移到本地 PC 上，以减少自己的云计算费用。

当然，这不仅仅是为了节省成本。您还可以从在本地设备上运行计算量大的 AI 任务的能力中受益。例如，即使您处于离线状态，这些 AI 功能仍将起作用，并且您可以将数据保密，而不必一直将其全部上传到云服务器。

有哪些 NPU 可用以及它们的功能有多强大？

NPU 性能以 TOPS 为单位，代表每秒万亿次操作。为了让您了解这意味着什么，低端 NPU 可能只能处理 10 TOPS，而符合 Microsoft 的 Copilot+ PC 品牌的PC必须处理至少 40 TOPS。

截至 2024 年秋季，以下 NPU 可用：

英特尔酷睿超系列 1（Meteor Lake）：英特尔第一代酷睿超 NPU 可提供高达 11 TOPS 的性能。它对于微软的 Copilot+ PC 功能来说太慢了，但它确实可以与 Windows Studio Effects 和一些第三方应用程序配合使用。
英特尔酷睿超系列 2（Lunar Lake）：英特尔的 Lunar Lake 芯片将包含一个性能高达 48 TOPS 的 NPU，超过 Copilot+ PC 的要求。
AMD Ryzen Pro 7000 和 8000 系列：AMD 先于英特尔在 PC 上推出 NPU，但Ryzen 7000 系列处理器中的 NPU 对于 Copilot+ PC 功能来说太慢，性能最高可达 12 和 16 TOPS。
AMD Ryzen AI 300 系列：最新AMD Ryzen AI 300 系列处理器中的 NPU可提供高达 50 TOPS 的性能，对于 Copilot+ PC 来说绰绰有余。
高通骁龙 X Elite 和骁龙 X Plus：高通基于 Arm 的硬件包括高通 Hexagon NPU，其性能高达 45 TOPS。

值得注意的是，NPU 不仅仅存在于 PC 上。Apple 的 Neural Engine 硬件是首批获得市场关注的大型 NPU 之一。Google 的 Pixel 设备 Tensor 平台也包含一个 NPU，而三星 Galaxy 手机也有 NPU。

现在应该购买一台带有 NPU 的 PC 还是应该等待？

如果您特意购买 Meteor Lake 笔记本电脑，希望为您的 PC 提供面向未来的 AI 功能，那么当微软后来宣布 Meteor Lake NPU 速度太慢而无法支持 Copilot+ PC 功能时，您实际上会感到沮丧。Copilot+ PC 的功能还不是那么有趣。尤其是随着 Windows Recall 的延迟，Copilot+ PC 并没有太多值得注意的地方。大多数最大的 AI 工具（ChatGPT、Adobe Firefly 等）甚至根本不使用 NPU。

另一方面，目前只有最新款笔记本电脑才配备这些快速的 NPU，而且你经常可以找到与最新款笔记本电脑速度几乎一样快的旧款笔记本电脑的超值优惠。如果你发现上一代笔记本电脑的折扣很大，那么花一大笔钱只买一个 NPU 可能就不合理了，尤其是如果你没有计划运行任何 AI 工具的话。

大多数大型 AI 工具仍在云端运行 - 或者至少提供云端作为一种选项 - 因此您可以在任何 Windows 笔记本电脑、Chromebook 甚至 Android 平板电脑和 iPad 上运行它们。

对于台式机，NPU 的情况有所不同。英特尔的台式机 CPU 还没有 NPU。你可以找到一款带有 Ryzen AI NPU 的 AMD 台式机芯片，但 AMD 的 Ryzen 7000 和 8000 系列芯片无论如何都不支持 Copilot+ PC 功能。所以，如果你正在组装一台台式电脑，暂时把 NPU 放在一边。它现在还不那么重要。

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。

本文内容仅代表作者观点，不代表平台观点。

如有任何异议，欢迎联系我们。

如有侵权，请联系删除。

往期精彩回顾

2021年的第一场雪！英特尔2020年Q4财报解读

利用硬件辅助验证工具加速功能仿真

博文：裸片尺寸和光罩难题——光刻扫描仪吞吐量的成本模型

博文速递：Race condition in digital circuits

http://mp.weixin.qq.com/s?__biz=Mzg5MzY4Njc1Ng==&mid=2247501289&idx=3&sn=44d7bf8b949b7a9efbe38792503b1c7a

IP与SoC设计

《IP 与SoC》依托无锡国家“芯火”平台，全面报道全球IP与SoC设计技术的发展和国内外应用经验，为中国IC设计行业搭建一个IP与SoC资讯交流、产业促进的平台，为中国IC设计行业提供IP与SoC专业知识及相关信息支持和服务。

最新文章

前沿技术：芯片互连取得进展

近几年CPU微架构BTB的变化

芯片debug：awk结合grep获取读数据

CPU和GPU为什么会发热？

博文速递：Fixing Setup and Hold Violation

IP，FPGA，SOC和CPU验证都在做什么？

EDA 3.0

介绍几个用emacs写verilog的好用的插件

实际案例说明用基于FPGA的原型来测试、验证和确认IP——如何做到鱼与熊掌兼得？

几种自动生成verilog代码的方法

搞芯片怎么能不懂perl语言？

半导体制造领域中的粒子缺陷（Particle Defect）

博文速递：Manufacturing Effects: Introduction

PCIe ARI扩展能力（一）

先进芯片封装技术科普

嵌入式软件工程师如何高效阅读Datasheet？

博文速递：Coupled and Decoupled Capacitance Extraction Mode

什么是晶圆的切割划片技术

开源EDA的安全性问题

博文速递：Introduction and Source of Clock Skew

PCIe 知识点：bus number是如何获取的

芯片设计公司正在工厂化

嵌入式系统中程序代码必须从FLASH搬到RAM中运行吗？

博文速递：Timing arcs

摩尔定律仍然有效么？

ADC采集的电压误差比较大怎么办？

国内芯片创业公司是否应该继续融资

博文速递：Routing – connecting the dots within chip

聊聊Secure Storage

CANoe查看CAN报文发送周期

博文速递：Self Gated Flip-Flop

SmartDV力助高速发展的中国RISC-V CPU IP厂商走上高质量发展之道

搞芯片不懂什么是DFT？

Windows下如何查看PCIe设备信息

SoC芯片知识点整理

如何调整CAN位宽容忍度？

博文速递：Design problem Clock gating for a shift register

PCIe 热插拔原理

FPGA在数据中心的机会