“NPU” 代表什么?它能做什么?你需要了解的有关这项新兴技术的信息。在过去的一年里,关于神经处理单元(NPU)的讨论越来越多。虽然 NPU 已经在智能手机中出现几年了,但英特尔、AMD 以及最近的微软都推出了配备 NPU 的支持 AI 的消费级笔记本电脑和个人电脑。下载链接:
NPU 与 AI PC 的相关概念密切相关,AMD、Apple、Intel 和 Qualcomm 等主要硬件制造商生产的芯片中越来越多地使用 NPU。自微软今年早些时候推出 Copilot+ AI PC 产品以来,NPU 开始越来越多地出现在笔记本电脑中。NPU 的作用是充当人工智能的硬件加速器。硬件加速是使用专用硅片来管理特定任务,就像主厨将不同的任务委托给副厨师,让他们一起按时准备饭菜一样。NPU 不会取代您的 CPU 或 GPU;相反,NPU 旨在补充 CPU 和 GPU 的优势,处理边缘 AI 等工作负载,以便 CPU 和 GPU 可以为它们擅长的任务保留处理时间。GPU 是专门为渲染图形而设计的硬件加速器,但具有足够的底层灵活性,也非常适合 AI 或某些类型的科学计算。长期以来,如果您有想要处理的 AI 工作负载,您会希望使用一个或多个高性能 [可能是 Nvidia?] GPU 进行实际的数字运算。一些公司正在致力于专门为 AI 构建专用硬件加速器,例如 Google 的 TPU,因为在“GPU”中带有“G”的附加图形功能在纯粹用于 AI 处理的卡中没有用处。硬件加速在不涉及大量条件分支的重复性任务中最为有用,尤其是在数据量很大的情况下。例如,渲染 3D 图形需要计算机管理持续不断的无数粒子和多边形流。这是一项带宽密集型任务,但实际计算(主要是)三角函数。计算机图形学、物理和天文学计算以及大型语言模型 (LLM)(如支持现代 AI 聊天机器人的模型)是硬件加速的理想工作负载的几个例子。AI 工作负载有两种类型:训练和推理。训练几乎完全在 GPU 上进行。Nvidia 利用其近二十年对 CUDA 的投资及其在独立 GPU 中的领导地位,在这两个市场上占据主导地位,尽管 AMD 已远远落后于第二名。大规模训练在数据中心规模进行,当您与ChatGPT等基于云的服务进行通信时运行的推理工作负载也是如此。NPU(以及与之相连的 AI PC)的运行规模要小得多。它们可以补充您最喜欢的 CPU 供应商的微处理器中的集成 GPU,为未来的 AI 工作负载提供额外的灵活性,并且与等待云端相比,可以提高性能。一般来说,NPU 依靠高度并行的设计来快速执行重复性任务。相比之下,CPU 是多面手。这种差异反映在 NPU 的逻辑和物理架构中。CPU 有一个或多个内核,可以访问少量共享内存缓存,而 NPU 有多个子单元,每个子单元都有自己的微型缓存。NPU 适用于高吞吐量和高度并行的工作负载,如神经网络和机器学习。NPU、神经网络和神经形态系统(如英特尔的 Loihi 平台)都具有一个共同的设计目标:模拟大脑信息处理的某些方面。每家将 NPU 推向市场的设备制造商都有其特定于其产品的微架构。大多数制造商还发布了与其 NPU 配合使用的软件开发工具。例如,AMD 提供了 Ryzen AI 软件堆栈,而英特尔则继续改进其正在进行的开源深度学习软件工具包 OpenVINO。大多数 NPU 都安装在面向消费者的设备中,例如笔记本电脑和 PC。例如,高通的 Hexagon DSP 为其骁龙处理器添加了 NPU 加速功能,用于智能手机、平板电脑、可穿戴设备、高级驾驶辅助系统和物联网。Apple 生态系统在 iPhone、iPad 和 iMac 的 A 系列和 M 系列芯片中使用了其神经引擎 NPU。此外,一些 PC 和笔记本电脑被指定为 Copilot+,这意味着它们可以在板载 NPU 上运行 Microsoft 的 Copilot AI。但是,一些服务器端或基于云的系统也使用 NPU。Google 的 Tensor Processing Units 是专为数据中心的高性能机器学习而设计的 NPU 加速器。NPU 崛起的原因之一是边缘智能的重要性日益增加。在传感器网络、移动设备(如手机和笔记本电脑)和物联网之间,数据整理的需求已经日益增长。与此同时,基于云的服务受制于基础设施延迟。本地处理不一定非要在云端执行任何操作。这可能在速度和安全性方面都是一种优势。你是否需要 NPU 这个问题几乎是一个转移注意力的话题。英特尔、AMD 和苹果等硅谷巨头已经投资了这项技术。无论你是否有特定的 NPU 用途,下次你组装或购买 PC 时,你选择的芯片很有可能会配备 NPU。到 2026 年底,分析师预计100% 的美国企业 PC 购买都将在芯片中嵌入一个或多个 NPU。换句话说,不用担心买不到带有 NPU 的系统。他们会主动找上门来的。https://www.extremetech.com/computing/what-is-an-npu
申明:感谢原创作者的辛勤付出。本号转载的文章均会在文中注明,若遇到版权问题请联系我们处理。
推荐阅读
更多架构相关技术总结请参考“架构师全店铺技术资料打包”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)”和“存储系统基础知识全解(终极版)”pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价339元)。
随着电子书数量增加及内容更新,价格会随之增加,所以现在下单最划算,购买后续可享全店内容更新“免费”赠阅。
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。