一文读懂NPU是啥?

科技   2024-10-19 09:28   四川  


“NPU” 代表什么?它能做什么?你需要了解的有关这项新兴技术的信息。

在过去的一年里,关于神经处理单元(NPU)的讨论越来越多。虽然 NPU 已经在智能手机中出现几年了,但英特尔、AMD 以及最近的微软都推出了配备 NPU 的支持 AI 的消费级笔记本电脑和个人电脑。

下载链接:


NPU 与 AI PC 的相关概念密切相关,AMD、Apple、Intel 和 Qualcomm 等主要硬件制造商生产的芯片中越来越多地使用 NPU。自微软今年早些时候推出 Copilot+ AI PC 产品以来,NPU 开始越来越多地出现在笔记本电脑中。

l NPU 起什么作用?


NPU 的作用是充当人工智能的硬件加速器。硬件加速是使用专用硅片来管理特定任务,就像主厨将不同的任务委托给副厨师,让他们一起按时准备饭菜一样。NPU 不会取代您的 CPU 或 GPU;相反,NPU 旨在补充 CPU 和 GPU 的优势,处理边缘 AI 等工作负载,以便 CPU 和 GPU 可以为它们擅长的任务保留处理时间。

GPU 是专门为渲染图形而设计的硬件加速器,但具有足够的底层灵活性,也非常适合 AI 或某些类型的科学计算。长期以来,如果您有想要处理的 AI 工作负载,您会希望使用一个或多个高性能 [可能是 Nvidia?] GPU 进行实际的数字运算。一些公司正在致力于专门为 AI 构建专用硬件加速器,例如 Google 的 TPU,因为在“GPU”中带有“G”的附加图形功能在纯粹用于 AI 处理的卡中没有用处。

l 工作量决定一切


硬件加速在不涉及大量条件分支的重复性任务中最为有用,尤其是在数据量很大的情况下。例如,渲染 3D 图形需要计算机管理持续不断的无数粒子和多边形流。这是一项带宽密集型任务,但实际计算(主要是)三角函数。计算机图形学、物理和天文学计算以及大型语言模型 (LLM)(如支持现代 AI 聊天机器人的模型)是硬件加速的理想工作负载的几个例子。

AI 工作负载有两种类型:训练和推理。训练几乎完全在 GPU 上进行。Nvidia 利用其近二十年对 CUDA 的投资及其在独立 GPU 中的领导地位,在这两个市场上占据主导地位,尽管 AMD 已远远落后于第二名。大规模训练在数据中心规模进行,当您与ChatGPT等基于云的服务进行通信时运行的推理工作负载也是如此。

NPU(以及与之相连的 AI PC)的运行规模要小得多。它们可以补充您最喜欢的 CPU 供应商的微处理器中的集成 GPU,为未来的 AI 工作负载提供额外的灵活性,并且与等待云端相比,可以提高性能。

l NPU 如何工作?


一般来说,NPU 依靠高度并行的设计来快速执行重复性任务。相比之下,CPU 是多面手。这种差异反映在 NPU 的逻辑和物理架构中。CPU 有一个或多个内核,可以访问少量共享内存缓存,而 NPU 有多个子单元,每个子单元都有自己的微型缓存。NPU 适用于高吞吐量和高度并行的工作负载,如神经网络和机器学习。

NPU、神经网络和神经形态系统(如英特尔的 Loihi 平台)都具有一个共同的设计目标:模拟大脑信息处理的某些方面。

每家将 NPU 推向市场的设备制造商都有其特定于其产品的微架构。大多数制造商还发布了与其 NPU 配合使用的软件开发工具。例如,AMD 提供了 Ryzen AI 软件堆栈,而英特尔则继续改进其正在进行的开源深度学习软件工具包 OpenVINO。

l NPU 和边缘智能


大多数 NPU 都安装在面向消费者的设备中,例如笔记本电脑和 PC。例如,高通的 Hexagon DSP 为其骁龙处理器添加了 NPU 加速功能,用于智能手机、平板电脑、可穿戴设备、高级驾驶辅助系统和物联网。Apple 生态系统在 iPhone、iPad 和 iMac 的 A 系列和 M 系列芯片中使用了其神经引擎 NPU。此外,一些 PC 和笔记本电脑被指定为 Copilot+,这意味着它们可以在板载 NPU 上运行 Microsoft 的 Copilot AI。但是,一些服务器端或基于云的系统也使用 NPU。Google 的 Tensor Processing Units 是专为数据中心的高性能机器学习而设计的 NPU 加速器。

NPU 崛起的原因之一是边缘智能的重要性日益增加。在传感器网络、移动设备(如手机和笔记本电脑)和物联网之间,数据整理的需求已经日益增长。与此同时,基于云的服务受制于基础设施延迟。本地处理不一定非要在云端执行任何操作。这可能在速度和安全性方面都是一种优势。

你是否需要 NPU 这个问题几乎是一个转移注意力的话题。英特尔、AMD 和苹果等硅谷巨头已经投资了这项技术。无论你是否有特定的 NPU 用途,下次你组装或购买 PC 时,你选择的芯片很有可能会配备 NPU。到 2026 年底,分析师预计100% 的美国企业 PC 购买都将在芯片中嵌入一个或多个 NPU。换句话说,不用担心买不到带有 NPU 的系统。他们会主动找上门来的。

关于CPU、服务器和存储详细技术及资料获取,请参考“下载提醒:服务器基础知识全解(终极版)”,“2023年服务器计算机CPU行业报告”、“2023年机架式服务器行业洞察”、“2023~2025服务器CPU路线图”、“2023服务器产业链及市场竞争格局”、“存储系统关键技术全解(终极版)”、“存储系统基础知识全解(终极版)”、“存储芯片技术基础知识介绍(2023)”等等。

原文链接:
https://www.extremetech.com/computing/what-is-an-npu
来源:半导体行业观察
下载链接:
龙芯CPU技术研究报告合集
全店铺技术资料打包(全)
1、AI芯片第二极:xPU芯片
2、AI芯片第一极:GPU芯片
3、华为鲲鹏处理器介绍
4、服务器基础知识全解(终极版)
5、存储系统基础知识全解(终极版)



申明:感谢原创作者的辛勤付出。本号转载的文章均会在文中注明,若遇到版权问题请联系我们处理。

推荐阅读

更多架构相关技术总结请参考“架构师全店铺技术资料打包”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)和“存储系统基础知识全解(终极版)pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价339元)。


随着电子书数量增加及内容更新,价格会随之增加,所以现在下单最划算,购买后续可享全店内容更新“免费”赠阅。


温馨提示:

扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情


架构师技术联盟
分享项目实践,洞察前沿架构,聚焦云计算、微服务、大数据、超融合、软件定义、数据保护、人工智能、行业实践和解决方案。
 最新文章