NVIDIA JetPack 6.1 通过优化摄像头堆栈和引入固件 TPM 大幅提升性能与安全性

科技   2024-11-27 18:27   北京  


NVIDIA JetPack 一直在不断发展,通过提供量身定制的先进软件满足边缘 AI 和机器人开发者日益增长的需求。每次发布的 JetPack 新版本都会升级性能、加入新功能与优化现有工具,以便为用户创造更大的价值。这意味着当前基于 Jetson Orin 的产品在升级到最新版本的 JetPack 后将优化性能。


2023 年第三季度发布的 JetPack 6 是这一历程中的一座重要里程碑。该版本引入了自带内核(Bring Your Own Kernel)等强大的功能,能够灵活地加入任何 LTS Linux 内核并扩大了对更多 Linux 发行版的支持,为不同的开发环境带来了更多灵活性。


凭借其模块化设计,用户还能够在不升级 Jetson Linux 的情况下轻松升级到最新的 JetPack 计算堆栈。除了这些进步之外,硬件加速增强等性能上的改进还保证了 Jetson 平台能够以最高效率运行。


JetPack 6.1 的功能


2024 年 7 月,NVIDIA 发布了 NVIDIA JetPack 6.1,进一步兑现了持续改进 JetPack 堆栈的承诺。


其中的一项重要改进是 Argus 摄像头堆栈增强,这项改进显著将摄像应用的 CPU 占用率降低了高达 40%。


另一项新功能是引入了基于固件的可信平台模块(fTPM)支持,通过强大的设备验证和安全存储保存证书和密钥,从而在无需额外分立 TPM 硬件的情况下实现了边缘到云的安全。


其他重要功能包括 AI 计算堆栈更新、带安全启动的空中下载(OTA)支持以及多媒体和网络方面的改进。


本文将讨论改进后的摄像堆栈和新的 fTPM 功能。


图 1. JetPack 6.1 的新功能


  • 摄像堆栈增强:增强后的 Argus 库通过切换到更加高效、基于 Tegra 硬件的同步方法,最多将使用 Argus 库的摄像的 CPU 占用率降低 40%。


  • 更高的安全性JetPack 6.1 开始支持基于固件的可信平台模块(fTPM),通过安全启动、加密密钥管理和平台完整性提高了安全性,而且由于无需额外的硬件,因此降低了成本和空间需求。


  • 堆栈升级:JetPack 6.1 包含经过升级的最新计算堆栈,同时可与 JetPack 6.0 BSP 一起使用。


  • CUDA 12.6
  • TensorRT 10.3
  • cuDNN 9.3
  • VPI 3.2
  • DLA 3.1
  • DLFW 24.0


  • OTA 改进启用了 UEFI 安全启动功能的 NVIDIA Jetson 设备提供基于映像的 OTA 支持。


摄像堆栈增强


JetPack 摄像堆栈提供的完整软件和驱动程序解决方案为 NVIDIA Jetson 平台上的摄像提供了强大的支持。它集成了底层驱动程序、多媒体 API 和先进的图像处理工具,可实现高效的视频捕捉、处理和流式传输。该堆栈还支持 MIPI CSI、USB、以太网等各种摄像接口,可充分利用 NVIDIA 硬件加速器完成缩放、降噪、编码等任务。


基于 NVIDIA Camera Core 构建的 Argus Camera API 提供了一个易于访问的接口,在实现先进图像捕捉、传感器控制和视频处理的同时,确保了高性能和定制化。这使其成为计算机视觉和 AI 应用的理想选择。


JetPack 6.1 引入了更加高效的 Argus Camera API 实现,通过 Argus 将 CSI 摄像捕捉功能的 CPU 占用率降低高达了 40%。这一优化极大地释放了处理能力,令使用 CSI 摄像的应用能够执行更多任务并提高了整体性能。


图 2 显示了在同时使用 12 台 CSI 摄像时,JetPack 6.1 中的增强 Argus API 实现较 JetPack 6.0 中默认 Argus API 实现的 CPU 性能提升情况。此次比较使用基于 AR0234 和双 IMX274 的摄像在 1920x1200p 30 fps 的设置下进行验证。


图 2. JetPack 6.1 中的摄像头堆栈 CPU 利用率


这一摄像堆栈更新还包含多项稳定性和图像质量改进措施。


引入基于固件的可信平台模块


JetPack 通过在每个新版本中集成先进的功能不断提高安全性,为整个 NVIDIA Jetson 平台提供了强大的保护。


基础安全功能有助于为基于 Jetson 的应用提供强大而全面的安全框架,从而抵御各种威胁并确保敏感数据的机密性、完整性与保护。这些功能包括:


  • 硬件信任根(RoT)

  • 安全启动

  • 可信执行环境

  • 磁盘加密

  • 内存加密

  • 回滚保护

  • 物理攻击保护


JetPack 6.1 通过引入基于固件的可信平台模块(fTPM)提高 JetPack 平台的安全性。fTPM 是一种基于软件的 TPM 标准实现方式。


fTPM 具有诸多优势,例如无需额外硬件即可实现安全密钥管理等,在简化系统设计的同时降低了成本。它支持可信启动和远程验证,确保了设备的完整性和防篡改能力,并通过保障加密操作的安全加强了数据保护,实现了安全通信。


fTPM 为 Jetson 用户提供以下主要优势:


  • 更强大的安全性:fTPM 功能通过在可信执行环境(TEE)中创建专用的隔离环境,大大加强了加密操作的安全性,确保密钥生成、加密等敏感流程免受外部篡改或恶意软件攻击。


  • 数据保护:fTPM 能够安全地存储加密密钥、数字证书、密码等关键信息,防止非授权访问。这确保了敏感数据的机密性,并且只允许授权组件进行访问。


  • 验证:fTPM 可提供加密证明,使系统能够向外部实体证明硬件和软件的完整性与安全性。凭借该验证功能,第三方(如远程服务器或其他设备)能够验证并信任系统的当前状态。


通过使用 fTPM,Jetson Orin 设备加强了对非授权访问和篡改的防护,使其在 AI、机器人和边缘计算应用中变得更加安全。


更多信息,请参阅基于 Jetson 固件的 TPM

https://docs.nvidia.com/jetson/archives/r36.4/DeveloperGuide/SD/Security/FirmwareTPM.html


发行版合作伙伴


NVIDIA Linux 发行版合作伙伴在支持 Jetson 上的产品方面也取得了重大进展。以下是一些值得关注的更新:


  • Canonical 现在拥有了一个经过全面认证的 Ubuntu 环境,可为 Jetson Orin 模块提供现成的长期支持。


  • Jetson Orin 上带有 Red Hat Enterprise Linux 9.4 的 Red Hat Device Edge 现在处于技术预览阶段。


  • Wind River Linux 目前正在驱动基于 Jetson Orin 的机器人和自主化产品。


RedHawk Linux 也在为各行各业的关键任务应用提供支持,meta-tegra 社区则在协助基于Jetson 的产品使用 Yocto 方面发挥了重要的作用。NVIDIA 与 Linux 发行版合作伙伴的合作正日益深入,这使我们能够提供适合各种开发和部署需求的 Linux 发行版选择。


JetPack 分支路线图


一个 JetPack 分支通常会保持两年左右的活跃状态,在此期间会定期接受更新,包括新功能、CVE 修复和 PCN 新增内容。过了这段时间,分支就会过渡到持续状态。在持续状态下,它将继续接收 CVE 修复和 PCN 更新,但不再加入新功能。


JetPack 6.1 是 JetPack 6 系列的最后一个活跃版本。之后,JetPack 6 分支将过渡到持续支持阶段并继续接收 CVE 修复和 PCN 更新。图 3 显示了 JetPack 5 和 JetPack 6 的生命周期。


图 3. JetPack 5 和 JetPack 6 的 JetPack 分支路线图


Jetson 模块产品生命周期更新


由于对 Jetson Xavier 和 Jetson Orin 产品系列的需求不断增加,NVIDIA 延长了以下产品的生命周期:


  • NVIDIA Jetson Xavier NX 16GB 模块将从最初计划的 2026 年第一季度延长至 2028 年第一季度。


  • 所有 NVIDIA Jetson Orin 商用模块(包括 AGX Orin、Orin NX 和 Orin Nano 产品)的生命周期将从最初计划的 2030 年第一季度延长至 2032 年第一季度。


更多信息,请参阅 Jetson 产品生命周期

https://developer.nvidia.com/embedded/lifecycle


总结


NVIDIA JetPack 6.1 为使用 Jetson Orin 平台的开发者提供了实质性的增强功能。该版本的一个主要特点是升级了摄像堆栈,使基于摄像的 AI 应用性能最多提升了 40%。而引入基于固件的 TPM 则增强了安全性和设备验证功能,从而提高了部署的安全性。除此之外,该版本还加入了其他一些小的改进。


Jetson Orin 用户现在可以升级到 JetPack 6.1,充分利用这些进步并为 AI 和机器人技术领域带来新的可能性。


想要了解更多信息,请参阅以下资源:


  • JetPack SDK:

    https://developer.nvidia.com/embedded/jetpack


  • JetPack 6.1版本说明:

    https://docs.nvidia.com/jetson/jetpack/release-notes/index.html


  • 如何安装和设置 JetPack SDK:

    https://docs.nvidia.com/jetson/jetpack/install-setup/index.html



点击“阅读原文”,或扫描下方海报二维码,观看 NVIDIA CEO 黄仁勋特别演讲以及和软银集团 CEO 孙正义的炉边谈话回放。

NVIDIA英伟达企业解决方案
NVIDIA,一家全栈计算公司,其一直是加速计算领域的先驱,GPU 驱动了PC游戏市场增长,重新定义现代计算机图形,开启现代AI时代,正在推动工业元宇宙的创造。
 最新文章