如何利用 NVIDIA 微服务 for Jetson 进行无线 (OTA) 更新

文摘   2024-10-24 06:01   上海  
NVIDIA Metropolis 微服务 for Jetson 是一个支持快速开发物联网产品 AI 应用程序的框架。它提供预构建的微服务和 AI 模型,用于在 Jetson 上快速构建物联网视觉 AI 应用程序。包括生成式 AI(例如自然语言视频搜索和查询),NVIDIA Metropolis 微服务 for Jetson 显著缩短了新应用程序和产品的上市时间。


NVIDIA 微服务 for Jetson 在 3 月 18 日至 21 日于加利福尼亚州圣何塞举行的全球 AI 会议 NVIDIA GTC 上展出,它是一组云原生构建块,支持快速开发物联网产品的 AI 应用程序。它们分配 AI 的力量,将其可访问性扩展到 NVIDIA Jetson 上的大量开发人员,并通过使用对象模式识别等开箱即用的解决方案促进新创新应用程序的快速开发。
虽然 NVIDIA Metropolis Microservices for Jetson 具有诸多优势,但它仍然是另一个需要在整个 Jetson 设备群中大规模安装、更新、管理和支持的软件堆栈。一旦部署并投入生产,利用此框架仍会在管理大量 NVIDIA Jetson 模块及其应用程序方面遇到挑战。例如,必须不断完善和更新 AI 模型和应用程序以改进其相关产品,同时确保最高级别的安全性。
为了解决这些问题,Mender 与 NVIDIA 合作,为 NVIDIA 开发人员发布了两个关键用例。这些资源提供了在 NVIDIA Jetson 环境中利用无线 (OTA) 更新的分步分解。

用例 #1:如何在 Jetson 设备上安装 Metropolis Microservices for Jetson 堆栈
第一个用例是开发人员使用 Mender 在 Jetson 设备上部署 Metropolis Microservices for Jetson 的分步指南。该示例需要 Nvidia Jetson AGX Orin 开发套件或 Nvidia Jetson Orin NX 16GB 开发套件(自建),配备 128GB(最小)NVMe 驱动器。
使用 NVIDIA Jetson Orin,按照教程使用 Mender 为 Nvidia Jetson 设备配置“Metropolis Microservices for Jetson”,快速启动 Metropolis Microservices for Jetson - 即使对于已经在该领域的用户也是如此。

用例 #2:如何部署使用 Metropolis Microservices for Jetson 的 AI 应用程序
第二个用例介绍如何将新应用程序部署到 Jetson 设备群。本教程使用 NanoOWL 作为示例应用程序。NanoOWL 是一个图像分析优化项目,旨在使 OWL-ViT 模型在 NVIDIA Jetson Orin 平台上实时运行。它的实时功能和灵活的“树检测”管道使其成为机器人、自动驾驶汽车、智能监控、工业自动化和增强现实体验等应用的理想选择,在这些应用中,快速检测和识别对象至关重要。
安装后,按照教程为自己部署新的 AI 应用程序,使用 Mender 将 NanoOWL 配置到您的 Jetson 主板中,以在边缘实现实时、高性能的计算机视觉。
此外,Mender 已经支持 NVIDIA Jetson 的完整 A/B 更新,涵盖 L4T(基于 Ubuntu)和 OE4T(基于 Yocto Project)。
请注意:JetPack 6 开发预览版(Metropolis on Jetson 所需)尚不支持 A/B OTA 更新。NVIDIA 将在通用可用性 (GA) 版本中支持此功能。
Mender 与 NVIDIA Jetson 相结合解决了前两个用例。
在许多现实世界的 AI 应用中(例如物理安全、制造和汽车行业中的智能摄像头),AI 模型或应用程序必须在边缘 IoT 设备上运行,以支持快速响应时间和效率。通过与 NVIDIA 合作,Mender OTA 基础设施现在可以通过 Metropolis Microservices for Jetson 实现完整的车队管理功能。Mender 和 Metropolis Microservices for Jetson 的组合允许在生产中轻松、快速、安全地更新和管理 AI 模型、应用程序和设备。

软硬件协同设计 HW-SW Co-Design
欢迎后台留言,AI 客服全天在线。脱离物理硬件,开发测试和调试软件。基于虚拟原型的软硬件协同设计,提前一年实现产品上市创收,降低一半开发时间。
 最新文章