【作者】李杰，专注于Java虚拟机技术、云原生技术领域的探索与研究。
随着人工智能（AI）和机器学习（ML）模型日益复杂，对高性能计算的需求也随之水涨船高。GPU作为加速计算的利器，在AI/ML领域发挥着至关重要的作用。Kubernetes作为容器编排的行业标准，为AI应用提供了灵活、可扩展的部署环境。然而，如何在Kubernetes集群中高效管理和调度GPU资源，一直是业界关注的焦点。
随着云原生技术的发展，业界针对GPU资源调度提出了多种解决方案，包括 Kubernetes Device Plugin、NVIDIA GPU Operator 和 Dynamic Resource Allocation (DRA)。上述方案在功能实现、适用场景和用户体验上各具优势，为不同类型的用户和业务场景提供了灵活且高效的选择。
1. 什么是NVIDIA GPU Operator ？
随着Kubernetes 成为主流的容器编排平台，越来越多的深度学习、科学计算和图形渲染等高性能工作负载被部署在 Kubernetes 集群中。然而，GPU 的独特性（例如驱动安装、库版本依赖和硬件资源隔离）使其管理复杂度远高于 CPU 等通用资源。传统方法往往依赖手动配置，可能带来以下问题：
（1）安装繁琐：需要为不同的GPU 硬件安装正确的驱动程序和工具链，并确保其与 Kubernetes 节点环境兼容。
（2）升级难度高：更新GPU 驱动或依赖库时，可能影响正在运行的工作负载。
（3）资源调度不够灵活：缺乏针对GPU 的智能化调度策略，导致资源利用率偏低。
那么？如何解决上述问题？NVIDIA GPU Operator 或许是一种高效、标准化的 GPU 资源管理解决方案。
从技术角度而言，作为NVIDIA 精心打造的一款开源工具，NVIDIA GPU Operator 专为 Kubernetes 等云原生环境设计，旨在实现 GPU 资源的自动化部署与高效管理。该工具通过与 Kubernetes 平台的深度集成，为用户提供了标准化、智能化的解决方案，大幅简化了 GPU 软件栈的安装与配置过程。无论是在驱动程序的部署、库依赖的管理，还是在容器化环境中对 GPU 资源的无缝接入，NVIDIA GPU Operator 都展现出卓越的自动化能力和灵活性。
从业务角度而言，NVIDIA GPU Operator 的核心目标是优化云原生环境中 GPU 的资源利用效率，满足复杂分布式工作负载对高性能计算资源的严苛需求。通过自动化的方式消除传统手动管理的复杂性，该工具能够显著降低 GPU 集群的运维成本，同时支持更灵活、更动态的资源调度策略，从而为深度学习、高性能计算（HPC）以及数据密集型应用场景提供稳定、高效的计算支持。这使得 NVIDIA GPU Operator 成为现代云原生计算环境中不可或缺的关键技术之一。
通常，在Kubernetes 集群中，要充分发挥 GPU 的加速计算能力，需要对 GPU 资源进行精细化管理。传统上，这一过程涉及到多个环节的手工配置，包括安装 NVIDIA 驱动程序、配置容器运行时以支持 GPU、部署设备插件，以及建立监控体系。如图1所示，这一繁琐的过程不仅耗时费力，而且容易出错，阻碍了 GPU 资源在集群中的高效利用。
NVIDIA GPU Operator 的出现为这一问题提供了优雅的解决方案。作为一款基于 Kubernetes Operator 框架开发的开源工具，NVIDIA GPU Operator 将 GPU 资源管理自动化，并将其无缝集成到 Kubernetes 生态中，通过容器化所有相关组件，并利用 Kubernetes 的声明式配置和自愈能力，实现了 GPU 资源的自动化部署、配置和管理。具体可参考如下所示：
2. NVIDIA GPU Operator核心特性解析
作为一款基于Kubernetes Operator 框架开发的开源工具，NVIDIA GPU Operator 将 GPU 资源管理自动化，并将其无缝集成到 Kubernetes 生态中，通过容器化所有相关组件，并利用 Kubernetes 的声明式配置和自愈能力，实现了 GPU 资源的自动化部署、配置和管理。
2.1 GPU 驱动的自动化维护
NVIDIA GPU Operator 的一大核心功能是实现 GPU 驱动程序的自动化安装和维护，无需人工干预，以确保驱动程序始终保持最新状态并且正确配置，以便在任何时候为 Kubernetes 集群中的 GPU 工作节点提供稳定的支持。
2.2 GPU资源调度的丰富支持
GPU Operator 支持配置和管理多种高级 GPU 功能，以最大限度地提高资源利用率和满足不同工作负载需求：
（1） 虚拟GPU (vGPU)：
支持在多台虚拟机之间共享单个物理GPU，实现资源的最大化利用和灵活分配。vGPU 功能尤其适用于多租户环境或虚拟化基础设施，能够在共享资源的同时维持良好的性能和隔离性。
（2） 多实例GPU (MIG)：
MIG 技术允许将单个 GPU 划分为多个独立的逻辑实例，每个实例拥有专用的显存和计算资源。这种配置方式可以提升工作负载之间的隔离性，并显著提高资源利用效率，尤其适合运行多任务并发的环境，如模型微调或批量推理任务。
（3） GPU 时间分片：
支持在多个任务之间按时间分片使用GPU 资源，确保不同类型的工作负载在资源争用时能够公平且高效地共享 GPU。这种时间分片技术不仅提高了资源利用率，还为混合工作负载提供了动态分配的灵活性。
2.3 高性能通信与存储优化
NVIDIA GPU Operator 能够配置多个针对 GPU 通信与数据访问优化的功能，以支持数据密集型和高性能计算应用：
（1） GPUDirect RDMA（远程直接内存访问）：
通过GPUDirect RDMA，GPU 之间可以直接进行内存通信，无需经过 CPU 的干预。这种直接通信方式显著减少了延迟和处理开销，非常适用于需要跨节点高效数据传输的高性能计算 (HPC) 应用，例如分布式深度学习或大规模科学模拟。
（2） GPUDirect Storage：
GPUDirect Storage 允许 GPU 和存储设备之间实现直接数据传输，无需通过主机内存进行中转。这大幅提升了数据读取和处理效率，尤其在处理大规模数据集的应用场景中（如深度学习训练和数据分析），可以显著缩短数据加载时间。
（3） GDR Copy（GPUDirect RDMA Copy）：
GDR Copy 是基于 GPUDirect RDMA 的低延迟内存复制库，它允许 CPU 直接映射并访问 GPU 内存，从而优化了内存复制操作。这种增强内存管理的能力可以减少不必要的开销，进一步提升系统性能，对于实时计算任务尤为关键。
2.4 支持沙盒化工作负载运行
3. NVIDIA GPU Operator 解决了传统 GPU资源管理的那些痛点？
基于“资源管理”角度而言，NVIDIA GPU Operator 提供了一整套全面的功能，旨在优化 Kubernetes 环境下的 GPU 资源管理和调度，确保用户能够高效、安全地使用 GPU 算力资源。
3.1 自动维护GPU 设备
NVIDIA GPU Operator 具备强大的自动检测能力，能够快速识别集群中的 NVIDIA GPU 硬件设备，并根据用户预定义的策略自动进行配置和管理。这种自动化功能消除了手动检测和配置的繁琐流程，不仅降低了运维工作量，还能确保集群中的 GPU 设备始终以最佳状态运行，从而为复杂工作负载（如深度学习训练和高性能计算）提供稳定可靠的硬件支持。
3.2 容器化部署 GPU 相关组件
NVIDIA GPU Operator 将 GPU 驱动程序、设备插件和其他关键软件组件完全容器化。通过容器化方式，这些组件的安装、升级和维护变得更加简便灵活，无需手动干预。这种方式还保证了不同 Kubernetes 集群或环境中的一致性部署，极大地减少了因环境差异导致的问题，为 GPU 软件栈的高效管理提供了有力保障。
3.3 Kubernetes Device Plugin 集成
NVIDIA GPU Operator 集成了 Kubernetes Device Plugin，通过标准化的接口将 GPU 设备暴露给 Kubernetes 调度器。这样，调度器可以根据工作负载需求自动分配 GPU 资源，从而实现 GPU 的弹性使用和高效调度。对于需要 GPU 加速的 Pod，用户只需简单地在资源请求中指定 GPU 需求，Device Plugin 会负责完成底层资源的分配与调度。
3.4 支持自定义资源定义（CRD）
NVIDIA GPU Operator 利用 Kubernetes 的自定义资源定义（CRD）功能，允许用户通过声明式配置对 GPU 资源进行管理。通过 CRD，用户可以清晰地定义 GPU 资源的规格（如显存大小、类型）和状态（如运行状况、可用性）。这种声明式管理方式不仅提升了操作的直观性和可控性，还支持复杂环境下对 GPU 资源的精细化管控。
3.5 状态同步与故障恢复
NVIDIA GPU Operator 提供了持续的 GPU 状态监控能力，能够实时捕获 GPU 设备的运行状况，并在检测到故障或异常时自动触发恢复机制。例如，当某一节点的 GPU 资源出现故障时，GPU Operator 会尝试自动重启相关服务或重新分配资源，以最大限度减少对工作负载的影响。这种机制显著增强了 GPU 集群的稳定性和容灾能力，使其能够更好地支持生产环境中的高要求任务。
4. NVIDIA GPU Operator安装指南
通常情况下，要利用NVIDIA GPU Operator 的强大功能来管理 Kubernetes 集群中的 GPU 资源，在实际的场景中，我们需要遵循结构化的安装过程并满足某些先决条件。
4.1 前置条件
在 安装NVIDIA GPU Operator 之前，需确保所部署的环境满足以下基本要求，以确保能够顺利运行并充分发挥其功能。
（1）基础云原生平台
Kubernetes 集群版本：所使用的 Kubernetes 集群版本必须为 v1.18 或更高版本。这是因为 NVIDIA GPU Operator 依赖于 Kubernetes 的新特性和改进，较低版本可能无法兼容或支持某些关键功能。
（2）节点部署要求
配备NVIDIA GPU 的节点：确保集群中的节点配备有 NVIDIA GPU 设备，以满足高性能计算和加速任务的需求。
安装NVIDIA 驱动程序：每个 GPU 节点必须预先安装 NVIDIA 驱动程序。尽管 NVIDIA GPU Operator 可以自动执行驱动程序的安装和配置，建议在部署前手动验证驱动程序的正确安装和版本兼容性，以避免潜在的安装问题或驱动冲突。
（3）部署工具
Helm 包管理工具：部署 NVIDIA GPU Operator 所需的 Helm 工具包版本必须为 v3 或更高版本。Helm v3 提供了更好的安全性和功能性，能够更有效地管理 Kubernetes 应用的发布和更新。
当然，除了上述的基本特性之外，网络与存储配置、权限与安全配置以及环境依赖与兼容性也根据自己公司场景的特性进行酌情考虑。
4.2 安装及部署
总的来说，NVIDIA GPU Operator相对比较简单，以下为简要的操作步骤，具体：
（1）设置Helm 存储库。将 NVIDIA Helm 存储库添加到您的 Helm 配置中。
[lugalee@Labs ~ %]helm repo add nvidia https://nvidia.github.io/gpu-operator[lugalee@Labs ~ %]helm repo update
（2）为NVIDIA GPU Operator 创建专用命名空间：
[lugalee@Labs ~ %]kubectl create namespace gpu-operator-resourcesnamespace/gpu-operator-resources created
（3）使用Helm 在创建的命名空间中安装NVIDIA GPU Operator：
[lugalee@Labs~%] helm install gpu-operator nvidia/gpu-operator -n gpu-operator-resources --set operator.defaultRuntime=containerdW1206 14:29:42.500815 22462 warnings.go:70] spec.template.spec.affinity.nodeAffinity.preferredDuringSchedulingIgnoredDuringExecution[0].preference.matchExpressions[0].key: node-role.kubernetes.io/master is use "node-role.kubernetes.io/control-plane" insteadW1206 14:29:42.502748 22462 warnings.go:70] spec.template.spec.affinity.nodeAffinity.preferredDuringSchedulingIgnoredDuringExecution[0].preference.matchExpressions[0].key: node-role.kubernetes.io/master is use "node-role.kubernetes.io/control-plane" insteadNAME: gpu-operatorLAST DEPLOYED: Fri Dec 6 14:29:42 2024NAMESPACE: gpu-operator-resourcesSTATUS: deployedREVISION: 1TEST SUITE: None
（4）验证安装。检查已部署资源的状态以确保NVIDIA GPU Operator 正常运行：
[] kubectl get pods -n gpu-operator-resourcesNAME READY STATUS RESTARTS AGEgpu-operator-55566cdcc9-97htl 1/1 Running 0 27hgpu-operator-node-feature-discovery-gc-7f546fd4bc-fn84n 1/1 Running 0 27hgpu-operator-node-feature-discovery-master-8448c8896c-6zl6z 1/1 Running 0 27hgpu-operator-node-feature-discovery-worker-snxns 1/1 Running 0 27h
我们也可以通过 GUI看到NVIDIA GPU Operator 及其组件在 gpu-operator-resources 命名空间中运行。
至此， NVIDIA GPU Operator已部署安装完成，我们可以根据自己的实际业务情况进行应用。
综上所述，NVIDIA GPU Operator 为 Kubernetes 环境下的 GPU 资源调度和管理提供了一种高效、自动化的解决方案。通过集成 GPU 驱动程序、设备插件、监控工具等关键组件，实现了 GPU 软件栈的容器化部署与声明式管理，简化了传统 GPU 资源管理的复杂流程。
无论是基础的GPU 资源调度，还是支持虚拟 GPU (vGPU)、多实例 GPU (MIG)、GPUDirect 等高级功能，NVIDIA GPU Operator 都展现了其在功能全面性与易用性上的独特优势。同时，其自动化故障恢复与状态监控能力进一步提升了集群的稳定性与可用性。
因此，对于希望在云原生环境中充分释放GPU 性能潜力的用户而言，NVIDIA GPU Operator 不仅是一个工具，更是 GPU 资源调度技术进步的标志。
https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/gpu-sharing.html
https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/solutions/resources/documents1/Technical-Brief-Multi-Instance-GPU-NVIDIA-Virtual-Compute-Server.pdf
https://gitlab.com/nvidia/kubernetes/gpu-operator
有任何问题可点击“阅读原文”到社区原文下留言
觉得本文有用，请转发、点赞或点击“在看”，让更多同行看到
资料/文章推荐：
欢迎关注社区 “GPU”技术主题 ，将会不断更新优质资料、文章。地址：https://www.talkwithtrend.com/Topic/111987
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点，不代表社区立场
