4. GPU节点部署与验证

在 Kubernetes 集群中成功接入 GPU 算力，需要完成三个关键步骤：节点标记（让调度器识别 GPU 节点）、设备插件部署（将 GPU 资源注册到 kubelet）、可调度性验证（确认 Pod 能正确申请并使用 GPU）。本章将按照生产环境标准，逐步演示完整流程。

4.1 节点打标：为 GPU 节点添加专用标签

Kubernetes 调度器默认不会将 GPU 工作负载分配到非 GPU 节点。通过为 GPU 节点添加 node-label 和 taint，可以实现精准调度与资源隔离。

4.1.1 添加节点标签

使用 kubectl label 命令为 GPU 节点打上标识标签，推荐使用 accelerator 作为通用键名：

# 为节点 gpu-node-1 添加标签
kubectl label node gpu-node-1 accelerator=nvidia

# 验证标签是否生效
kubectl get node gpu-node-1 --show-labels

4.1.2 设置节点污点（Taint）

为防止非 GPU 工作负载被错误调度到 GPU 节点，建议添加污点：

# 添加污点，效果为 NoSchedule
kubectl taint node gpu-node-1 nvidia.com/gpu=present:NoSchedule

# 查看节点污点状态
kubectl describe node gpu-node-1 | grep Taints

4.2 部署 NVIDIA Device Plugin

NVIDIA Device Plugin 是 Kubernetes 与 GPU 硬件之间的桥梁。它作为 DaemonSet 运行在每个 GPU 节点上，负责将 GPU 资源注册到 kubelet 的节点状态中。

4.2.1 前置条件检查

在部署 Device Plugin 之前，请确认以下条件已满足：

4.2.2 部署 Device Plugin DaemonSet

NVIDIA 官方提供了稳定的 YAML 部署文件。推荐使用 v0.14.0 及以上版本：

# 创建资源对象
kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.0/nvidia-device-plugin.yml

# 检查 DaemonSet 运行状态
kubectl get daemonset -n kube-system | grep nvidia

# 查看 Pod 日志，确认注册成功
kubectl logs -n kube-system -l name=nvidia-device-plugin

4.2.3 验证资源注册

Device Plugin 启动后，kubelet 会更新节点状态。通过以下命令确认 GPU 资源已注册：

# 查看节点可分配资源
kubectl describe node gpu-node-1 | grep -A 5 "Capacity"

# 预期输出示例
Capacity:
  cpu:                32
  memory:             131934848Ki
  nvidia.com/gpu:     4
  pods:               110

4.3 验证 GPU 可调度性

完成节点标记和设备插件部署后，需要通过实际工作负载验证 GPU 能否被正确调度和使用。

4.3.1 创建测试 Pod

使用 NVIDIA 官方提供的 CUDA 示例镜像，申请 1 个 GPU 资源：

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: gpu-test-pod
spec:
  nodeSelector:
    accelerator: nvidia
  tolerations:
  - key: nvidia.com/gpu
    operator: Exists
    effect: NoSchedule
  containers:
  - name: cuda-container
    image: nvidia/cuda:12.2.0-base-ubuntu22.04
    command: ["nvidia-smi"]
    resources:
      limits:
        nvidia.com/gpu: 1
EOF

4.3.2 检查 Pod 运行结果

# 查看 Pod 状态
kubectl get pod gpu-test-pod

# 查看 Pod 日志（应包含 nvidia-smi 输出）
kubectl logs gpu-test-pod

4.3.3 多 GPU 分配验证

对于需要多 GPU 的工作负载，可以通过调整 nvidia.com/gpu 的 limits 值进行测试：

# 申请 2 个 GPU 的测试 Pod
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: gpu-test-pod-2gpu
spec:
  nodeSelector:
    accelerator: nvidia
  tolerations:
  - key: nvidia.com/gpu
    operator: Exists
    effect: NoSchedule
  containers:
  - name: cuda-container
    image: nvidia/cuda:12.2.0-base-ubuntu22.04
    command: ["nvidia-smi", "--query-gpu=index,name", "--format=csv"]
    resources:
      limits:
        nvidia.com/gpu: 2
EOF

4.4 整体部署流程示意图

下图展示了从节点打标到 GPU 可调度验证的完整流程：

4.5 验证清单总结

完成 GPU 节点部署后，建议使用以下清单进行最终确认：