📚 课程目录第4章 GPU资源管理概述

GPU资源管理概述：资源管理目标、挑战与策略

当计算任务从单机单卡扩展到多机多卡集群时，GPU资源不再是“一块插在服务器上的板卡”，而是一种需要被统一编目、调度、隔离和回收的集群级稀缺资源。GPU资源管理的本质，是在性能、利用率、公平性、稳定性四个目标之间寻找动态平衡。理解这一章的核心概念，是后续学习Kubernetes Device Plugin、NVIDIA MPS、时间切片等具体技术的前提。

4.1 资源管理的四个核心目标

GPU资源管理并非“把卡分出去”这么简单。一个成熟的资源管理系统，必须同时回应以下四个问题：

目标维度	核心问题	典型指标	失败后果
性能	任务能否获得足够的算力与显存？	MFU（模型浮点利用率）、显存占用率	训练吞吐下降、OOM中断
利用率	GPU空闲时间是否被压缩？	集群平均GPU利用率、碎片率	算力成本浪费、排队时间增长
公平性	多个团队/任务是否按配额获得资源？	配额满足率、等待时间方差	团队间冲突、优先级倒挂
稳定性	故障域是否可控？显存/算力是否隔离？	故障恢复时间、邻居干扰次数	单任务故障扩散为集群事故

这四个目标之间存在天然张力：追求极致利用率（如将一张卡切给多个小任务）可能牺牲性能隔离；强调公平性则可能降低整体吞吐。资源管理策略的本质，就是针对具体业务阶段（开发调试、大规模训练、推理服务）选择不同的权衡点。

实践提示：在搭建GPU资源池之前，先明确你的首要矛盾。如果是内部AI平台，通常“利用率”和“公平性”优先；如果是面向延迟敏感的推理服务，则“稳定性”和“性能”不可妥协。

4.2 资源管理面临的核心挑战

GPU资源管理之所以困难，是因为它同时面临硬件形态特殊、任务需求多样、故障域复杂三重挑战。下图展示了资源从“物理设备”到“可调度单元”过程中需要解决的关键问题：

上图揭示了资源管理的核心矛盾：左侧物理资源是异构、静态、不可切割的，而右侧业务需求是多样、动态、需要细粒度分配的。中间的资源抽象层必须解决以下四个具体挑战：

异构性建模困难：A100与T4的算力差距可达10倍以上，显存从16GB到80GB不等。简单的“按卡数分配”会导致算力浪费或任务无法运行。需要引入资源画像（显存大小、算力等级、卡间互联带宽）来精确匹配。
显存与算力切分的不可分割性：GPU不像CPU可以按核分配，显存和算力在物理上绑定在同一块卡上。一个任务即使只需要2GB显存，也必须占用整张卡的调度槽位，导致碎片化问题。
多租户隔离不足：默认情况下，同一张GPU上的多个进程共享显存和算力，一个任务的非法显存访问或算力耗尽（如死循环）会拖垮邻居任务。需要MPS（算力隔离）或时间切片（显存隔离）等额外机制。
拓扑感知缺失：8卡训练任务需要NVLink全互联，如果调度器将任务分散在不同节点的GPU上，训练性能可能下降50%以上。资源管理必须感知节点内/节点间拓扑。

4.3 资源管理策略全景

针对上述挑战，业界形成了“先抽象、再切分、后调度”的三层策略体系。下面按从底层到顶层的顺序梳理：

策略一：资源抽象与量化

将所有GPU统一抽象为“资源单位”。最简单的做法是以“卡”为单位，但更精细的做法是引入显存分片和算力分片两个维度。例如，NVIDIA MPS可以将一张A100的算力按比例（如50%、30%、20%）切分给不同任务，同时显存按实际需求分配。

# 资源抽象示例：将一张A100抽象为4个可调度单元
# 每个单元包含：显存配额 + 算力比例 + 内存带宽限制
gpu_unit:
  - name: "a100-slice-1"
    memory_mb: 10240
    compute_percent: 25
    memory_bandwidth_percent: 25
  - name: "a100-slice-2"
    memory_mb: 20480
    compute_percent: 50
    memory_bandwidth_percent: 50

策略二：调度策略选择

调度器决定“哪个任务放到哪块GPU上”。常见的策略包括：

Binpack（装箱）：优先将任务堆叠到已使用的节点上，以空出更多整节点供大型任务使用。适合大任务优先的场景。
Spread（扩散）：将任务分散到不同节点，降低单点故障影响，但会增加碎片。适合高可用优先的推理服务。
拓扑感知调度：在Binpack基础上，优先选择满足NVLink/PCIe拓扑约束的卡组。例如，Kubernetes的NVIDIA Topology Manager会检查节点上是否有足够空闲的、位于同一NUMA域或同一NVLink域的GPU。

  关键参数：调度器需要感知每个GPU的“当前可用显存”和“当前算力负载”。仅看“是否空闲”是不够的——一张卡上可能已经运行了3个MPS分片，剩余算力只有20%。因此，资源管理系统必须实时采集每个GPU的nvidia-smi指标，并维护一个动态资源台账。

策略三：隔离与配额管理

隔离策略决定了任务之间的“防火墙”强度。从弱到强排列：

进程级隔离（默认）：仅靠CUDA上下文隔离，显存越界可能直接导致GPU挂起。
MPS算力隔离：通过NVIDIA MPS服务限制每个任务的算力占比，防止算力争抢。
时间切片：将GPU时间片轮流分配给不同任务，适合显存占用小但需要完整算力的推理任务。
硬件虚拟化（vGPU/SR-IOV）：在虚拟化层隔离显存和算力，隔离性最强但性能损耗较大。

4.4 案例复盘：一个典型的资源分配失误

某AI团队在内部集群上同时运行两个任务：一个8卡的大模型训练任务（每卡需要40GB显存），以及20个轻量级批量推理任务（每个仅需4GB显存）。管理员将所有GPU按“整卡”方式分配，导致推理任务占用了20张卡，而训练任务只能等待剩余的8张卡凑齐。最终集群GPU利用率仅为45%，训练任务排队超过2小时。

问题分析：

未启用显存分片：推理任务本可以共享一张卡（每张A100可容纳10个4GB任务），却占用了20张物理卡。
调度策略错误：应使用Binpack + 显存分片，将推理任务压缩到2~3张卡上，释放出16~18张卡供训练任务使用。
缺少优先级队列：训练任务应具有更高优先级，在资源不足时抢占推理任务。

常见误区：不要以为“GPU利用率高”就等于“资源管理好”。如果所有任务都挤在少量GPU上，虽然利用率高，但单个任务的性能可能严重下降（算力争抢）。正确的目标是在满足任务SLA的前提下，最大化集群整体吞吐。利用率只是手段，不是目的。

改进后的策略：

# 调度策略配置示意
scheduler:
  policy: "binpack"
  enable_mps: true
  enable_time_slicing: false
  resource_quota:
    "ai-lab/training":   # 训练团队配额
      gpu_memory: 320GB
      priority: 100
    "ai-lab/inference":  # 推理团队配额
      gpu_memory: 64GB
      priority: 50
  topology_aware: true   # 开启NVLink拓扑感知

调整后，推理任务通过MPS分片共享2张A100，训练任务获得完整的8张A100（NVLink全互联），集群整体利用率提升至82%，训练任务排队时间缩短至10分钟以内。这个案例说明：资源管理的核心不是“分卡”，而是“分显存、分算力、分优先级、分拓扑”。

总结而言，GPU资源管理是一个“目标驱动、策略分层、持续调优”的过程。首先明确业务对性能、利用率、公平性、稳定性的权重，然后选择合适的抽象粒度（整卡/分片）、调度策略（Binpack/Spread/拓扑感知）和隔离机制（MPS/时间切片/vGPU），最后通过监控数据持续调整配额与优先级。没有一种策略组合适用于所有场景，只有理解了底层硬件特性与上层业务需求之间的映射关系，才能设计出真正高效的GPU资源池。