1. GPU亲和性概述
1.1 什么是GPU亲和性
GPU亲和性（GPU Affinity） 是指将计算任务（进程、线程或容器）绑定到特定GPU设备或GPU上的特定计算单元（如SM、CUDA Core）的能力。它决定了任务与GPU资源之间的物理映射关系，直接影响数据传输路径、缓存命中率和执行延迟。
核心定义： GPU亲和性 = 任务 → GPU资源（设备/SM/内存）的绑定策略，旨在最小化跨设备通信开销，最大化局部性收益。
| 维度 | 说明 | 典型粒度 |
|---|---|---|
| 设备级亲和性 | 任务绑定到特定物理GPU（如GPU 0、GPU 1） | 进程/容器 |
| NUMA节点亲和性 | 任务绑定到与GPU直连的CPU NUMA节点 | 线程/进程 |
| SM级亲和性 | CUDA流/任务绑定到GPU内特定SM子集 | CUDA Stream/Kernel |
| 内存亲和性 | 数据分配在离计算单元最近的物理内存 | 内存页/缓冲区 |
1.2 为什么需要亲和性调度
在多GPU系统（如DGX A100/H100、HGX平台）中，不正确的GPU分配会导致严重的性能退化。以下是必须实施亲和性调度的三大驱动力：
- 避免跨PCIe/NVLink通信瓶颈： 任务绑定到非本地GPU时，数据必须经过PCIe交换机或跨NVLink跳转，延迟增加2~10倍。
- 消除NUMA远程内存访问： CPU与GPU通过PCIe直连时，若CPU线程运行在非本地NUMA节点，内存访问延迟从~100ns飙升到~300ns。
- 防止GPU资源争抢： 多个任务共享同一GPU时，SM、显存带宽、L2缓存产生竞争，导致吞吐量下降30%~70%。
实战经验： 在8卡DGX A100上，未配置亲和性的训练任务相比最优绑定方案，吞吐量损失可达40%以上。亲和性调度是“零成本”优化——只需正确配置，无需修改代码。
1.3 性能瓶颈分析
GPU亲和性相关的性能瓶颈通常表现为以下四种模式。通过NVIDIA Nsight Systems或nvidia-smi topo -m可快速定位：
| 瓶颈类型 | 症状 | 根因 | 性能影响 |
|---|---|---|---|
| PCIe带宽瓶颈 | GPU利用率低，PCIe链路饱和 | 任务跨PCIe交换机访问远端GPU | 吞吐量下降30%~50% |
| NUMA远程访问 | CPU-GPU拷贝延迟高 | CPU线程与GPU不在同一NUMA域 | 延迟增加2~3倍 |
| NVLink跳转过多 | 跨GPU通信延迟波动大 | 任务分配未遵循NVLink拓扑 | 通信效率下降40%~60% |
| SM资源争抢 | kernel执行时间不稳定 | 多个流/进程共享同一SM子集 | 尾延迟增加5~10倍 |
1.4 典型场景对比
以下对比展示亲和性调度在分布式训练和推理服务中的实际效果：
| 场景 | 未优化（无亲和性） | 优化后（亲和性绑定） | 提升幅度 |
|---|---|---|---|
| 8卡DDP训练 | 跨PCIe交换机通信，allreduce延迟高 | NVLink域内通信，跳数≤1 | 吞吐量+35%~50% |
| 多实例推理 | 多个推理进程争抢同一GPU SM | MIG分区 + CPU NUMA绑定 | P99延迟降低60% |
| 数据预处理 | CPU随机分配，跨NUMA拷贝 | CPU线程绑定到GPU直连NUMA | 预处理吞吐量+2.5x |
常见误区： 不要认为“GPU数量多就自动快”。在多GPU系统中，错误的亲和性配置可能使8卡性能不如4卡正确绑定的方案。始终先做拓扑分析，再做任务分配。