课程导入：GPU集群任务调度与亲和性优化的背景与价值
学习目标
完成本章学习后，你将能够：
- 理解GPU集群调度面临的核心挑战，包括资源碎片化、多租户争抢与异构算力适配问题；
- 掌握亲和性（Affinity）与反亲和性（Anti-Affinity）的基本概念，区分其在节点级、拓扑级与任务级的不同作用；li>
- 建立从“单卡可用”到“集群最优”的调度思维转变，明确调度器在AI基础设施中的核心地位；
- 识别GPU集群调度中的典型性能陷阱，为后续章节学习奠定问题框架。
课程结构概览
本课程共30章，按“基础→进阶→实战→调优”四阶段递进。第1~5章聚焦调度基础与GPU特性；第6~12章深入Kubernetes原生调度与扩展机制；第13~20章讲解Volcano、Kueue等专业调度器及拓扑感知调度；第21~26章覆盖大模型训练、推理等场景的亲和性实战；第27~30章则围绕性能分析、故障排查与生产环境最佳实践展开。各章之间既有逻辑递进，又可作为独立参考手册使用。
GPU集群调度与亲和性优化的背景
过去十年，AI模型规模增长了数万倍。以GPT-4为例，其训练需要数千张GPU连续运行数月。这种超大规模训练不再是单机多卡能够承载，而是依赖由数千节点构成的GPU集群。与此同时，集群中往往同时运行着多种负载：小规模的推理服务、中规模的微调任务、大规模的预训练作业，以及数据预处理、模型评估等辅助任务。这些负载对GPU资源的需求各不相同，有的需要数毫秒级延迟响应，有的则能容忍数小时排队。
这种混合负载场景给调度系统带来了三个根本性挑战：
- 资源异构性：集群中可能混有A100、H100、V100甚至国产加速卡，不同GPU的显存容量、计算能力、互联带宽差异巨大，调度器必须感知这些差异才能做出合理分配；
- 拓扑敏感性：GPU之间的通信并非对等。以NVIDIA HGX平台为例，同一节点内GPU通过NVLink全互联，带宽可达900GB/s，而跨节点通信依赖InfiniBand或RoCE网络，带宽通常不超过400Gb/s（约50GB/s）。这种数量级的差异意味着“任务被调度到哪里”直接决定了训练效率；
- 动态性与竞争：集群资源状态时刻变化，任务不断到达和完成，多个租户或团队共享同一集群时，调度策略还需要考虑公平性、优先级和配额。
下图展示了GPU集群调度中资源分配与亲和性决策的核心关系：
为什么亲和性优化如此重要
亲和性（Affinity）指的是调度器将任务放置在与其有紧密关联资源附近的能力。在GPU集群中，这种“关联”体现在多个维度：
| 亲和性类型 | 作用层级 | 典型收益 | 代价/风险 |
|---|---|---|---|
| 节点亲和性 | 节点（服务器） | 利用NVLink高速互联，减少跨节点通信 | 可能造成节点资源碎片化 |
| 拓扑亲和性 | 机架/交换机 | 避免网络收敛比导致的通信瓶颈 | 限制调度灵活性 |
| 任务亲和性 | Pod/任务 | 将数据并行worker放置在一起，降低同步开销 | 故障域集中，可用性下降 |
| 反亲和性 | Pod/任务 | 分散关键服务，避免单点故障 | 可能增加通信距离 |
以GPT-4这类采用Megatron-Turing式混合并行的大模型训练为例，其通信模式包含三种：张量并行（Tensor Parallel）需要在每步迭代中多次All-Reduce，通信量极大，必须依赖节点内NVLink；流水线并行（Pipeline Parallel）通信频率较低但数据量较大，适合跨节点；数据并行（Data Parallel）则每步同步梯度，通信量与模型大小成正比。如果调度器不了解这些通信模式，将同一张量并行组内的GPU分散到不同节点，训练性能可能下降5~10倍。
典型场景与误区
课程价值与学习路径
掌握GPU集群调度与亲和性优化，不仅是技术能力的提升，更是AI基础设施成本优化的关键杠杆。在同等硬件投入下，优秀的调度策略可以提升30%~50%的有效算力利用率。本课程将从Kubernetes原生调度器出发，逐步深入到Volcano、Kueue等专业调度框架，结合NVIDIA拓扑感知、RDMA网络优化等真实案例，帮助你构建从理论到实战的完整知识体系。每一章都会提供可操作的配置示例、性能对比数据和排障思路，确保你在自己的集群中能够落地实践。