01
GPU集群概述
GPU计算的发展历程 · 典型架构 · AI训练与推理核心作用
入门架构
02
资源调度基础
调度器职责 · FIFO/公平/优先级策略 · 队列管理
核心调度
03
主流调度框架对比
K8s+Volcano · Slurm · YARN · Univa Grid Engine
对比框架
04
Kubernetes GPU管理
NVIDIA GPU Operator · 设备插件 · MIG配置
K8sMIG
05
Volcano调度引擎
架构设计 · Queue/PodGroup · Gang Scheduling
Volcano组调度
06
GPU拓扑感知调度
NVLink/NVSwitch · NUMA亲和性 · 拓扑放置策略
拓扑性能
07
动态资源分配
显存/算力切分 · Binpack/Spread · 碎片整理
弹性资源
08
任务优先级与抢占
优先级队列 · Preemption · Backfill回填
抢占优化
09
弹性训练调度
弹性训练概念 · torch.distributed.elastic · 动态扩缩容
弹性分布式
10
数据本地性调度
数据缓存/预加载 · RDMA感知 · 存储计算协同
数据RDMA
11
GPU利用率监控
DCGM指标 · Prometheus + Grafana监控体系
监控运维
12
性能分析工具
Nsight Systems/Compute · PyTorch Profiler
调优Profiling
13
常见性能瓶颈
CPU-GPU传输 · 显存带宽 · Kernel Launch · 负载不均衡
瓶颈分析
14
数据加载优化
DataLoader多进程 · 内存映射 · NVIDIA DALI
数据DALI
15
混合精度训练
FP16/BF16原理 · AMP · Loss Scaling
精度加速
16
梯度累积与梯度压缩
梯度累积 · 梯度压缩 · AllReduce优化
通信梯度
17
模型并行策略
数据/模型/流水线/张量并行原理与选择
并行大模型
18
ZeRO优化器
ZeRO Stage 1/2/3 · ZeRO-Offload · Infinity
显存ZeRO
19
通信优化
NCCL调优 · Ring/Tree AllReduce · 拓扑感知通信
NCCL通信
20
作业排队与等待优化
作业预估/回填 · 资源预留 · 公平性与吞吐量
排队吞吐
21
多租户隔离
Namespace · cgroup · GPU显存隔离 · QoS
隔离租户
22
集群联邦调度
多集群统一管理 · 联邦策略 · 跨集群迁移
联邦多集群
23
Spot实例与抢占式实例
Spot策略 · 断点续训 · Checkpoint机制
Spot成本
24
成本优化
Spot/按需混合 · 利用率与成本权衡 · 自动扩缩容
成本混合
25
AutoML与超参搜索调度
超参搜索优化 · 并行搜索 · 早停机制
AutoML搜索
26
推理服务调度
弹性伸缩 · 模型热加载 · Dynamic Batching
推理在线
27
故障恢复与高可用
节点故障检测 · 自动重调度 · Checkpoint容错
高可用容错
28
调度策略调优案例
互联网AI训练集群 · 自动驾驶推理集群优化
案例实战
29
未来趋势
Serverless GPU · 边缘调度 · 量子+AI调度
前沿趋势
30
课程总结与实战项目
搭建简易GPU调度器 · 综合调优项目 · 回顾展望
项目总结