01
GPU集群概述
GPU计算发展历程 · AI/HPC应用 · A100/H100/MI250对比
入门硬件
02
集群硬件架构
服务器组成 · NVLink/NVSwitch · InfiniBand vs RoCE
硬件网络
03
GPU驱动与CUDA生态
驱动安装 · CUDA Toolkit · cuDNN/TensorRT集成
软件CUDA
04
容器化GPU环境
Docker+NVIDIA Toolkit · K8s设备插件 · Singularity
容器K8s
05
资源调度基础
队列/分区/节点 · Slurm入门 · 作业提交与监控
调度Slurm
06
Slurm进阶配置
slurm.conf详解 · GPU GRES · 分区与QoS
Slurm配置
07
作业调度策略
FIFO/回填 · 抢占式 · Fairshare公平共享
策略调度
08
GPU资源隔离
MIG技术原理 · MIG配置 · vGPU虚拟化
MIG虚拟化
09
作业性能监控
nvidia-smi/dcgm · Prometheus+Grafana · Profiling
监控可观测
10
多租户管理
用户/账户管理 · 优先级与限制 · 配额Associations
多租户管理
11
集群网络优化
NCCL/RCCL · 拓扑感知调度 · 数据/模型并行通信
网络NCCL
12
分布式训练调度
PyTorch DDP/Horovod · 弹性训练 · 断点续训
分布式训练
13
混合精度训练
FP16/BF16/FP8 · AMP · Tensor Core优化
精度性能
14
存储系统集成
Lustre/GPFS · MinIO/Ceph · 数据缓存预加载
存储并行FS
15
作业依赖与工作流
DAG依赖 · Slurm作业数组 · Airflow集成
工作流DAG
16
GPU集群节能
功耗管理(nvidia-smi -pl) · DVFS · 绿色调度
节能DVFS
17
集群安全与审计
LDAP/SSSD认证 · 作业审计 · 容器安全扫描
安全审计
18
故障排查实战
Xid/ECC错误 · 节点健康检查 · 根因分析
排障运维
19
性能基准测试
HPL/HPCG · MLPerf · ib_write_bw网络延迟
基准性能
20
集群扩缩容
节点添加/移除 · Slurm动态节点 · 云上弹性伸缩
弹性运维
21
作业调度API开发
Slurm REST API · Python自动化 · Web调度面板
API开发
22
异构计算调度
CPU+GPU+DPU协同 · FPGA/ASIC · 资源异构感知
异构DPU
23
大规模训练优化
3D并行(数据/模型/流水线) · ZeRO · 梯度压缩
并行ZeRO
24
推理服务部署
Triton Inference Server · TensorRT · 动态批处理
推理部署
25
集群成本分析
TCO模型 · Spot/抢占式实例 · 成本优化策略
成本优化
26
多云GPU管理
K8s多云集群 · Cluster API · 资源联邦调度
多云联邦
27
作业可视化分析
时间线可视化 · GPU热力图 · 资源碎片分析
可视化分析
28
AI训练平台搭建
Kubeflow MLOps · JupyterHub · 模型注册/版本
平台MLOps
29
集群高可用设计
控制节点HA · 作业队列持久化 · 故障自动迁移
高可用HA
30
综合实战项目
完整调度系统：资源管理+作业调度+监控告警+用户门户
实战项目