第1章
GPU集群概述
GPU计算发展史 · GPU vs CPU · 集群应用场景 (AI训练/科学计算/渲染)
基础概念
第2章
硬件选型与架构
主流GPU对比 (A100/H100/MI250) · 服务器选型 · NVLink/InfiniBand
硬件拓扑
第3章
操作系统与驱动
Ubuntu 22.04 · NVIDIA驱动 · CUDA Toolkit · nvidia-smi详解
环境驱动
第4章
容器化环境搭建
Docker · NVIDIA Container Toolkit · 官方镜像 · Dockerfile最佳实践
容器Docker
第5章
集群管理工具Slurm
Slurm架构 · 安装配置 · 分区(Partition)与QoS管理
调度Slurm
第6章
Slurm作业提交
sbatch/srun/salloc · 作业脚本 · GPU资源请求 · 作业依赖与数组作业
作业脚本
第7章
分布式训练框架基础
数据并行 · 模型并行 · 流水线并行 · ZeRO/FSDP概念解析
分布式并行
第8章
NCCL库详解
NCCL安装 · Ring/AllReduce · 环境变量调优 (NCCL_DEBUG等)
通信NCCL
第9章
MPI与GPU通信
OpenMPI · MPI+CUDA集成 · MPI_Allreduce · osu-micro-benchmarks
MPI带宽
第10章
PyTorch分布式训练
torch.distributed · DDP实战 · torchrun启动器
PyTorchDDP
第11章
TensorFlow分布式训练
tf.distribute.Strategy · MirroredStrategy / MultiWorkerMirroredStrategy
TensorFlow策略
第12章
深度学习框架性能调优
DataLoader优化 · 混合精度(AMP) · 梯度累积
调优AMP
第13章
GPU显存优化
显存监控(gpustat) · 梯度检查点 · 显存碎片整理
显存优化
第14章
网络性能调优
InfiniBand配置 · RDMA/GPUDirect RDMA · ib_write_bw
网络RDMA
第15章
存储系统与IO优化
并行文件系统(Lustre/GPFS) · NVMe Cache · 数据加载流水线
存储IO
第16章
集群监控与告警
Prometheus+Grafana · Node Exporter · 自定义告警规则
监控告警
第17章
日志与审计
ELK/EFK · 作业日志管理 · 用户资源使用审计
日志审计
第18章
作业调度策略
公平调度(Fairshare) · 抢占(Preemption) · 回填(Backfill)
调度策略
第19章
多租户与资源隔离
cgroup GPU · MIG配置 · Kubernetes GPU调度
多租户隔离
第20章
集群安全
LDAP/SSH Key · VLAN/Firewall · 容器安全(镜像扫描/Seccomp)
安全认证
第21章
故障排查与诊断
GPU错误(ECC/Xid) · 节点自动隔离 · 作业失败分析
故障诊断
第22章
性能基准测试
MLPerf · 自定义基准测试 · 集群性能报告
基准MLPerf
第23章
集群扩缩容
节点添加/移除 · Slurm动态节点 · 云上弹性集群
弹性扩容
第24章
GPU虚拟化
vGPU技术 · GPU直通(Passthrough) · vGPU vs MIG对比
虚拟化vGPU
第25章
深度学习编译器
TVM/XLA原理 · 算子融合 · 图优化实战
编译器TVM
第26章
大规模训练稳定性
梯度爆炸/消失 · 模型并行通信优化 · Checkpoint与容错恢复
稳定性容错
第27章
集群成本优化
Spot实例 · 任务优先级调度 · 资源碎片整理
成本Spot
第28章
多集群管理
联邦集群 · 跨集群作业调度 · 统一监控面板
多集群联邦
第29章
GPU集群运维自动化
Ansible · CI/CD流水线 · Golden Image管理
自动化Ansible
第30章
前沿趋势与展望
Grace Hopper · CXL互连 · 量子+GPU · 绿色计算与液冷
前沿趋势