01
GPU集群概述
GPU计算发展史 · GPU vs CPU架构差异 · 集群拓扑 (NVLink/InfiniBand) · 性能指标 (FLOPS/带宽/延迟)
基础拓扑
02
CUDA编程基础
Host/Device模型 · Grid/Block/Thread层次 · 内存层次 · 第一个CUDA程序
CUDA入门
03
CUDA内存优化
全局内存合并 · 共享内存bank conflict · 常量/纹理内存 · Unified Memory技巧
内存性能
04
CUDA流与并发
Stream概念 · 多流并发 · Event同步 · 异步传输与计算重叠
并发异步
05
CUDA内核优化
Occupancy计算 · Warp发散 · 指令级并行 · 循环展开与预取
内核调优
06
cuBLAS与cuDNN库
cuBLAS矩阵乘法调优 · cuDNN卷积算法 · 混合精度 (FP16/BF16) · Tensor Core
库混合精度
07
NCCL通信库
初始化与拓扑感知 · AllReduce/Broadcast/AllGather · Ring/Tree算法 · 调优参数
通信NCCL
08
MPI与GPU互操作
MPI+GPU编程 · GPU-aware MPI · CUDA IPC / GPUDirect RDMA · 点对点/集合通信
MPI互操作
09
GPU集群网络架构
InfiniBand vs RoCE v2 · Fat-Tree/Dragonfly · 拥塞控制 · 网络基准测试
网络架构
10
分布式训练框架
数据并行 · 模型并行 · 流水线并行 · 混合并行策略
分布式并行
11
PyTorch DDP分布式训练
DistributedDataParallel原理 · NCCL后端 · 梯度累积与同步 · Checkpointing
PyTorchDDP
12
TensorFlow分布式策略
MirroredStrategy · MultiWorkerMirroredStrategy · TPUStrategy · 参数服务器
TensorFlow策略
13
Horovod分布式框架
架构与安装 · 环型AllReduce · 梯度压缩/稀疏化 · 弹性训练
Horovod弹性
14
GPU集群作业调度
Slurm调度系统 · GPU资源请求/绑定 · 优先级与抢占 · 异构调度
调度Slurm
15
容器化GPU环境
Docker+NVIDIA Container Toolkit · K8s+GPU Operator · Singularity · 环境一致性
容器K8s
16
GPU集群监控 & profiling
NVIDIA SMI/DCGM · Nsight Systems · Nsight Compute · Prometheus+Grafana
监控Profiling
17
性能基准测试
HPL (Linpack) · HPCG · MLPerf · 自定义微基准测试
基准HPL
18
GPU集群存储系统
Lustre并行文件系统 · NVMe over Fabric · 缓存策略 (Alluxio/BeeGFS) · I/O优化
存储I/O
19
混合精度训练
FP16/BF16/INT8 · Loss Scaling · AMP · 训练稳定性保障
混合精度AMP
20
大规模训练稳定性
梯度裁剪 · 学习率预热 · BatchNorm同步 · 随机种子管理
稳定性调参
21
模型并行与张量切片
Megatron-LM张量并行 · 1D/2D切片 · 通信计算重叠 · 序列并行
模型并行Megatron
22
流水线并行
GPipe/PipeDream · 1F1B调度 · 气泡优化 · 自动流水线划分
流水线1F1B
23
专家混合模型 (MoE)
MoE架构 · Top-k门控 · 负载均衡损失 · 分布式MoE训练
MoE稀疏
24
GPU集群功耗管理
功耗墙与热节流 · DVFS · 功耗感知调度 · 绿色计算
功耗绿色
25
GPU故障检测与容错
ECC/CEU检测 · Checkpoint · 弹性训练恢复 · 故障预测
容错可靠性
26
多节点通信优化
通信计算重叠 · 梯度压缩 · 梯度累积 · 异步SGD
通信异步
27
GPU集群网络调优
RDMA配置 · 拥塞控制 (DCQCN/ECN) · MTU/流控 · 拓扑感知调度
网络调优RDMA
28
深度学习推理优化
TensorRT · INT8/FP8量化 · 多GPU推理 · 动态批处理
推理TensorRT
29
GPU集群成本优化
Spot/抢占式实例 · 弹性扩缩容 · 预留实例 · 成本监控
成本云
30
案例实战
LLM训练调优 · 计算机视觉 · 科学计算 (分子动力学/CFD) · 方法论总结
实战综合