01
吞吐量基础概念
什么是训练吞吐量、为什么重要、衡量指标 (samples/sec, tokens/sec)
基础指标
02
硬件选型与配置
GPU选型 (A100, H100, 4090) · CPU与内存配比 · NVLink/NVSwitch
硬件GPU
03
数据加载优化
DataLoader原理 · num_workers · prefetch_factor · 内存映射文件
数据IO
04
数据预处理加速
在线vs离线预处理 · WebDataset · TFRecord/RecordIO · 缓存策略
预处理加速
05
混合精度训练 (AMP)
FP16/BF16原理 · torch.cuda.amp · 损失缩放 · 梯度裁剪
精度AMP
06
梯度累积
原理与实现 · 何时使用 · Batch Size影响 · 同步BatchNorm配合
梯度累积
07
分布式训练基础
数据并行 (DDP) · Ring-AllReduce · NCCL后端配置
分布式DDP
08
分布式训练进阶
FSDP · 张量并行 · 流水线并行 · 序列并行
FSDP并行
09
梯度检查点
原理 · 实现方式 · 计算与内存权衡 · 适用场景
内存检查点
10
激活值压缩与重计算
Compressible Activation · 选择性重计算 · 内存优化策略
激活压缩
11
编译器优化
torch.compile · Inductor后端 · 动态shape · 编译缓存
编译JIT
12
算子融合
Fused AdamW · Fused LayerNorm · Flash Attention · Fused Kernels
算子融合
13
Flash Attention系列
FlashAttention-1/2/3原理 · 内存访问优化 · IO感知计算
AttentionIO
14
PageAttention与vLLM
PagedAttention原理 · KV Cache管理 · vLLM推理加速
推理vLLM
15
连续批处理
动态batching · inflight batching · 调度策略
批处理动态
16
量化技术基础
INT8/INT4量化 · PTQ与QAT · 量化感知训练 · LLM.int8()
量化INT8
17
量化技术进阶
AWQ · GPTQ · GGUF格式 · 量化对吞吐的影响
AWQGPTQ
18
稀疏化与剪枝
结构化剪枝 · 非结构化剪枝 · 稀疏矩阵 · 2:4稀疏模式
剪枝稀疏
19
通信优化
梯度压缩 · 异步通信 · 通信计算重叠 · 拓扑感知调度
通信梯度
20
内存优化
ZeRO系列 (1/2/3) · Offload · CPU-GPU协同 · 内存碎片整理
ZeROOffload
21
数据并行策略选择
DDP vs FSDP vs DeepSpeed · ZeRO Stage选择 · 混合并行
并行策略
22
模型并行策略
张量并行 (Megatron-LM) · 流水线并行 (GPipe/1F1B) · 序列并行
模型并行Megatron
23
专家并行 (MoE)
MoE原理 · 负载均衡 · 专家容量 · 通信模式优化
MoE专家
24
训练框架对比
PyTorch vs JAX vs DeepSpeed vs Megatron-LM vs ColossalAI
框架对比
25
Profiling与性能分析
PyTorch Profiler · Nsight Systems · Nsight Compute · 瓶颈定位
ProfilingNsight
26
I/O优化
文件系统 (Lustre/NFS/GPFS) · 数据分片 · 预取 · 异步I/O
I/O存储
27
网络优化
RDMA/RoCE · InfiniBand · TCP/IP优化 · 网络拓扑设计
网络RDMA
28
超参数调优
学习率调度 · Batch Size与吞吐 · Warmup · AdamW vs SGD
超参数调度
29
实验管理与复现
MLflow/WandB集成 · 配置管理 · 随机种子控制 · 结果记录
实验MLflow
30
综合案例实战
从单卡到多机多卡全流程吞吐优化 · 性能调优方法论总结
实战案例