01
AI训练性能优化全景
为什么需要优化 · 性能瓶颈分析 · 优化方法论总览
全景思维
02
硬件基础与选型
GPU架构 (A100/H100) · CPU/内存 · 网络存储 · TPU/NPU对比
硬件选型
03
数据加载与预处理优化
DataLoader调优 · 数据增强加速 · 内存映射 · TFRecord/WebDataset
数据IO
04
混合精度训练 (AMP)
FP16/BF16原理 · 自动混合精度 · 损失缩放 · 实战配置
精度AMP
05
分布式训练基础
数据并行 · 模型并行 · 流水线并行 · 张量并行概念
分布式并行
06
分布式训练框架
PyTorch DDP · Horovod · DeepSpeed · Megatron-LM对比
框架选型
07
梯度累积与同步优化
梯度累积策略 · 梯度压缩 · 异步SGD · AllReduce优化
梯度通信
08
显存优化技术
Activation Checkpointing · 显存碎片整理 · ZeRO优化器
显存ZeRO
09
ZeRO系列详解
ZeRO-1/2/3原理 · Offload到CPU/NVMe · 实战调优
ZeRO显存
10
模型并行实战
张量并行实现 · 通信开销分析 · 切分策略
模型并行张量
11
流水线并行实战
GPipe · PipeDream · 1F1B调度 · 负载均衡与气泡优化
流水线调度
12
序列并行与注意力优化
FlashAttention · 稀疏注意力 · 序列并行
注意力序列
13
编译优化与JIT
TorchScript · TorchDynamo · TorchInductor · XLA编译
编译JIT
14
算子融合与Kernel优化
Fused Adam · LayerNorm融合 · 自定义CUDA Kernel入门
算子CUDA
15
数据并行通信优化
NCCL调优 · Ring AllReduce · Tree AllReduce · 通信计算重叠
通信NCCL
16
训练脚本性能分析
Profiler工具 (PyTorch Profiler, Nsight Systems) · 火焰图
分析Profiler
17
IO性能优化
数据预取 · 异步加载 · NVMe/SSD选型 · 文件系统调优
IO存储
18
网络性能优化
RDMA/InfiniBand · TCP调优 · 网络拓扑 · 带宽利用率
网络RDMA
19
超参数与学习率调度
学习率预热 · 余弦退火 · Batch Size关系 · Grid/Bayesian优化
超参数LR
20
Batch Size与收敛性
大Batch挑战 · LARS/LAMB优化器 · BN调整
Batch收敛
21
模型量化训练
QAT量化感知 · 混合精度量化 · INT8/INT4训练探索
量化QAT
22
稀疏训练与剪枝
动态稀疏训练 · 结构化剪枝 · 权重共享 · MoE入门
稀疏剪枝
23
训练稳定性优化
梯度裁剪 · 损失NaN处理 · 权重初始化 · BN调优
稳定调优
24
Checkpoint与容错
异步Checkpoint · 分布式Checkpoint · 中断恢复 · 弹性训练
容错Checkpoint
25
大规模训练集群管理
SLURM作业调度 · Kubernetes/Kubeflow · 资源分配策略
集群调度
26
训练监控与可视化
TensorBoard · WandB · MLflow · 自定义监控与告警
监控可视化
27
成本优化与资源调度
Spot实例 · 动态扩缩容 · 多任务调度 · 预算控制
成本资源
28
端到端优化案例 (CV)
ResNet训练优化 · 数据增强加速 · 分布式配置
CV案例
29
端到端优化案例 (NLP)
/BERT训练优化 · 序列并行 · ZeRO配置
NLP案例
30
前沿趋势与未来展望
超大规模模型 · 3D并行 · AI编译器 · 硬件协同设计
前沿趋势