01
多卡训练基础
分布式训练概念、数据并行与模型并行、同步与异步训练模式
概念并行
02
硬件瓶颈分析
GPU利用率低、CPU数据加载瓶颈、PCIe带宽限制、NVLink/NVSwitch拓扑
GPUPCIeNVLink
03
软件栈瓶颈
PyTorch DDP通信开销、梯度累积策略、混合精度训练(AMP)影响
DDPAMP
04
网络通信优化
Ring-AllReduce原理、梯度压缩技术、通信计算重叠(Overlap)
通信压缩
05
数据加载优化
DataLoader多进程设置、内存映射文件、数据预处理流水线
DataLoader流水线
06
显存管理
梯度检查点(Gradient Checkpointing)、ZeRO优化器、显存碎片整理
显存ZeRO
07
Profiling工具
PyTorch Profiler、NVIDIA Nsight Systems、TensorBoard追踪
ProfilerNsight
08
实际案例：ResNet-50
8卡训练ResNet-50吞吐量从800提升到1200 img/s的完整优化过程
案例ResNet
09
扩展策略
多节点训练、网络拓扑选择、容错与检查点恢复
多节点容错
10
未来趋势
GPU Direct Storage、计算存储融合、新型互联技术
GDS趋势
11
分布式训练框架对比
PyTorch DDP vs DeepSpeed vs Horovod vs Megatron-LM
框架对比
12
通信库底层原理
NCCL vs Gloo vs MPI，如何选择与配置
NCCLGlooMPI
13
网络带宽与延迟
理论带宽 vs 实际吞吐，小消息与大消息的通信模式差异
带宽延迟
14
CPU-GPU数据传输
pin_memory的作用、异步传输、D2D与D2H带宽测量
传输pin_memory
15
GPU内核执行分析
Kernel Launch开销、SM利用率、Occupancy与Warp调度
KernelOccupancy
16
内存带宽瓶颈
HBM带宽利用率、内存合并访问、Bank Conflict避免
HBMBank
17
计算与通信重叠
异步操作、CUDA Stream、Event同步机制
Stream重叠
18
梯度累积与同步频率
梯度累积步数选择、同步点优化、通信量计算
梯度累积同步
19
混合精度训练实战
FP16/BF16/FP8选择、Loss Scaling、Master Weights
FP16BF16FP8
20
ZeRO优化器详解
ZeRO-1/2/3原理、Offload策略、内存节省与通信开销权衡
ZeROOffload
21
梯度检查点实战
检查点策略选择、计算时间 vs 内存节省的trade-off
检查点Trade-off
22
数据加载瓶颈定位
IOPS vs 带宽、文件系统选择、数据预处理并行化
IOPS文件系统
23
Profiling实战
使用PyTorch Profiler定位通信瓶颈、计算瓶颈、内存瓶颈
Profiler定位
24
Nsight Systems实战
时间线分析、GPU Trace、CPU Trace、通信事件分析
NsightTrace
25
Nsight Compute实战
内核分析、指令级优化、内存访问模式优化
Compute指令
26
TensorBoard可视化
分布式训练追踪、通信量统计、吞吐量变化曲线
TensorBoard可视化
27
案例1：BERT通信压缩
8卡BERT训练，通信开销占40%，通过梯度压缩降低到15%
BERT梯度压缩
28
案例2：GPT数据加载
4节点32卡GPT训练，数据加载成为瓶颈，通过内存映射提升3倍
GPT内存映射
29
案例3：AMP精度修复
混合精度训练导致精度下降，通过动态Loss Scaling解决
AMPLoss Scaling
30
总结与最佳实践
多卡训练性能优化checklist、常见问题速查表、性能调优方法论
checklist方法论