01
分布式训练概述
为什么需要分布式训练？核心挑战：通信瓶颈、同步开销、负载不均。课程目标与学习路径。
入门概念
02
性能基准测试基础
基准测试黄金三要素：可重复性、可对比性、可解释性。常见指标：吞吐量、加速比、效率。
基础指标
03
硬件环境摸底
GPU拓扑 (NVLink/PCIe), CPU/内存带宽, 网络互联 (IB/RoCE)。工具：nvidia-smi, lstopo。
硬件工具
04
软件栈与框架选择
PyTorch DDP, DeepSpeed, Horovod, Megatron-LM。适用场景与性能特征对比。
框架选型
05
单卡基线测试
为什么单卡是起点？测量吞吐量 (images/sec, tokens/sec)。影响性能的因素：数据加载、计算密度。
基线单卡
06
数据并行 (DP) 原理
数据并行通信模式 (AllReduce)。梯度同步数学原理。同步与异步的取舍。
并行通信
07
AllReduce 算法详解
Ring AllReduce vs Tree AllReduce。带宽最优性分析。NCCL 参数调优实战。
算法NCCL
08
多机通信拓扑
参数服务器 vs 去中心化架构。通信拓扑对性能的影响。实际部署选型。
拓扑多机
09
吞吐量测试方法论
固定batch size vs 固定epoch。预热 (warm-up) 的重要性。设计可靠的吞吐量测试。
方法吞吐
10
加速比与扩展效率
强扩展 (Strong Scaling) 与弱扩展 (Weak Scaling)。Amdahl / Gustafson 定律体现。
扩展定律
11
通信-计算重叠
为什么需要重叠？异步通信与同步通信。PyTorch async_op 实现重叠。
优化异步
12
梯度累积技术
梯度累积原理。模拟大batch。对性能的影响与陷阱。
梯度累积
13
混合精度训练 (AMP)
FP16/BF16原理。AMP三种策略。对吞吐量的实际提升效果。
精度AMP
14
数据加载瓶颈
DataLoader并行策略 (num_workers)。IO瓶颈定位与优化 (内存映射、预取)。
IODataLoader
15
模型并行 (MP) 基础
张量并行 (Tensor Parallelism) 与流水线并行 (Pipeline Parallelism)。通信模式与性能特征。
模型并行MP
16
流水线并行调度
GPipe, PipeDream, 1F1B调度策略。气泡 (Bubble) 的产生与优化。
流水线调度
17
张量并行实现
Megatron-LM张量并行方案。列并行与行并行的通信量分析。
张量并行Megatron
18
序列并行 (Sequence Parallelism)
长序列显存瓶颈。Ring Attention 与序列并行原理。
序列Attention
19
专家混合 (MoE) 性能
MoE通信模式 (All-to-All)。负载均衡与性能调优。
MoE稀疏
20
显存分析与优化
显存去哪了？参数、梯度、优化器状态、激活值。ZeRO系列 (ZeRO-1/2/3)。
显存ZeRO
21
ZeRO-3 性能基准
ZeRO-3通信开销。吞吐量测量。与DDP性能对比。
ZeRO-3对比
22
Checkpoint 性能
同步 vs 异步Checkpoint。对训练吞吐的影响。分布式Checkpoint最佳实践。
Checkpoint容错
23
Profiling 工具实战
PyTorch Profiler, Nsight Systems, Nsight Compute。定位性能瓶颈。
Profiling工具
24
网络带宽测试
iperf3, ib_write_bw 测试网络。实际带宽与理论差距分析。
网络带宽
25
GPU计算利用率分析
SM利用率, Tensor Core利用率。Nsight Compute分析kernel瓶颈。
GPU利用率
26
端到端基准测试案例
以LLaMA-7B为例，从单卡到多机多卡扩展性测试。完整流程。
案例LLaMA
27
性能调优实战
常见问题排查思路 (CPU/通信/计算瓶颈)。调优案例分享。
调优实战
28
基准测试报告撰写
呈现结果、可视化技巧 (折线图、柱状图、热力图)。报告模板与最佳实践。
报告可视化
29
自动化基准测试框架
自动化流水线：配置管理、结果记录、对比分析。开源工具 DLPerf 等。
自动化框架
30
课程总结与进阶方向
分布式训练性能工程核心要点。未来趋势：异构计算、超大规模训练。推荐阅读与社区资源。
总结进阶