01
显存基础与瓶颈分析
显存架构（HBM/GDDR）、带宽与容量、训练显存占用分析、瓶颈定位方法
显存HBM分析
02
混合精度训练 (AMP)
FP16/BF16原理、Master Weights、Loss Scaling、PyTorch实践与通信影响
AMPFP16BF16
03
梯度累积
梯度累积原理、Batch Size关系、显存收益、陷阱（BN层、lr调整）
梯度累积Batch显存
04
激活值检查点
Checkpointing原理、策略选择、重计算开销、Transformer应用
Checkpoint重计算Transformer
05
显存卸载 (Offloading)
CPU Offloading、ZeRO-Offload、NVMe Offloading、带宽瓶颈与优化
OffloadZeRONVMe
06
模型并行
朴素模型并行、流水线并行(GPipe/PipeDream)、张量并行(Megatron-LM)、1D/2D策略
模型并行流水线张量
07
数据并行 (DP/DDP)
DP与DDP原理、AllReduce同步、显存冗余、梯度压缩与累积优化
DDPAllReduce通信
08
ZeRO优化器 (Stages)
ZeRO-1/2/3、参数/梯度/优化器状态分片、ZeRO++优化
ZeRO分片显存
09
FSDP (Fully Sharded)
FSDP原理、与ZeRO-3关系、Full/Hybrid Shard、通信调度
FSDPShard调度
10
通信原语与拓扑
AllReduce/AllGather/ReduceScatter/Broadcast、Ring/Tree拓扑、NCCL
通信NCCL拓扑
11
通信计算重叠 (Overlap)
异步通信、Async CUDA、Bucket/Stream调度、收益与限制
Overlap异步CUDA
12
梯度压缩
梯度量化、稀疏化(TopK/Threshold)、收敛性影响、压缩开销
压缩稀疏量化
13
异步训练
异步SGD、Staleness问题、收敛保证、推荐系统应用
异步SGDStaleness
14
本地SGD (Local SGD)
Local SGD原理、通信频率与收敛、Post-local SGD/SlowMo、显存收益
Local SGD通信收敛
15
流水线并行调度
F-then-B、1F1B、PipeDream调度、气泡(Bubble)分析与优化
流水线调度Bubble
16
张量并行实现
Column/Row切分、Megatron-LM MLP/Attention、通信模式(AllReduce)
张量并行Megatron切分
17
序列并行 (Sequence Parallel)
序列维度切分、Ring Attention、显存收益、与张量并行结合
序列并行RingAttention
18
专家并行 (MoE)
MoE原理、路由策略、负载均衡、All-to-All通信
MoE专家All-to-All
19
3D并行 (3D Parallelism)
数据+流水线+张量并行组合、通信层次、显存分配、GPT-3/BLOOM案例
3D并行GPT-3BLOOM
20
显存碎片化与优化
碎片化原因、CUDA Memory Pool、PyTorch Caching Allocator、诊断工具
碎片Allocator诊断
21
显存监控与Profiling
nvidia-smi、Nsight Systems、PyTorch Profiler、Memory Timeline、泄漏检测
监控ProfilerNsight
22
动态显存管理
动态分配策略、显存预留、复用、池化 (Memory Pooling)
动态复用池化
23
模型压缩与量化
剪枝、知识蒸馏、QAT、PTQ、量化对显存影响
量化剪枝蒸馏
24
FlashAttention
Tiling/Online Softmax、显存收益、FlashAttention-2、长序列应用
FlashAttention长序列
25
稀疏训练
稀疏梯度/参数、稀疏注意力、通信优化
稀疏梯度通信
26
分布式训练框架对比
DeepSpeed、Megatron-LM、FairScale、ColossalAI、PyTorch DDP/FSDP、选型策略
框架DeepSpeedColossalAI
27
多机多卡网络优化
RDMA(InfiniBand/RoCE)、TCP/IP优化、Fat-Tree/Dragonfly拓扑、带宽延迟
RDMA网络拓扑
28
容错与恢复
中断原因、Checkpoint同步/异步、Elastic Training、容错通信
容错Checkpoint弹性
29
显存优化与通信协同策略
显存优化对通信影响、通信优化对显存影响、协同策略设计
协同策略优化
30
实战案例与最佳实践
LLaMA/GPT-3/BERT优化案例、调优流程、性能Checklist
实战LLaMA调优