01
NCCL显存溢出全景图
什么是NCCL OOM · 分布式训练爆显存 · 通信缓冲区与显存关系 · 训练影响
全景基础
02
NCCL通信原理与显存消耗
Ring/Tree算法 · 缓冲区分配 · 网络/IB缓冲区 · NTHREADS与CPU内存
原理缓冲区
03
显存监控与诊断工具
nvidia-smi · memory_summary · NCCL_DEBUG · Profiler+Nsight · 自定义Hook
监控诊断
04
梯度累积(Gradient Accumulation)
原理 · 步数选择 · Batch Size关系 · 代码实现 · 显存收益实测
梯度累积
05
ZeRO优化器(DeepSpeed ZeRO)
Stage 1/2/3原理 · 显存公式 · 配置实战 · Offload到CPU · 与NCCL交互
ZeRODeepSpeed
06
混合精度训练(AMP)
FP16/BF16原理 · GradScaler · 显存节省量 · NCCL兼容性 · 踩坑记录
AMP混合精度
07
激活值检查点(Activation Checkpointing)
原理 · 选择性策略 · 通信重叠 · 收益公式 · 代码实现
Checkpoint激活
08
张量并行(Tensor Parallelism)
TP原理 · Megatron-LM · P2P通信 · 显存分布 · 通信开销
TP并行
09
流水线并行(Pipeline Parallelism)
PP原理 · GPipe/1F1B · 显存峰值 · 微批次优化 · 吞吐权衡
PP流水线
10
数据并行(DP)优化
AllReduce · 显存冗余 · ZeRO结合 · 梯度压缩 · 拓扑优化
DP数据并行
11
NCCL环境变量调优
NCCL_ALGO · PROTO · BUFFSIZE · GDR_LEVEL · P2P_DISABLE
调优环境变量
12
显存碎片化治理
碎片成因 · empty_cache误区 · 池化技术 · 分配器调优 · 对NCCL影响
碎片显存
13
模型剪枝与量化
结构化/非结构化剪枝 · QAT · PTQ · 对NCCL通信量影响
剪枝量化
14
Flash Attention与显存优化
原理 · 显存节省 · NCCL通信 · v2/v3新特性 · 实战配置
AttentionFlash
15
序列并行(Sequence Parallelism)
SP原理 · 与TP区别 · 通信模式 · 显存收益 · 长序列训练
SP序列
16
专家并行(EP/MoE)
MoE原理 · All-to-All · 显存分布 · 负载均衡 · 与ZeRO结合
MoEEP
17
显存卸载(Memory Offload)
CPU Offload · NVMe Offload · 带宽瓶颈 · 通信重叠 · 实战配置
Offload卸载
18
通信计算重叠(Overlap)
原理 · Async AllReduce · 收益公式 · 代码实现 · 梯度累积配合
Overlap通信
19
梯度压缩(Gradient Compression)
TopK稀疏化 · 随机量化 · 1-bit SGD · PowerSGD · 收敛影响
压缩梯度
20
NCCL故障排查与OOM恢复
超时处理 · 通信失败恢复 · 自动Checkpoint · 弹性训练 · 日志分析
故障OOM
21
多机多卡显存规划
网络带宽计算 · 显存预算公式 · 模型大小映射 · Batch Size关系 · 规划工具
规划多机
22
PyTorch DDP显存优化
Bucket机制 · Gradient Accumulation · Find Unused Parameters · Static Graph · 版本兼容
DDPPyTorch
23
FSDP(Fully Sharded Data Parallel)
原理 · Sharding Strategy · CPU Offload · NCCL优化 · Checkpointing结合
FSDP分片
24
ColossalAI显存优化
Gemini机制 · 异构内存管理 · NCCL配置 · 自动并行 · 与DeepSpeed对比
ColossalAI异构
25
Megatron-LM显存优化
TP+PP+DP组合 · 分布式优化器 · NCCL配置 · 显存分析工具 · Checkpointing
MegatronLLM
26
显存溢出案例分析(一)
LLaMA-65B · GPT-3 175B微调 · BERT-Large · ViT-Giant · Stable Diffusion
案例OOM
27
显存溢出案例分析(二)
MoE · 长序列 · 多模态 · 推荐系统 · 强化学习
案例进阶
28
NCCL版本与硬件选型
版本演进 · CUDA兼容性 · GPU架构 · 网络硬件 · NVLink/NVSwitch
硬件选型
29
显存优化综合实战(一)
64卡训练配置 · 显存预算 · NCCL调优 · ZeRO+AMP+Checkpointing · 动态调整
实战综合
30
显存优化综合实战(二)
OOM自动恢复 · 动态调整 · 多策略收益评估 · Checklist · 未来展望
实战展望