01
显存基础与瓶颈分析
GPU显存架构、训练时显存都去哪了？为什么总是不够用？
显存映射瓶颈诊断
02
PyTorch显存管理机制
torch.cuda机制、分配器、缓存策略、内存碎片化
缓存池碎片
03
梯度检查点 (Gradient Checkpointing)
原理、实现方式、时间与空间的权衡
重计算折中
04
混合精度训练 (AMP)
FP16/BF16原理、AMP实现、损失缩放、实战配置
FP16BF16
05
ZeRO优化器 (DeepSpeed)
ZeRO-1/2/3原理、分片策略、Offload机制
分片Offload
06
模型并行 (Model Parallelism)
原理、手动切分、与数据并行的区别
切分分布式
07
流水线并行 (Pipeline Parallelism)
GPipe、PipeDream、1F1B策略、微批次调度
1F1B微批次
08
张量并行 (Tensor Parallelism)
Megatron-LM方案、列并行与行并行、通信开销
列并行行并行
09
序列并行 (Sequence Parallelism)
Ring Attention、Flash Attention、长序列训练
RingFlash
10
激活值重计算 (Activation Recomputation)
选择性重计算、全重计算、策略选择
选择性全重计算
11
CPU Offload技术
参数/梯度/优化器状态Offload、性能影响
参数Offload梯度
12
显存碎片化治理
CUDA缓存清理、显存池化、碎片率监控
碎片empty_cache
13
Batch Size与显存关系
Batch Size影响、梯度累积、虚拟Batch Size
梯度累积虚拟BS
14
模型结构优化
减少参数量、共享权重、低秩分解、剪枝
剪枝低秩
15
量化训练 (QAT)
INT8训练原理、量化感知训练、混合精度量化
INT8QAT
16
分布式训练基础
NCCL通信、Ring AllReduce、通信与计算重叠
AllReduceNCCL
17
DeepSpeed配置实战
DeepSpeed Config详解、ZeRO Stage选择、Offload配置
ConfigZeRO
18
FairScale与FSDP
FSDP原理、分片策略、与DeepSpeed对比
FSDP分片
19
ColossalAI框架
ColossalAI架构、Gemini机制、异构内存管理
Gemini异构
20
显存监控与Profiling
nvidia-smi、torch.cuda.memory_summary、Nsight Systems
监控Profiling
21
梯度累积与显存优化
梯度累积原理、步数选择、与Batch Size的关系
累积步数BS
22
数据加载优化
DataLoader显存泄漏、pin_memory、prefetch_factor
pin_memory预取
23
模型保存与加载优化
checkpoint策略、分布式保存、显存友好型保存
checkpoint分布式
24
大模型微调显存优化
LoRA、QLoRA、Adapter、Prefix Tuning
LoRAAdapter
25
多任务学习显存优化
共享编码器、动态显存分配、任务调度
共享动态分配
26
推理阶段显存优化
KV Cache优化、Continuous Batching、PagedAttention
KV CachePaged
27
显存与带宽权衡
计算密集型vs显存密集型、Roofline模型
Roofline带宽
28
实战案例：LLaMA-7B训练优化
从OOM到稳定训练的全流程优化
LLaMAOOM
29
实战案例：Stable Diffusion显存优化
UNet优化、VAE优化、Cross Attention优化
SDUNet
30
综合优化策略与选型
不同场景优化方案选择、成本效益分析、未来趋势
选型趋势