01
显存基础与瓶颈分析
显存架构、带宽与容量、训练/推理瓶颈诊断
基础诊断
02
PyTorch显存管理机制
缓存分配器、CUDA stream、tensor生命周期
PyTorch底层
03
梯度检查点 (Checkpointing)
原理、实现、与重计算开销权衡
节省重计算
04
混合精度训练 (AMP)
FP16/BF16原理、GradScaler、实战配置
AMP精度
05
梯度累积 (Gradient Accumulation)
原理、代码实现、与Batch Size关系
累积Batch
06
ZeRO优化器 (DeepSpeed)
ZeRO-1/2/3原理、配置、与DDP对比
DeepSpeedZeRO
07
模型并行 (Model Parallelism)
原理、手动切分、与Megatron-LM实践
模型并行切分
08
流水线并行 (Pipeline Parallelism)
GPipe、1F1B调度、负载均衡
流水线调度
09
张量并行 (Tensor Parallelism)
列并行、行并行、通信开销分析
张量并行通信
10
序列并行 (Sequence Parallelism)
Ring Attention、Flash Attention原理
序列Attention
11
Flash Attention
原理、显存节省、与标准Attention对比
Flash加速
12
PagedAttention (vLLM)
KV Cache管理、内存碎片消除、推理加速
vLLM推理
13
CPU Offloading
模型参数/优化器状态卸载、异步传输、性能影响
卸载CPU
14
激活值压缩 (Activation Compression)
量化、稀疏化、选择性保留
压缩激活
15
参数高效微调 (PEFT)
LoRA、Adapter、Prefix Tuning显存对比
PEFT微调
16
量化技术 (Quantization)
INT8/INT4原理、PTQ/QAT、显存节省
量化INT8
17
稀疏训练 (Sparse Training)
权重剪枝、动态稀疏、硬件加速
稀疏剪枝
18
内存碎片整理
PyTorch内存池、cudaMallocAsync、碎片率监控
碎片监控
19
DataLoader优化
num_workers、prefetch_factor、pin_memory
DataLoaderIO
20
Tensor并行与序列并行结合
分布式策略组合、通信拓扑设计
组合分布式
21
显存监控与Profiling
nvidia-smi、torch.cuda.memory_summary、Nsight
监控Profiling
22
动态显存分配策略
按需分配、预分配、内存池调优
分配调优
23
Batch Size与显存关系
线性增长、OOM边界、自动搜索
BatchOOM
24
模型结构优化
Attention变体、MLP缩减、Embedding共享
结构轻量化
25
推理优化
KV Cache量化、Continuous Batching、Speculative Decoding
推理KV
26
多卡通信优化
NCCL参数、拓扑感知、梯度压缩
通信NCCL
27
显存泄漏排查
引用循环、hook未清理、缓存未释放
泄漏调试
28
分布式训练显存均衡
负载均衡、通信与计算重叠
均衡分布式
29
大模型训练实战案例
LLaMA-70B训练显存规划、策略组合
实战LLaMA
30
显存优化全景总结
策略选择矩阵、成本收益分析、未来趋势
总结全景