01
显存基础认知
GPU显存架构（HBM/GDDR6）、显存带宽与容量关系、显存与主存的数据传输机制。
架构带宽
02
显存监控工具
nvidia-smi详解、nvtop安装与使用、PyTorch Profiler显存追踪、自定义显存监控脚本。
监控Profiler
03
模型加载优化
模型参数存储格式（FP32/FP16/INT8）、torch.load内存映射、模型分片加载策略。
加载分片
04
数据加载管线
DataLoader工作原理、prefetch_factor调优、num_workers最佳实践、内存映射文件（mmap）。
DataLoadermmap
05
梯度累积技术
梯度累积原理、accumulation_steps设置、与Batch Normalization的兼容性、实战代码模板。
梯度累积BN
06
混合精度训练（AMP）
FP16与BF16原理、GradScaler使用、loss scaling策略、AMP与分布式训练结合。
AMPBF16
07
激活检查点
checkpoint原理、selective checkpoint策略、与梯度检查点的区别、性能权衡分析。
Checkpoint激活
08
梯度压缩与通信优化
梯度压缩算法（TopK/QSGD）、AllReduce通信优化、梯度累积与通信重叠、Ring AllReduce原理。
压缩AllReduce
09
模型并行策略
张量并行、流水线并行、序列并行、1D/2D并行对比。
张量并行流水线
10
数据并行优化
DDP与FSDP对比、FSDP sharding策略（full/hybrid）、ZeRO Stage 1/2/3原理、offload参数到CPU。
FSDPZeRO
11
显存碎片化处理
CUDA内存池机制、torch.cuda.empty_cache陷阱、显存碎片检测、碎片整理策略。
碎片CUDA
12
动态显存管理
torch.no_grad上下文、in-place操作风险、del与gc.collect配合、显存复用技巧。
动态gc
13
Batch Size调优
Batch Size与显存关系、梯度累积等效Batch、动态Batch Size调整、OOM自动回退策略。
BatchOOM
14
序列长度优化
序列长度与注意力显存、Flash Attention原理、稀疏注意力、序列长度动态裁剪。
FlashAttn稀疏
15
嵌入层优化
Embedding显存占用分析、参数共享Embedding、混合精度Embedding、Embedding offload。
Embeddingoffload
16
注意力机制优化
Multi-Head Attention显存分析、Grouped Query Attention（GQA）、Multi-Query Attention（MQA）、Flash Attention v2/v3。
GQAMQA
17
前馈网络优化
FFN显存占用、SwiGLU激活函数、MoE（Mixture of Experts）显存分析、专家并行策略。
FFNMoE
18
Layer Normalization优化
RMSNorm与LayerNorm对比、Fused LayerNorm、Pre-Norm与Post-Norm显存差异。
RMSNormFused
19
优化器显存优化
AdamW显存占用分析、Adafactor优化器、8-bit Adam（bitsandbytes）、优化器状态offload。
AdamW8-bit
20
分布式训练显存
NCCL通信库配置、Gradient AllReduce显存开销、通信计算重叠、NVLink与InfiniBand对比。
NCCLNVLink
21
显存溢出（OOM）排查
OOM常见原因分析、逐层显存追踪、梯度爆炸检测、OOM自动恢复机制。
OOM排查
22
模型量化技术
PTQ（训练后量化）原理、QAT（量化感知训练）、INT4/INT8量化、量化对显存的影响。
PTQINT8
23
知识蒸馏与显存
教师-学生模型显存分析、在线蒸馏显存优化、特征蒸馏与logit蒸馏对比。
蒸馏教师
24
LoRA微调显存优化
LoRA原理与显存节省、LoRA rank选择、LoRA与量化结合、QLoRA实战。
LoRAQLoRA
25
AdaLoRA与DoRA
自适应秩分配、权重分解低秩适配、与标准LoRA显存对比、收敛速度分析。
AdaLoRADoRA
26
Prefix Tuning与Prompt Tuning
连续提示学习原理、Prefix Tuning显存分析、与Fine-tuning对比、多任务共享Prefix。
PrefixPrompt
27
P-Tuning v2
深度提示调优、层间共享参数、显存优化策略、与LoRA组合使用。
P-Tuning深度提示
28
模型卸载（Offloading）
CPU Offloading原理、NVMe Offloading、智能卸载策略、卸载与计算重叠。
OffloadNVMe
29
显存调优工具链
DeepSpeed ZeRO配置、Megatron-LM显存优化、ColossalAI显存管理、Hugging Face Accelerate。
DeepSpeedMegatron
30
综合调优案例
从OOM到训练成功、多策略组合调优、性能与显存平衡、生产环境最佳实践。
实战最佳实践