01
显存基础
什么是显存？显存与内存的区别，显存在AI训练/推理中的核心作用。
概念入门
02
显存架构
现代GPU显存架构（GDDR6/HBM2e），显存带宽与容量对性能的影响。
硬件带宽
03
显存分配机制
PyTorch/TensorFlow的显存分配策略，CUDA context的显存开销。
框架CUDA
04
显存监控工具
nvidia-smi、nvtop、pyTorch memory profiler的使用方法。
工具调试
05
模型显存占用分析
模型参数、梯度、优化器状态、中间激活值的显存占用计算。
计算分析
06
Batch Size与显存
Batch Size对显存占用的影响，如何找到最大Batch Size。
调参实验
07
序列长度与显存
Transformer模型中序列长度对显存的影响（注意力矩阵）。
Transformer注意力
08
混合精度训练
FP16/BF16原理，AMP自动混合精度如何节省显存。
精度AMP
09
梯度累积
梯度累积原理，如何用时间换空间降低显存峰值。
策略时间换空间
10
激活值检查点
Activation Checkpointing原理，计算与显存的权衡。
检查点权衡
11
模型并行
模型并行（Pipeline Parallelism）原理与显存收益。
并行流水线
12
张量并行
Tensor Parallelism原理，Megatron-LM的切分策略。
张量Megatron
13
数据并行
Data Parallelism与显存冗余，ZeRO优化器的显存优化。
数据并行ZeRO
14
ZeRO Stage 1-3
ZeRO优化器三个阶段原理，如何消除显存冗余。
ZeRO显存消除
15
ZeRO Offload
ZeRO Offload原理，将优化器状态卸载到CPU内存。
卸载CPU
16
CPU Offloading
将模型参数或激活值卸载到CPU内存的技术。
卸载CPU
17
Flash Attention
Flash Attention原理，如何减少显存读写与占用。
注意力IO
18
PagedAttention
vLLM中的PagedAttention原理，KV Cache的显存管理。
vLLMKV Cache
19
量化基础
INT8/INT4量化原理，量化如何减少模型显存占用。
量化INT8
20
训练后量化
PTQ（Post-Training Quantization）实践与显存收益。
PTQ实践
21
量化感知训练
QAT（Quantization-Aware Training）原理与实践。
QAT训练
22
模型剪枝
结构化剪枝与非结构化剪枝，剪枝对显存的影响。
剪枝结构化
23
知识蒸馏
知识蒸馏原理，用小模型替代大模型降低显存。
蒸馏压缩
24
梯度压缩
梯度压缩技术，分布式训练中的通信与显存优化。
通信压缩
25
显存碎片化
显存碎片化问题分析，CUDA memory pool与碎片整理。
碎片CUDA
26
显存泄漏
显存泄漏的常见原因，如何检测与修复显存泄漏。
泄漏检测
27
多卡显存均衡
多GPU训练中的显存负载均衡策略。
多卡均衡
28
推理优化
推理阶段的显存优化（KV Cache管理、Continuous Batching）。
推理KV Cache
29
显存与性能权衡
显存优化对训练/推理速度的影响，如何找到最佳平衡点。
权衡性能
30
综合案例
从零优化一个LLM训练任务，显存从48GB降到12GB的完整流程。
实战LLM