01
显存基础
GPU架构简介 · 显存类型与带宽 · 显存与系统内存的区别 · 为什么需要优化显存
入门硬件
02
显存分配机制
CUDA内存模型 · 显存分配与释放API · 内存池原理 · 常见分配陷阱
CUDA内存
03
张量与显存
PyTorch张量存储机制 · Tensor的data_ptr与storage · 张量视图与显存共享
PyTorch核心
04
梯度与中间变量
自动求导机制 · 计算图与中间变量 · 梯度累积与显存 · retain_graph的影响
自动求导计算图
05
显存分析工具
nvidia-smi详解 · torch.cuda.memory_summary · Nsight Systems入门 · 内存快照分析
工具调试
06
模型参数量计算
参数量与显存关系 · Embedding层显存 · Linear层显存 · LayerNorm显存
模型计算
07
激活值显存
前向传播的激活值 · BatchSize与激活值 · 序列长度的影响 · 激活值检查点
激活值BatchSize
08
优化器显存
SGD与AdamW显存对比 · 混合精度训练显存 · ZeRO优化器原理 · bitsandbytes库
优化器ZeRO
09
梯度检查点
原理与实现 · 时间换空间策略 · 检查点粒度选择 · 实际案例分析
检查点策略
10
混合精度训练
FP16与BF16原理 · AMP自动混合精度 · 损失缩放 · 梯度裁剪与显存
AMPFP16
11
梯度累积
小BatchSize模拟大Batch · 梯度累积步数选择 · BN层处理 · 实际效果对比
累积Batch
12
显存碎片化
碎片产生原因 · 碎片化检测 · torch.cuda.empty_cache · 缓存分配器策略
碎片优化
13
数据加载优化
DataLoader与显存 · pin_memory机制 · prefetch_factor设置 · 多进程加载
DataLoaderIO
14
模型并行
模型并行原理 · 层内并行 · 流水线并行 · GPipe与PipeDream
并行分布式
15
数据并行
DP与DDP原理 · 梯度同步机制 · 通信开销 · 混合并行策略
DDP通信
16
张量并行
Megatron-LM方案 · 列并行与行并行 · 通信原语 · 负载均衡
Megatron张量
17
流水线并行
微批次调度 · 1F1B策略 · 气泡率计算 · 虚拟流水线
流水线调度
18
ZeRO优化器
ZeRO-1/2/3原理 · Offload机制 · 通信优化 · 实际部署经验
ZeROOffload
19
Flash Attention
标准Attention显存问题 · 分块计算原理 · IO感知算法 · 实际加速效果
Attention加速
20
PagedAttention
vLLM核心思想 · KV Cache管理 · 内存分页 · 调度策略
vLLMKV
21
量化基础
INT8与INT4原理 · 对称量化与非对称量化 · 校准数据集 · 量化误差分析
量化INT8
22
训练后量化
PTQ流程 · KL散度校准 · MinMax校准 · 实际量化案例
PTQ校准
23
量化感知训练
QAT原理 · 伪量化节点 · 直通估计器 · 训练技巧
QAT训练
24
模型剪枝
结构化剪枝与非结构化剪枝 · 剪枝粒度 · 重训练策略 · 实际效果
剪枝压缩
25
知识蒸馏
蒸馏原理 · 软标签与硬标签 · 温度参数 · 蒸馏架构设计
蒸馏压缩
26
低秩分解
SVD分解原理 · 矩阵低秩近似 · 分解后微调 · 实际压缩比
SVD低秩
27
推理优化
ONNX Runtime · TensorRT · vLLM推理 · 推理显存管理
推理TensorRT
28
分布式训练
NCCL通信库 · Ring AllReduce · 通信计算重叠 · 网络优化
分布式NCCL
29
显存监控与告警
Prometheus监控 · Grafana面板 · 自定义告警规则 · 自动化运维
监控运维
30
项目实战
大模型训练显存优化 · 推理服务显存优化 · 优化方案选型 · 性能调优总结
实战总结