01
显存基础
GPU显存架构 · 显存带宽与容量 · 显存与主存的数据传输机制
架构带宽
02
显存监控
nvidia-smi详解 · PyTorch显存监控工具 · 自定义监控脚本
监控nvidia-smi
03
张量存储机制
张量在显存中的布局 · 连续与非连续张量 · 存储偏移与视图
张量布局
04
计算图与显存
动态图与静态图的显存差异 · 中间激活值存储 · 反向传播显存开销
计算图激活值
05
梯度累积
梯度累积原理 · 梯度累积实现 · 梯度累积与Batch Size的关系
梯度Batch
06
混合精度训练
FP16与BF16原理 · AMP自动混合精度 · 损失缩放策略
FP16AMP
07
梯度检查点
检查点原理 · torch.utils.checkpoint使用 · 检查点与计算时间权衡
检查点时间权衡
08
显存碎片化
CUDA显存分配策略 · 碎片化产生原因 · 检测与缓解
碎片化CUDA
09
模型并行
模型并行原理 · 流水线并行 · 张量并行
模型并行流水线
10
数据并行
数据并行原理 · DDP · FSDP全分片数据并行
DDPFSDP
11
ZeRO优化器
ZeRO Stage 1/2/3原理 · ZeRO与FSDP关系 · ZeRO配置实战
ZeROStage
12
激活值压缩
激活值压缩技术 · 量化感知训练 · 激活值剪枝
压缩剪枝
13
模型剪枝
结构化与非结构化剪枝 · 剪枝后微调 · 剪枝对显存影响
剪枝结构化
14
知识蒸馏
蒸馏原理 · 教师-学生模型 · 蒸馏对显存优化的帮助
蒸馏教师-学生
15
量化技术
INT8量化原理 · QAT · PTQ后训练量化
INT8QAT
16
内存复用
显存池技术 · 张量复用策略 · in-place操作风险与收益
复用in-place
17
数据加载优化
DataLoader显存优化 · 内存映射文件 · 预取与缓存策略
DataLoader预取
18
Batch Size调优
Batch Size与显存关系 · 动态Batch Size · 梯度累积替代方案
Batch动态
19
序列长度优化
序列长度对显存影响 · 动态序列长度 · 序列打包技术
序列打包
20
嵌入层优化
嵌入层显存占用 · 稀疏嵌入 · 嵌入层共享与压缩
嵌入稀疏
21
注意力机制优化
Flash Attention原理 · 稀疏注意力 · 线性注意力
Flash稀疏
22
卷积层优化
im2col与Winograd · 卷积核融合 · 深度可分离卷积
卷积Winograd
23
归一化层优化
Batch Norm与Layer Norm对比 · 归一化层融合 · Group Norm
归一化融合
24
优化器状态管理
Adam显存占用 · Adafactor优化器 · 优化器状态卸载
优化器Adafactor
25
CPU卸载技术
参数卸载到CPU · 梯度卸载 · 优化器状态卸载
CPU卸载参数
26
分布式训练显存优化
通信与计算重叠 · 梯度压缩 · 异步训练
分布式梯度压缩
27
推理阶段显存优化
KV Cache优化 · 连续批处理 · PagedAttention
推理KV Cache
28
大模型显存优化
LLM显存分析 · MoE架构显存优势 · 模型并行策略选择
大模型MoE
29
显存泄漏排查
泄漏常见原因 · torch.cuda.memory_summary · 泄漏检测工具
泄漏排查
30
综合实战
多技术组合优化 · 显存优化流程 · 实际项目案例分析
实战案例