01
显存基础
显存的作用与工作原理 · 显存与系统内存的区别 · 带宽与容量概念
概念原理
02
显存监控工具
nvidia-smi详解 · nvtop使用技巧 · PyTorch内存跟踪器
工具调试
03
显存分配机制
CUDA显存分配策略 · PyTorch缓存分配器 · TensorFlow显存管理
框架底层
04
模型显存占用分析
参数显存 · 梯度显存 · 优化器状态 · 激活值显存
分析模型
05
显存泄漏定位
Python对象引用导致泄漏 · CUDA上下文泄漏 · 未释放中间变量
调试泄漏
06
梯度累积技术
梯度累积原理 · batch size与显存关系 · 实现代码
训练优化
07
混合精度训练
FP16与BF16原理 · AMP自动混合精度 · 损失缩放技巧
精度加速
08
梯度检查点
检查点原理 · 时间与显存权衡 · 实现代码示例
重计算节省
09
模型并行策略
张量并行 · 流水线并行 · 序列并行
分布式并行
10
数据并行优化
分布式数据并行 · ZeRO优化器 · ZeRO三个阶段详解
ZeRO通信
11
显存碎片化
碎片产生原因 · 碎片化检测 · 解决方案
内存性能
12
CPU卸载技术
参数卸载 · 优化器状态卸载 · 梯度卸载
卸载CPU
13
激活值压缩
激活值量化 · 选择性保存 · 重计算策略
压缩激活
14
模型剪枝
结构化剪枝 · 非结构化剪枝 · 剪枝后微调
剪枝稀疏
15
知识蒸馏
教师-学生框架 · 蒸馏损失函数 · 显存优化应用
蒸馏压缩
16
量化技术
INT8量化 · 量化感知训练 · 动态量化
量化INT8
17
Flash Attention
注意力显存瓶颈 · Flash Attention原理 · 分块计算
注意力IO
18
PagedAttention
vLLM原理 · KV Cache管理 · 显存分页机制
LLM分页
19
连续批处理
动态批处理 · inflight批处理 · 显存复用
批处理推理
20
推测解码
草稿模型 · 并行验证 · 显存效率分析
解码投机
21
显存池化
自定义显存池 · 显存复用策略 · 池化实现
池化复用
22
异步数据加载
DataLoader优化 · 预取机制 · 显存与CPU协同
IO流水线
23
显存带宽优化
内存访问模式 · 合并访问 · 数据布局优化
带宽HBM
24
算子融合
kernel融合 · fused操作 · 减少中间显存
融合算子
25
计算图优化
图捕获 · 静态图 · 动态图显存差异
图编译
26
分布式显存聚合
NVLink与NVSwitch · 显存池化 · 跨节点共享
互联聚合
27
显存压缩算法
ZSTD压缩 · 稀疏化压缩 · 自适应压缩
压缩算法
28
显存热迁移
在线迁移 · 热数据识别 · 迁移策略
迁移动态
29
显存故障诊断
OOM错误分析 · 显存异常检测 · 自动恢复机制
诊断OOM
30
综合案例
大模型训练显存优化全流程 · 推理服务优化 · 端到端方案
实战案例