第01章
显存基础
什么是显存 · 显存与内存区别 · GPU架构简介 · 带宽与容量
入门核心概念
第02章
PyTorch显存管理
torch.cuda基础 · 分配释放机制 · memory_summary()
PyTorch工具
第03章
TensorFlow显存管理
GPU配置 · 显存增长策略 · set_memory_growth
TensorFlow配置
第04章
数据加载优化
num_workers · pin_memory · prefetch_factor调优
数据管道加速
第05章
Batch Size调优
Batch Size与显存 · 梯度累积 · 动态Batch策略
训练调参
第06章
混合精度训练
FP16/FP32原理 · AMP使用 · 损失缩放技巧
精度加速
第07章
梯度检查点
Checkpointing原理 · torch.utils.checkpoint · 计算存储权衡
显存节省技巧
第08章
模型并行
模型并行 vs 数据并行 · 层内切分 · Pipeline Parallelism
分布式切分
第09章
张量并行
Megatron-LM切分 · 列并行与行并行 · 通信开销
大模型并行
第10章
ZeRO优化器
Stage 1/2/3原理 · DeepSpeed配置 · 显存节省对比
ZeRODeepSpeed
第11章
激活值优化
激活显存分析 · activation checkpointing · in-place操作
激活优化
第12章
梯度累积与同步
累积步数选择 · AllReduce通信优化 · 梯度压缩
通信分布式
第13章
显存碎片化
CUDA碎片成因 · 检测方法 · PyTorch显存池优化
内存管理排查
第14章
模型剪枝
结构化/非结构化剪枝 · torch.pruning · 微调策略
剪枝压缩
第15章
量化技术
INT8量化 · 动态/静态量化 · QAT
量化推理
第16章
知识蒸馏
教师-学生模型 · 蒸馏损失 · 蒸馏+显存优化
蒸馏压缩
第17章
分布式训练基础
NCCL通信库 · Ring AllReduce · 分布式Sampler
分布式通信
第18章
显存监控工具
nvidia-smi详解 · gpustat · PyTorch Profiler
监控调试
第19章
梯度压缩
梯度稀疏化 · Top-K压缩 · 梯度量化分布式
通信压缩
第20章
CPU Offloading
参数Offloading · 优化器状态Offloading · 异构内存
Offload异构
第21章
Flash Attention
Attention计算优化 · Flash v1/v2 · 显存节省
Attention高效
第22章
PagedAttention
vLLM显存管理 · KV Cache分页 · 连续批处理
vLLM推理
第23章
序列并行
长序列挑战 · 序列切分 · Ring Attention
长序列并行
第24章
专家并行
MoE架构 · 专家路由 · 负载均衡与显存
MoE稀疏
第25章
重计算策略
选择性重计算 · 启发式重计算 · 与Checkpointing区别
重计算优化
第26章
显存复用
Tensor复用 · 内存池设计 · PyTorch缓存分配器
内存池复用
第27章
模型压缩综合
蒸馏+剪枝+量化联合 · 压缩流程 · 案例分享
综合实战
第28章
大模型训练实战
LLaMA显存分析 · 训练配置优化 · 问题排查
大模型LLaMA
第29章
推理优化
KV Cache优化 · Continuous Batching · Speculative Decoding
推理延迟
第30章
前沿技术展望
显存压缩新方法 · 硬件趋势 · 未来优化方向
前沿趋势