01
显存爆掉的本质
理解GPU显存架构、显存与内存的区别、显存泄漏与显存不足的区分。
基础核心概念
02
常见显存杀手
Batch Size过大、序列长度过长、中间激活值爆炸、模型参数冗余。
排查实战
03
诊断工具入门
nvidia-smi详解、gpustat使用、PyTorch Profiler基础。
工具监控
04
梯度检查点技术
原理介绍、代码实现、性能与显存的权衡。
优化内存
05
混合精度训练
FP16/BF16原理、AMP自动混合精度、损失缩放技巧。
精度加速
06
梯度累积
小Batch Size的救星、实现方式、同步与异步的坑。
策略分布式
07
模型并行策略
张量并行、流水线并行、数据并行、ZeRO优化器。
并行ZeRO
08
显存碎片化问题
CUDA内存池、碎片产生原因、Pytorch的缓存分配器。
内存底层
09
PyTorch显存管理
torch.cuda系列API、清空缓存、内存监控。
API调试
10
数据加载优化
DataLoader的num_workers、pin_memory、prefetch_factor。
IO加速
11
模型剪枝与量化
结构化剪枝、非结构化剪枝、INT8量化、KV Cache量化。
压缩推理
12
Attention机制优化
Flash Attention原理、Sparse Attention、Page Attention。
注意力高效
13
序列并行
长序列训练的挑战、Ring Attention、序列切分。
长序列并行
14
激活值压缩
Activation Checkpointing进阶、Compressible Activation、重计算策略。
激活重计算
15
显存泄漏排查
Python对象引用、循环引用、钩子函数泄漏、DataLoader泄漏。
泄漏调试
16
分布式训练显存
NCCL通信开销、梯度同步显存、AllReduce优化。
分布式通信
17
大模型推理显存
KV Cache管理、Continuous Batching、PagedAttention。
推理LLM
18
CPU Offloading技术
模型参数卸载、优化器状态卸载、激活值卸载。
卸载内存
19
显存溢出错误解读
CUDA OOM、CUDNN错误、非法内存访问。
错误排查
20
容器化环境显存
Docker GPU限制、Kubernetes资源管理、多任务隔离。
容器K8s
21
多卡训练显存均衡
负载不均问题、自动分片策略、手动调优。
多卡均衡
22
动态形状问题
变长输入处理、动态Batch、Pytorch的shape推理。
动态形状
23
显存性能分析
Memory Snapshot、Traces可视化、瓶颈定位。
分析可视化
24
常见框架对比
PyTorch vs TensorFlow vs JAX的显存管理差异。
框架对比
25
生产环境监控
Prometheus + Grafana、自定义告警、日志分析。
监控运维
26
显存优化案例1
BERT训练从OOM到稳定运行的实战。
案例BERT
27
显存优化案例2
LLaMA推理显存减半的完整方案。
案例LLaMA
28
显存优化案例3
Stable Diffusion显存优化技巧。
案例SD
29
未来趋势
显存压缩新算法、硬件发展趋势、软件生态演进。
前沿趋势
30
综合实战
从零构建一个显存优化的训练/推理Pipeline。
实战完整