第1章
显存碎片化概述
什么是显存碎片化 · 内部碎片与外部碎片 · 对训练/推理的影响
概念
分类
影响
第2章
显存分配机制
CUDA分配器原理 · cudaMalloc/cudaFree底层 · PyTorch缓存分配器
CUDA
caching allocator
底层
第3章
碎片化根因分析
频繁申请释放小张量 · 动态shape空洞 · 多流冲突 · 梯度检查点
根因
动态shape
多流
第4章
诊断与监控工具
nvidia-smi · memory_summary() · memory_stats() · Nsight Systems
监控
nvidia-smi
Nsight
第5章
实战优化策略 (上)
预分配 · max_split_size_mb调优 · 扩大batch · empty_cache() 正确姿势
预分配
batch调优
cache清理
第6章
实战优化策略 (中)
张量池化 · 内存复用(in-place) · set_per_process_memory_fraction
tensor pooling
in-place
内存限制
第7章
实战优化策略 (下)
碎片整理 · 多进程隔离 · Apex/FSDP · 混合精度影响
defrag
FSDP
混合精度
第8章
案例实战
BERT碎片排查 · 大Batch OOM修复 · 多卡通信碎片
BERT
OOM
多卡
第9章
总结与最佳实践
碎片预防清单 · 监控告警体系 · 长期维护建议
最佳实践
监控
维护
第10章
附录
显存错误码 · CUDA OOM vs 碎片OOM · 社区工具推荐
错误码
pytorch_memlab
gpustat