01
显存碎片初探
什么是显存碎片？如何影响训练吞吐？一个简单实验观察碎片。
基础实验
02
CUDA内存架构全景
从全局内存到寄存器，一张图看懂GPU存储层次。
架构图解
03
内存分配器原理
cudaMalloc背后：Buddy System 与 Slab Allocator。
分配器内核
04
碎片产生的根源
频繁分配释放、大小不一、生命周期交错——三大元凶。
原理分析
05
碎片度量指标
量化碎片率：内部vs外部碎片，计算公式详解。
度量公式
06
NVIDIA 官方工具链
nvidia-smi、Nsight Systems 观察显存使用模式。
工具NVIDIA
07
PyTorch 缓存分配器
caching allocator 如何工作？既是救星也是祸根。
PyTorch缓存
08
TensorFlow 内存管理
BFC Allocator 原理与配置。
TensorFlowBFC
09
碎片实战诊断
训练任务OOM，如何判断是显存不够还是碎片太多？
诊断实战
10
内存池技术
手写简单内存池，理解预分配与复用。
内存池实现
11
PyTorch expandable_segments
新特性如何缓解碎片？实测效果对比。
新特性对比
12
梯度检查点
用时间换空间，减少显存占用的经典技巧。
优化梯度
13
混合精度训练
FP16/BF16降低显存压力，AMP底层逻辑。
精度AMP
14
显存卸载技术
CPU Offloading原理与实现，ZeRO-Offload浅析。
卸载ZeRO
15
模型并行与碎片
张量并行、流水线并行对显存碎片的不同影响。
并行策略
16
序列并行
处理长序列时，如何避免激活值碎片化？
长序列激活
17
FlashAttention
注意力计算显存优化，如何减少碎片？
Attention优化
18
重计算策略
选择性重计算 vs 全重计算，trade-off 分析。
重计算权衡
19
显存碎片模拟器
用Python模拟碎片生成过程，理解演化规律。
模拟Python
20
碎片整理技术
GPU显存能否像CPU内存一样compact？现状与局限。
整理局限
21
CUDA Graphs 与内存
捕获图时固定内存分配，避免碎片抖动。
CUDA Graphs固定
22
MPS 与碎片
Multi-Process Service 显存共享与碎片挑战。
MPS共享
23
MIG 与碎片
Multi-Instance GPU 显存隔离策略对碎片的影响。
MIG隔离
24
大模型训练中的碎片
训练LLaMA-70B时，碎片问题有多严重？
大模型LLaMA
25
推理场景的碎片
服务化推理中，动态batch带来的碎片挑战。
推理动态batch
26
碎片与吞吐的定量关系
建立碎片率到吞吐下降的数学模型。
建模吞吐
27
自动化碎片优化工具
torch.cuda.memory 和 memory_snapshot 高级用法。
工具自动化
28
生产环境最佳实践
8卡A100集群的显存配置清单。
最佳实践A100
29
未来趋势
HBM3、CXL互连、池化显存——下一代内存技术对碎片的影响。
趋势HBM3
30
课程总结与实战演练
综合运用所学，优化一个真实模型的显存效率。
总结实战