第1章
显存碎片初探
什么是显存碎片 · 根本原因 · 对AI训练推理的影响
基础概念
第2章
CUDA内存模型速览
全局内存 · 共享内存 · 寄存器 · 局部/常量/纹理内存
CUDA架构
第3章
内存分配与释放机制
cudaMalloc/cudaFree · 驱动层与运行时 · 页表管理
底层驱动
第4章
Buddy内存分配算法
Buddy原理 · GPU驱动应用 · 优缺点
算法Buddy
第5章
SLAB分配器
设计思想 · 显存管理角色 · 与Buddy配合
SLAB内存
第6章
显存碎片分类
内部/外部碎片 · 显存空洞 · 碎片率计算
分类指标
第7章
碎片化场景实战1
多租户推理 · 动态Batch碎片 · 解决方案
实战推理
第8章
碎片化场景实战2
大模型Checkpoint碎片 · 断点续训 · 优化策略
训练大模型
第9章
碎片化场景实战3
PyTorch动态图泄漏 · TensorFlow静态图预分配
框架调试
第10章
碎片检测工具
nvidia-smi · Nsight Systems · 自定义CUDA回调
工具检测
第11章
碎片可视化
Python绘制分配图 · 热力图 · 碎片率曲线
可视化Python
第12章
碎片治理策略概览
预分配 · 池化 · 对齐 · 合并 · 压缩 · 整理
策略总览
第13章
显存池化技术
自定义池 · 固定/可变大小 · 线程安全
池化工程
第14章
内存对齐与Padding
对齐规则 · 额外开销 · 对齐粒度选择
对齐优化
第15章
显存合并策略
相邻合并 · 伙伴系统 · 延迟/即时合并
合并算法
第16章
显存压缩技术
GPU压缩原理 · 透明/显式压缩 · 性能影响
压缩存储
第17章
碎片整理 (Defrag)
GPU整理可行性 · Copy-on-write · 触发时机
整理高级
第18章
CUDA Memory Pool API
cudaMemPool系列 · 创建/销毁 · 调优参数
APICUDA
第19章
PyTorch Caching Allocator
缓存分配器 · expandable_segments · max_split_size
PyTorch分配器
第20章
TensorFlow BFC Allocator
BFC算法 · allow_growth · 碎片日志解读
TensorFlowBFC
第21章
自定义Allocator实战
基于cudaMallocAsync · 内存池 · 性能对比
实战自定义
第22章
显存泄漏检测
Valgrind for CUDA · cuda-memcheck · 自定义钩子
调试泄漏
第23章
显存碎片基准测试
测试用例设计 · 碎片率指标 · 自动化框架
测试基准
第24章
多GPU场景下的碎片
NCCL通信 · 跨GPU映射 · 统一内存碎片
多GPUNCCL
第25章
容器化环境中的显存碎片
Docker GPU限制 · K8s设备插件 · 碎片隔离
容器K8s
第26章
生产案例1：推理集群
推荐系统 · 30%碎片率降到5%
案例推理
第27章
生产案例2：大语言模型
训练碎片治理 · 吞吐提升20%
案例LLM
第28章
显存碎片与性能调优
碎片率与带宽 · kernel启动延迟影响
性能调优
第29章
未来趋势
硬件改进 · 软件定义显存 · CXL与池化
前沿趋势
第30章
课程总结与实战演练
综合案例 · FAQ · 推荐学习路径
总结演练