01
显存池概述
什么是显存池 · 为什么需要显存池 · 核心价值
概念入门
02
GPU显存管理基础
cudaMalloc · cudaFree · 显存碎片问题
CUDA基础
03
显存池核心设计
预分配策略 · 块管理算法 · 回收复用机制
设计核心
04
显存池数据结构
空闲链表 · 哈希表索引 · 伙伴系统
数据结构Buddy
05
显存池分配策略
首次适应 · 最佳适应 · 最差适应 · 快速适应
策略算法
06
显存池回收策略
延迟回收 · 立即回收 · 合并相邻块 · 碎片整理
回收碎片
07
显存池线程安全
互斥锁 · 读写锁 · 无锁队列 · 线程局部缓存
并发TLS
08
显存池性能优化
减少cudaMalloc · 批量分配 · 对齐 · 动态调整
优化性能
09
显存池与深度学习框架
PyTorch CachingAllocator · TensorFlow BFC · MXNet
框架PyTorch
10
显存池监控与调试
显存统计 · 泄漏检测 · Nsight Systems
调试工具
11
显存池高级特性
跨设备池 · 统一内存池 · 异构内存管理
高级异构
12
手写简易显存池 Part 1
基础框架与分配器
实战Part1
13
手写简易显存池 Part 2
回收与复用逻辑
实战Part2
14
手写简易显存池 Part 3
线程安全与性能测试
实战Part3
15
显存池与CUDA Stream
异步分配 · Stream序贯 · 多Stream共享
Stream异步
16
显存池与多GPU
负载均衡 · 池复制 · 跨节点池
多GPU分布式
17
显存池与模型训练
大模型显存优化 · 梯度检查点 · 池配合
训练大模型
18
显存池与推理部署
推理显存特征 · 静态分配 · 动态Batch
推理部署
19
显存池常见问题
泄漏排查 · 死锁分析 · 性能瓶颈定位
排错经验
20
PyTorch CachingAllocator 源码 Part 1
源码解读 · 核心结构
源码PyTorch
21
PyTorch CachingAllocator 源码 Part 2
分配回收 · 块管理
源码PyTorch
22
TensorFlow BFCAllocator 源码
BFC算法 · 源码分析
源码TensorFlow
23
显存池设计模式
对象池 · 资源池 · 连接池类比
模式类比
24
显存池与CUDA Graph
图捕获显存管理 · 静态池优化
CUDA Graph优化
25
显存池与NCCL
通信缓冲池 · 集合操作显存管理
NCCL通信
26
显存池与CUDA IPC
跨进程显存共享 · IPC适配
IPC进程
27
显存池与CUDA MPS
多进程服务 · MPS池化策略
MPS多进程
28
显存池未来趋势
GPU显存虚拟化 · 池化演进 · CXL内存池
趋势CXL
29
显存池基准测试
Benchmark方法论 · 吞吐/延迟/碎片率
测试Benchmark
30
显存池总结与展望
设计哲学 · 最佳实践 · 学习路径推荐
总结路线