第01章
显存池概述
什么是显存池 · 为什么需要显存池 · 核心设计目标
基础概念
第02章
显存分配与释放机制
cudaMalloc痛点 · 预分配策略 · 回收与复用
机制核心
第03章
块管理算法
空闲块链表 · 最佳/首次适应 · 伙伴系统
算法内存
第04章
线程安全设计
互斥锁 · 读写锁 · 无锁队列应用
并发安全
第05章
PyTorch框架适配
CachingAllocator源码 · 自定义分配器接口
PyTorch源码
第06章
TensorFlow框架适配
GPU allocator接口 · BFC算法解析
TensorFlowBFC
第07章
PaddlePaddle框架适配
内存管理机制 · 自定义显存池接入
Paddle集成
第08章
MXNet框架适配
Storage接口 · 显存池集成实践
MXNet实践
第09章
跨框架统一接口设计
抽象基类 · 工厂模式 · 配置化加载
架构设计模式
第10章
显存池性能基准测试
吞吐量 · 碎片率 · 多线程并发测试
性能基准
第11章
显存碎片问题
内部/外部碎片 · 碎片整理 · 压缩算法
碎片优化
第12章
显存池配置参数
初始/最大池大小 · 块大小对齐策略
配置调优
第13章
多GPU支持
单进程多卡 · 多进程多卡 · NUMA感知
多GPUNUMA
第14章
显存池监控与日志
实时统计 · 分配热点 · 可视化工具
监控可观测
第15章
显存池与计算流
CUDA Stream绑定 · 异步分配 · 回调
CUDAStream
第16章
显存池与混合精度训练
FP16优化 · 梯度累积场景适配
混合精度FP16
第17章
分布式训练中的应用
NCCL交互 · 梯度压缩场景
分布式NCCL
第18章
显存池的单元测试
Google Test · Mock CUDA · 压力测试
测试质量
第19章
边界情况处理
OOM回退 · 动态扩容 · 优雅降级
鲁棒性边界
第20章
自定义CUDA Kernel
共享内存池 · 寄存器溢出场景
Kernel底层
第21章
序列化与恢复
Checkpoint保存 · 热升级场景
持久化热升级
第22章
推理场景优化
静态/动态形状推理 · 缓存策略
推理优化
第23章
TensorRT集成
IExecutionContext内存管理 · 自定义分配器
TensorRT集成
第24章
C++实现细节
RAII封装 · 智能指针 · 内存对齐
C++实现
第25章
Python绑定
pybind11 · 上下文管理器
Python绑定
第26章
跨平台支持
Windows/Linux/MacOS · CUDA与ROCm
跨平台ROCm
第27章
版本演进
v1.0到v3.0设计迭代 · 关键优化点
历史演进
第28章
社区实践
NVIDIA MPS · 腾讯TNN · 百度Paddle
案例社区
第29章
调试技巧
cuda-memcheck · valgrind · AddressSanitizer
调试工具
第30章
未来趋势
统一内存池 · 异构内存 · CXL扩展
前沿趋势