01
显存池概述
什么是显存池、为什么需要显存池、核心价值与挑战
基础概念
02
GPU内存层次结构
全局内存、共享内存、寄存器、常量内存、纹理内存对比
架构GPU
03
显存分配与释放机制
cudaMalloc/cudaFree底层原理、系统调用开销分析
底层CUDA
04
显存碎片化问题
内部碎片与外部碎片、对训练推理的影响、案例分析
碎片调优
05
显存池核心设计目标
低延迟分配、高吞吐、碎片控制、可扩展性
设计目标
06
显存池基础架构
空闲链表、伙伴系统、slab分配器、分页机制对比
架构对比
07
空闲链表设计
单链表、双链表、哈希索引链表、无锁队列实现
链表无锁
08
伙伴系统详解
二叉树管理、分裂与合并算法、2的幂次分配策略
伙伴系统算法
09
Slab分配器
对象缓存、着色技术、NUMA感知的slab分配
SlabNUMA
10
分页式显存池
固定分页与可变分页、页表管理、TLB优化
分页TLB
11
线程安全设计
互斥锁、读写锁、无锁数据结构、CAS操作
并发锁
12
缓存友好设计
CPU缓存行对齐、GPU共享内存bank冲突避免
缓存bank
13
显存池初始化策略
预分配、懒分配、混合策略、动态扩容
初始化策略
14
分配策略对比
首次适应、最佳适应、最差适应、快速适应
策略算法
15
回收策略设计
立即回收、延迟回收、批量回收、异步回收
回收GC
16
显存池性能指标
分配延迟、吞吐量、碎片率、缓存命中率
指标性能
17
显存池监控与调试
日志系统、性能计数器、可视化工具
监控调试
18
显存池与CUDA流
多流并发分配、流序分配、优先级分配
CUDA流并发
19
显存池与多GPU
跨GPU分配、统一内存池、NVLink优化
多GPUNVLink
20
显存池与深度学习框架
PyTorch缓存分配器、TensorFlow BFC算法
框架PyTorch
21
PyTorch缓存分配器源码分析
StreamPool、BlockPool、RawAllocator
源码PyTorch
22
TensorFlow BFC算法
最佳适应算法、Chunk管理、内存压缩
BFCTensorFlow
23
显存池在推理场景的优化
动态批处理、KV Cache管理、连续批处理
推理优化
24
显存池在训练场景的优化
梯度累积、激活值重计算、混合精度训练
训练混合精度
25
显存池与CUDA Graph
图捕获、图重放、静态内存分配
CUDA Graph静态
26
显存池与统一内存
UM的页错误处理、预取策略、内存迁移
统一内存UM
27
显存池与CUDA IPC
跨进程共享、NCCL通信优化、显存池同步
IPCNCCL
28
显存池调优实战
性能分析工具使用、瓶颈定位、参数调优案例
调优实战
29
显存池高级主题
持久化显存池、RDMA集成、FPGA协同
高级RDMA
30
显存池未来趋势
CXL内存扩展、异构内存池、AI驱动的智能分配
趋势CXL