01
显存池基础概念
什么是显存池、为什么需要显存池、与直接内存分配的区别
入门核心
02
显存池核心参数概览
初始大小、最大大小、块大小、对齐策略、回收策略
参数必知
03
初始大小调优
如何根据模型规模设定初始池大小、常见误区与经验值
调优实战
04
最大大小调优
防止OOM的关键、与系统显存的关系、动态扩展机制
OOM容量
05
块大小策略
固定块 vs 可变块、块大小对碎片化的影响、实测数据
碎片性能
06
对齐策略详解
256字节 vs 512字节对齐、性能收益与内存浪费
对齐底层
07
回收策略选择
立即回收、延迟回收、基于水位的回收、适用场景
回收策略
08
预分配机制
预热池、预分配对推理延迟的影响、训练场景取舍
预热延迟
09
碎片化管理
内部碎片与外部碎片、踩过的坑、compact机制
碎片经验
10
多流场景调优
多CUDA流下的池共享、流隔离策略、锁竞争优化
多流并发
11
显存池与异步操作
异步拷贝、异步计算对池的影响、同步点设置
异步同步
12
显存监控与诊断
nvidia-smi、Nsight Systems、自定义hook监控池状态
监控工具
13
常见性能瓶颈分析
分配延迟、释放延迟、锁竞争、内存带宽瓶颈
瓶颈分析
14
PyTorch显存池调优
caching allocator原理、PyTorch下参数设置
PyTorch框架
15
TensorFlow显存池调优
BFC allocator、allow_growth、per_process_gpu_memory_fraction
TensorFlow配置
16
自定义显存池实现思路
buddy system、slab、混合方案
实现进阶
17
显存池与混合精度训练
FP16/BF16下池参数调整、梯度累积影响
混合精度训练
18
大模型场景调优
LLM推理显存池策略、KV cache管理、连续批处理
大模型LLM
19
多卡场景调优
NCCL通信与显存池、跨卡池同步、统一池 vs 独立池
多卡分布式
20
显存池与数据加载
DataLoader预取压力、pin_memory与池交互
数据加载IO
21
显存泄漏排查
池泄漏 vs 应用泄漏、引用计数法、快照对比法
泄漏调试
22
显存池参数自动化调优
贝叶斯优化、网格搜索、基于profiling推荐
自动调优ML
23
显存池与容器化部署
Docker显存限制、K8s device plugin、池大小自适应
容器K8s
24
显存池与虚拟显存
GPU虚拟化场景、vGPU与MIG差异
虚拟化vGPU
25
显存池性能基准测试
设计benchmark、P99延迟、吞吐量、碎片率
基准指标
26
显存池与图编译
TorchScript、TensorRT、XLA对显存池的影响
编译优化
27
显存池与分布式训练
FSDP、DeepSpeed ZeRO、Megatron-LM池配置
分布式ZeRO
28
显存池与推理服务化
Triton、vLLM、TensorFlow Serving池集成
推理服务
29
显存池调优案例实战
从8GB到32GB模型部署完整调优过程
实战案例
30
显存池未来趋势
统一内存池、异构内存管理、CXL与池化技术展望
趋势前沿