第01章
显存池初探
什么是显存池、为什么需要显存池、显存池的核心价值。
概念入门
第02章
GPU内存层次
全局显存、共享内存、寄存器、常量内存、纹理内存。
硬件基础
第03章
显存分配痛点
cudaMalloc的延迟问题、显存碎片化、频繁分配释放的开销。
性能瓶颈
第04章
显存池设计哲学
预分配策略、复用策略、回收策略、扩容策略。
设计架构
第05章
最小可用池实现
基于std::vector的简单显存池、分配与回收逻辑、性能基准测试。
C++实现
第06章
块式管理
固定大小块池、伙伴算法(Buddy System)、Slab分配器。
算法内存
第07章
线程安全设计
互斥锁(Mutex)、读写锁(RWLock)、无锁队列(Lock-Free Queue)在显存池中的应用。
并发安全
第08章
显存池与CUDA Stream
多流并发分配、Stream序贯回收、同步与异步的权衡。
CUDA异步
第09章
显存池性能指标
分配延迟、吞吐量、碎片率、内存利用率。
度量优化
第10章
显存池监控与调试
使用NVIDIA Nsight Systems分析显存池行为、自定义日志系统。
调试工具
第11章
显存池与深度学习框架
PyTorch CachingAllocator源码分析、TensorFlow BFC Allocator解析。
框架源码
第12章
显存池在推理场景的应用
动态批处理、KV Cache管理、连续批处理中的显存池。
推理LLM
第13章
显存池在训练场景的应用
梯度累积、混合精度训练、ZeRO优化器中的显存池。
训练ZeRO
第14章
显存池与CUDA Graphs
图捕获中的显存分配、静态图显存优化。
CUDAGraph
第15章
显存池与MPS
多进程共享显存池、进程隔离与安全。
多进程MPS
第16章
显存池与CUDA IPC
跨进程显存共享、显存池的IPC扩展。
IPC共享
第17章
显存池与统一内存(UM)
UM的按需分页、显存池与UM的混合使用。
UM统一内存
第18章
显存池与CUDA VMM
VMM的物理显存映射、显存池的VMM实现。
VMM虚拟内存
第19章
显存池的NUMA感知
多GPU拓扑、显存池的NUMA亲和性分配。
NUMA拓扑
第20章
显存池的持久化
显存池状态序列化、热启动恢复、显存池快照。
持久化快照
第21章
显存池的弹性伸缩
根据负载动态调整池大小、缩容策略与安全回收。
弹性动态
第22章
显存池的优先级分配
高优先级任务预留显存、低优先级任务借用显存。
优先级QoS
第23章
显存池的碎片整理
显存压缩、显存迁移、碎片率阈值触发整理。
碎片整理
第24章
显存池的统计与可视化
Prometheus指标暴露、Grafana仪表盘、显存池健康看板。
监控可视化
第25章
显存池的单元测试
Google Test框架、模拟GPU环境、压力测试与混沌工程。
测试混沌
第26章
显存池的Benchmark
自定义Benchmark工具、与cudaMalloc对比、多场景性能报告。
基准性能
第27章
显存池的C++模板化
类型安全的显存分配器、STL容器适配、自定义删除器。
模板STL
第28章
显存池的Python绑定
pybind11封装、Python上下文管理器、与PyTorch Tensor互操作。
Pythonpybind11
第29章
显存池的Rust实现
Rust的所有权模型、Safe与Unsafe封装、性能对比。
Rust系统
第30章
显存池的未来
GPU显存池标准化、CXL内存池、异构内存池的展望。
前沿趋势