01
显存池基础
什么是显存池、显存池与普通内存分配的区别、为什么深度学习需要显存池。
概念入门
02
显存池核心机制
预分配策略、缓存复用机制、碎片整理原理。
机制核心
03
显存池配置参数
初始池大小、最大池限制、扩展步长、空闲块回收阈值。
配置调优
04
Batch Size基础
Batch Size定义、对训练的影响、与显存的关系。
基础Batch
05
显存占用分析
模型参数显存、梯度显存、优化器状态显存、中间激活显存。
分析显存
06
线性缩放法则
Batch Size与学习率的关系、学习率 warmup 策略、实际案例分析。
缩放学习率
07
显存瓶颈定位
使用 nvidia-smi 监控显存、PyTorch 显存分析工具、自定义显存探测器。
监控调试
08
Batch Size调参策略
从小到大的搜索策略、基于显存上限的自动调整、梯度累积模拟大Batch。
调参策略
09
显存池调优实战
PyTorch CUDA caching allocator 配置、TensorFlow 显存池设置、自定义显存池实现。
实战框架
10
混合精度训练
FP16/FP32混合精度原理、显存节省效果、Loss Scaling技巧。
精度加速
11
梯度检查点
时间换空间的策略、检查点位置选择、实际显存节省计算。
检查点优化
12
显存池与分布式训练
数据并行显存池、模型并行显存池、流水线并行显存池。
分布式并行
13
动态显存管理
运行时显存调整、优先级显存回收、OOM自动恢复机制。
动态恢复
14
Batch Size与模型收敛
大Batch的泛化差距、Batch Normalization调整、学习率衰减配合。
收敛泛化
15
显存池性能基准测试
吞吐量测试、延迟测试、碎片率测试、多任务并发测试。
基准性能
16
常见显存错误及解决
CUDA Out of Memory、显存泄漏、显存碎片化、显存池死锁。
错误排查
17
显存池与数据加载器
DataLoader prefetch 显存管理、内存映射文件、共享内存机制。
数据加载
18
Batch Size与硬件适配
不同GPU架构的显存带宽、NVLink/NVSwitch影响、多卡显存池共享。
硬件带宽
19
显存池监控与可视化
实时显存使用曲线、池命中率统计、碎片率热力图。
监控可视化
20
高级显存池技术
异步显存回收、分层显存池、NUMA感知显存分配。
高级NUMA
21
Batch Size自动搜索
贝叶斯优化调参、遗传算法调参、强化学习调参。
自动搜索
22
显存池与模型部署
推理显存池优化、动态Batch推理、显存池序列化。
部署推理
23
显存池安全与隔离
多租户显存隔离、显存配额管理、显存使用审计。
安全隔离
24
Batch Size与数据增强
在线增强显存开销、缓存增强数据、混合精度增强。
增强数据
25
显存池在CV领域的实践
图像分类、目标检测、语义分割的显存调优案例。
CV案例
26
显存池在NLP领域的实践
Transformer显存优化、长序列显存管理、生成式模型显存池。
NLPTransformer
27
显存池在推荐系统领域的实践
大规模Embedding显存、特征交叉显存、实时推理显存。
推荐Embedding
28
显存池与AutoML
自动显存配置、NAS中的显存约束、超参数优化中的显存管理。
AutoMLNAS
29
显存池未来趋势
统一内存池、CXL内存扩展、存算一体架构下的显存池。
趋势架构
30
综合实战项目
从零构建完整的显存池与Batch Size调优系统，包含监控、自动调参、异常恢复。
综合项目