VIP20

本课程属于：027-GPU显存池 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存池技术：如何降低显存峰值

📚 共计 30 章节

第1章

显存危机：为什么你的模型总是OOM？

显存分配机制与常见瓶颈分析

OOM瓶颈

第2章

显存池初探：什么是显存池？

它和普通显存分配有什么不同？

概念对比

第3章

核心思想：预分配与复用

减少cudaMalloc调用次数

预分配复用

第4章

显存碎片化：成因、危害与解决方案

显存池如何解决碎片问题

碎片池化

第5章

显存池的架构设计

全局池、线程池、设备池的概念与选择

架构多级池

第6章

显存块管理：数据结构设计

空闲链表、哈希表、红黑树

数据结构查找

第7章

分配策略：First-Fit / Best-Fit / Buddy System

在显存池中的应用

策略伙伴系统

第8章

释放策略：立即释放 vs 延迟释放

缓存池——不同场景下的选择

释放缓存

第9章

显存池的线程安全

锁机制、无锁队列、线程本地缓存 (TLS)

并发TLS

第10章

显存池的峰值控制

如何通过池大小限制显存峰值

峰值限制

第11章

显存池与CUDA Stream

多流场景下的显存池协同

Stream异步

第12章

显存池与异步操作

cudaMemcpyAsync 与显存池的配合

异步拷贝

第13章

监控与调试：统计池内显存使用

如何精确监控显存池

监控调试

第14章

显存池的扩展性：多GPU设计

支持多GPU的显存池架构

多GPU扩展

第15章

显存池与PyTorch

CachingAllocator 源码分析

PyTorch源码

第16章

显存池与TensorFlow

BFCAllocator 原理

TensorFlowBFC

第17章

显存池与MXNet

MXNet 显存池实现对比

MXNet对比

第18章

序列化与反序列化：模型加载预热

显存池预热技术

序列化预热

第19章

显存池与动态形状

处理变长张量的显存池优化

动态形状变长

第20章

显存池的压缩技术

显存压缩与池化结合降低峰值

压缩峰值

第21章

优先级分配：为关键任务预留显存

显存池的优先级策略

优先级预留

第22章

跨进程共享：多进程训练设计

多进程显存池

跨进程共享

第23章

自动调优：根据模型自动调整池参数

自适应显存池

自动调优自适应

第24章

显存池与梯度检查点

结合使用进一步降低峰值

梯度检查点峰值

第25章

混合精度训练：FP16/BF16优化

显存池在混合精度下的应用

混合精度FP16

第26章

实战案例一：BERT训练 OOM→降低40%

显存池实战：BERT 训练优化

BERT实战

第27章

实战案例二：ResNet-50推理峰值降低60%

推理场景显存池优化

ResNet推理

第28章

实战案例三：多任务学习中的显存池共享

多任务显存复用

多任务共享

第29章

常见陷阱：内存泄漏、死锁、过度预留

显存池避坑指南

陷阱死锁

第30章

显存池的未来：统一内存池与异构管理

趋势展望与技术前沿

未来异构