VIP20

本课程属于：027-GPU显存池 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存池性能优化技巧

📚 共计 30 章节

01

显存池基础概念

什么是显存池、为什么需要显存池、显存池与直接cudaMalloc的对比

入门核心

02

显存池核心架构

内存块管理、空闲链表设计、分配器策略

架构设计

03

显存池性能指标

分配延迟、碎片率、吞吐量、内存利用率

度量调优

04

显存池预分配策略

固定大小池、动态增长池、混合策略

策略内存

05

显存池线程安全设计

锁粒度优化、无锁队列、线程本地缓存

并发安全

06

显存池碎片整理

内存压缩、伙伴系统、分页机制

碎片整理

07

显存池与CUDA流

流序分配、异步回收、多流并发

CUDA异步

08

显存池缓存策略

LRU淘汰、热度统计、分级缓存

缓存淘汰

09

显存池对齐优化

内存对齐、缓存行对齐、NUMA感知

硬件对齐

10

显存池批量操作

批量分配、批量释放、合并操作

批量性能

11

显存池调试工具

内存泄漏检测、使用统计、性能剖析

调试工具

12

显存池与深度学习框架

PyTorch缓存分配器、TensorFlow BFC、自定义适配

框架适配

13

显存池多GPU扩展

跨设备分配、负载均衡、亲和性调度

多GPU扩展

14

显存池零拷贝优化

固定内存、映射内存、统一虚拟地址

零拷贝性能

15

显存池池化粒度

小对象池、大对象池、巨型对象处理

粒度对象

16

显存池回收机制

延迟回收、引用计数、弱引用

回收内存

17

显存池与CUDA Graph

图捕获、内存预分配、图重放优化

CUDA Graph优化

18

显存池内存池化

子分配器、内存复用、写时复制

池化复用

19

显存池性能基准测试

测试方法论、指标采集、对比分析

基准测试

20

显存池配置调优

参数调整、自适应策略、A/B测试

调优配置

21

显存池与MPS

多进程共享、隔离策略、性能权衡

MPS多进程

22

显存池错误处理

OOM恢复、优雅降级、日志记录

错误恢复

23

显存池与统一内存

迁移策略、预取优化、页面错误处理

统一内存UM

24

显存池内存监控

实时监控、告警阈值、历史趋势

监控告警

25

显存池与CUDA IPC

跨进程共享、句柄管理、生命周期

IPC跨进程

26

显存池自定义分配器

接口设计、策略模式、插件化

自定义扩展

27

显存池与GPU虚拟化

vGPU支持、资源隔离、QoS保障

虚拟化vGPU

28

显存池安全机制

边界检查、权限控制、沙箱执行

安全沙箱

29

显存池与CUDA 12新特性

虚拟内存管理、增强池化、新API适配

CUDA 12新特性

30

显存池实战案例

大模型训练优化、推理服务部署、视频处理管线

实战案例