VIP20
本课程属于:028-batch推理队列 AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

显存复用与动态分配实战

📚 共计 30 章节
01
显存基础
GPU显存架构(HBM/GDDR)、显存带宽与延迟、显存容量与计算单元的关系
架构带宽
02
显存分配机制
CUDA运行时显存分配(cudaMalloc)、驱动API分配(cuMemAlloc)、虚拟内存管理
cudaMalloccuMemAlloc
03
显存复用策略
内存池(Memory Pool)设计、对象池模式、显存碎片整理
内存池碎片整理
04
动态分配算法
伙伴系统(Buddy System)、Slab分配器、TLSF(Two-Level Segregated Fit)算法
BuddyTLSF
05
PyTorch显存管理
缓存分配器(Caching Allocator)、stream语义、torch.cuda.memory_stats
CachingPyTorch
06
TensorFlow显存管理
BFC(Best-Fit with Coalescing)算法、GPUOptions配置、显存增长策略
BFCGPUOptions
07
显存复用实战
Transformer模型显存复用、梯度检查点(Gradient Checkpointing)、激活值重计算
Transformer重计算
08
动态形状处理
动态batch处理、可变序列长度、显存预留与扩展
动态batch可变序列
09
显存监控与调试
nvidia-smi详解、Nsight Systems分析、内存泄漏检测
nvidia-smiNsight
10
多流与并发
CUDA Stream与显存分配、多流复用策略、MPS(Multi-Process Service)显存共享
StreamMPS
11
显存压缩技术
混合精度训练(FP16/BF16)、梯度压缩、量化感知训练中的显存优化
混合精度量化
12
分布式训练显存
数据并行显存分布、模型并行显存切分、流水线并行显存管理
数据并行流水线
13
显存池化服务
GPU显存池化架构、远程显存访问、显存热迁移
池化热迁移
14
显存安全与隔离
cgroup与显存限制、MIG(Multi-Instance GPU)显存隔离、显存配额管理
cgroupMIG
15
显存性能分析
带宽利用率计算、显存访问模式优化、合并访问(Coalesced Access)
带宽合并访问
16
显存分配器实现
从零实现一个简单的显存分配器、分配器性能基准测试
实现基准测试
17
显存碎片问题
内部碎片与外部碎片、碎片率计算、碎片整理策略
碎片整理
18
显存预分配技术
启动时预分配、热启动缓存、显存预热策略
预分配预热
19
显存复用框架
PyTorch的CUDA Caching Allocator源码分析、自定义分配器插件
源码分析插件
20
显存与计算重叠
计算与数据传输重叠、双缓冲技术、流水线隐藏延迟
重叠双缓冲
21
显存感知调度
基于显存的任务调度、显存感知的作业队列、优先级调度
调度优先级
22
显存虚拟化
GPU虚拟化技术、vGPU显存管理、显存超分(Overcommitment)
vGPU超分
23
显存持久化
持久化显存分配、跨进程显存共享、IPC(Inter-Process Communication)显存
IPC持久化
24
显存错误处理
ECC显存错误、显存越界检测、优雅降级策略
ECC降级
25
显存与NUMA
NUMA架构下的显存分配、CPU-GPU数据局部性、显存亲和性
NUMA亲和性
26
显存生命周期管理
引用计数显存管理、RAII模式、智能指针在显存管理中的应用
RAII智能指针
27
显存分配器调优
分配器参数调优、不同负载下的分配器选择、A/B测试方法
调优A/B测试
28
显存复用案例
推荐系统显存优化、CV模型显存复用、NLP大模型显存管理
推荐系统NLP
29
显存未来趋势
CXL(Compute Express Link)显存扩展、近存计算、存算一体架构
CXL近存计算
30
综合实战
构建一个完整的显存管理系统、性能对比与报告生成、最佳实践总结
系统构建最佳实践