01
显存池基础概念
为什么需要显存池？显存分配与释放的开销分析，显存池的核心设计思想。
核心入门
02
显存池数据结构设计
空闲链表、哈希表、伙伴系统在显存池中的应用。
数据结构伙伴系统
03
显存池分配策略
首次适应、最佳适应、最差适应算法对比与实现。
算法分配
04
显存池回收与碎片整理
内存碎片产生原因，延迟回收与合并策略。
碎片回收
05
显存池线程安全设计
互斥锁、读写锁、无锁队列在显存池中的应用。
并发无锁
06
显存池性能基准测试
带宽测试、延迟测试、多线程并发测试方法。
性能基准
07
多卡通信基础
NVIDIA NCCL库介绍，Ring AllReduce原理。
NCCLAllReduce
08
多卡通信拓扑优化
环形拓扑、树形拓扑、双环拓扑对比。
拓扑优化
09
通信与计算重叠
Stream与Event机制，异步通信实现。
异步Stream
10
梯度压缩技术
量化、稀疏化、TopK梯度压缩原理与实现。
压缩梯度
11
梯度累积与延迟同步
大Batch训练中的通信优化策略。
大Batch同步
12
显存池与通信协同
通信缓冲区预分配，显存池避免通信内存抖动。
协同缓冲区
13
显存池在多卡场景下的共享策略
跨进程显存映射，IPC句柄管理。
IPC共享
14
显存池的NUMA感知设计
绑定GPU与CPU内存通道，减少跨NUMA访问。
NUMA亲和性
15
显存池的持久化与序列化
模型状态快照，显存池内容保存与恢复。
持久化快照
16
显存池的监控与诊断
显存使用统计，泄漏检测，性能热点分析。
监控诊断
17
多卡通信中的显存池优化
减少通信中间缓冲区，显存池直接通信。
零拷贝通信
18
显存池与PyTorch DDP集成
自定义Allocator，替换默认缓存分配器。
PyTorchDDP
19
显存池与DeepSpeed ZeRO集成
ZeRO阶段显存管理优化。
ZeRODeepSpeed
20
显存池与Megatron-LM集成
张量并行与流水线并行中的显存池。
Megatron并行
21
显存池的自动调优
基于历史分配模式的预测预分配。
自动调优预测
22
显存池的冷热分离
高频小对象与低频大对象的分池管理。
冷热分池
23
多卡通信中的带宽利用率优化
NCCL环境变量调优，NVLink与PCIe带宽利用。
带宽NVLink
24
多卡通信中的同步策略
同步AllReduce与异步AllReduce对比。
同步异步
25
显存池的容错设计
GPU OOM时的优雅降级，显存池回退策略。
容错OOM
26
显存池的跨框架兼容
适配TensorFlow、PyTorch、JAX的显存接口。
跨框架兼容
27
显存池的CUDA Stream绑定
每个Stream独立池，减少同步开销。
Stream绑定
28
显存池的虚拟内存映射
CUDA Virtual Memory Management应用。
虚拟内存CUDA
29
多卡通信中的显存池实战
训练GPT-3 175B模型时的显存池配置。
GPT-3实战
30
显存池与多卡通信的未来趋势
CXL互联，池化显存，异构内存管理。
未来CXL