01
显存池概述
为什么大模型需要显存池？核心思想与价值
概念动机
02
显存管理基础
GPU显存架构 · CUDA内存模型 · 分配释放机制
GPUCUDA
03
显存池核心设计
预分配策略 · 缓存复用 · 碎片整理算法
设计缓存
04
显存池与大模型推理
KV Cache管理 · 动态Batch · 显存调度
推理KV
05
显存池与大模型训练
ZeRO优化器 · 梯度累积 · 显存复用
训练ZeRO
06
显存池性能调优
吞吐量优化 · 延迟优化 · 利用率监控
调优监控
07
显存池实战案例
PyTorch实现 · vLLM显存池分析
实战vLLM
08
显存池进阶话题
异构显存池 · 多卡 · 计算重叠
进阶多卡
09
显存池未来趋势
CXL互联 · 近存计算 · 标准化
趋势CXL
10
课程总结与展望
显存池在大模型时代的核心地位
总结展望
11
线程安全设计
锁机制 · 无锁队列 · 原子操作
并发锁
12
块管理策略
固定块 vs 可变块 · 伙伴系统 · Slab
内存Slab
13
地址映射
虚拟/物理地址 · 页表 · TLB优化
地址TLB
14
回收策略
LRU · LFU · 时钟算法 · 自适应回收
回收LRU
15
预热机制
预加载 · 冷启动优化 · 策略选择
预热冷启动
16
计算图优化
算子融合 · 内存规划 · 生命周期分析
图优化融合
17
监控与诊断
Profiling · 泄漏检测 · 瓶颈分析
监控诊断
18
分布式训练应用
数据并行 · 模型并行 · 流水线并行
分布式并行
19
推理服务应用
连续批处理 · Prefix Caching · 显存共享
推理服务
20
容错设计
检查点 · 显存快照 · 故障恢复
容错快照
21
量化技术
INT8/FP8量化 · 显存压缩 · 混合精度
量化压缩
22
NUMA感知设计
CPU-GPU亲和性 · 跨Socket优化
NUMA亲和
23
异步操作
异步分配 · 释放 · 迁移
异步非阻塞
24
优先级调度
高优任务预留 · QoS保障
调度QoS
25
碎片整理
全量整理 · 增量整理 · 时机选择
碎片整理
26
跨进程共享
IPC机制 · 共享内存 · 安全隔离
IPC共享
27
持久化
显存快照 · 模型热加载 · 状态恢复
持久化快照
28
自动调优
强化学习调参 · 在线学习 · 自适应
自动RL
29
测试与验证
单元测试 · 压力测试 · 混沌工程
测试混沌
30
社区与生态
开源项目 · 工业实践 · 学术前沿
社区生态