01
显存复用概述
为什么需要显存复用？推理场景下的显存瓶颈分析。
基础概念
02
显存分配与释放机制
CUDA显存管理基础，cudaMalloc与cudaFree的代价。
CUDA底层
03
KV Cache复用原理
Transformer推理中的KV Cache是什么？为什么它是显存大户？
Transformer核心
04
PagedAttention核心思想
将KV Cache分页管理，像操作系统管理内存一样管理显存。
分页vLLM
05
vLLM框架中的显存复用
vLLM如何实现PagedAttention？Block Manager的工作流程。
vLLM框架
06
连续批处理与显存复用
Continuous Batching如何与显存复用协同工作。
批处理吞吐
07
Prefix Caching技术
共享前缀的请求如何复用KV Cache。
前缀缓存
08
RadixAttention
基于基数树的KV Cache共享策略。
基数树共享
09
显存池化技术
预分配显存池，避免频繁cudaMalloc。
池化性能
10
显存碎片整理
推理过程中的显存碎片问题及整理策略。
碎片优化
11
TensorRT-LLM中的显存复用
TensorRT-LLM的显存管理机制。
TensorRTNVIDIA
12
DeepSpeed Inference中的显存复用
ZeRO-Inference与显存优化。
DeepSpeedZeRO
13
量化与显存复用
INT4/INT8量化如何减少显存占用，提升复用效率。
量化INT8
14
投机解码中的显存复用
Speculative Decoding的显存开销与复用策略。
投机解码
15
多模型部署的显存复用
同时服务多个模型时的显存共享方案。
多模型共享
16
显存复用与请求调度
如何根据显存状态动态调度请求。
调度动态
17
显存复用性能评估指标
吞吐量、TTFT、TPOT、显存利用率。
指标评估
18
实战：基于vLLM部署LLaMA
配置显存复用参数，部署LLaMA模型。
实战vLLM
19
实战：PagedAttention优化推理引擎
使用PagedAttention优化自定义推理引擎。
实战引擎
20
实战：实现显存池管理器
手写一个简单的显存池管理器。
实战池化
21
实战：Prefix Caching在RAG中的应用
RAG场景下共享前缀缓存。
RAG前缀
22
实战：多轮对话KV Cache管理
多轮对话场景下的显存管理技巧。
对话KV
23
实战：长序列推理显存优化
长序列推理的显存优化技巧。
长序列优化
24
实战：量化+显存复用部署70B
结合量化与显存复用部署70B模型。
70B量化
25
实战：TensorRT-LLM配置显存复用
使用TensorRT-LLM配置显存复用。
TensorRT配置
26
实战：监控与分析显存使用
监控与分析显存使用情况。
监控分析
27
常见问题：显存泄漏排查
显存泄漏排查与修复。
泄漏调试
28
常见问题：OOM错误处理
OOM错误的处理与预防。
OOM预防
29
常见问题：性能与显存权衡
性能与显存占用的权衡。
权衡调优
30
显存复用未来趋势
下一代显存管理技术展望。
趋势前沿