01
显存基础与瓶颈分析
GPU显存架构（HBM/GDDR）、显存带宽与容量、推理中的显存瓶颈（KV Cache、模型权重、中间激活）
基础瓶颈
02
模型量化入门
FP16/INT8/INT4量化原理、量化对显存的影响、量化工具（bitsandbytes、GPTQ）
量化压缩
03
KV Cache优化
KV Cache原理、共享KV Cache、Multi-Query Attention (MQA)与Grouped-Query Attention (GQA)
注意力缓存
04
模型剪枝与蒸馏
结构化剪枝、非结构化剪枝、知识蒸馏减少参数量
剪枝蒸馏
05
Flash Attention
Flash Attention原理、分块计算、减少显存读写
高效IO
06
PagedAttention与vLLM
PagedAttention原理、vLLM框架、显存管理策略
分页推理
07
连续批处理
动态批处理、Inflight Batching、提高GPU利用率
批处理吞吐
08
模型并行策略
张量并行、流水线并行、序列并行
并行分布式
09
CPU Offloading
模型权重Offloading、KV Cache Offloading、计算与I/O重叠
卸载异构
10
显存碎片整理
显存碎片产生原因、碎片整理策略、PyTorch缓存分配器优化
碎片分配器
11
梯度检查点
原理、实现方式、在推理中的应用
检查点显存
12
混合精度推理
FP16/BF16推理、混合精度带来的显存收益、数值稳定性
精度加速
13
模型压缩
低秩分解（LoRA）、参数共享、权重聚类
压缩LoRA
14
推理引擎优化
TensorRT-LLM、DeepSpeed Inference、FasterTransformer
引擎部署
15
算子融合
融合策略、减少Kernel Launch开销、显存带宽优化
融合Kernel
16
动态显存分配
PyTorch显存分配器、CUDA Graph、显存池化
分配CUDA
17
模型部署中的显存监控
nvidia-smi、PyTorch Profiler、Nsight Systems
监控Profiler
18
稀疏化推理
稀疏矩阵乘法、2:4稀疏、结构化稀疏
稀疏加速
19
投机解码
原理、草稿模型、显存与延迟权衡
解码推测
20
多模态模型显存优化
视觉编码器优化、跨模态注意力优化
多模态视觉
21
长序列推理优化
ALiBi位置编码、Ring Attention、分布式长序列
长序列位置编码
22
模型服务化显存管理
模型热加载/卸载、显存预留、请求调度
服务调度
23
量化感知训练
QAT原理、与PTQ对比、显存收益
QAT训练
24
激活值压缩
激活值量化、激活值剪枝、减少中间显存
激活压缩
25
分布式推理框架
Ray Serve、Triton Inference Server、vLLM集群
分布式框架
26
显存与延迟的权衡
Batch Size选择、吞吐量与延迟平衡、成本优化
权衡成本
27
边缘设备显存优化
模型轻量化、TFLite/ONNX Runtime、NPU适配
边缘轻量
28
大模型推理基准测试
MLPerf Inference、显存峰值测量、性能分析
基准评测
29
未来趋势
CXL互连、近存计算、存算一体架构
前沿架构
30
综合实战
从模型加载到服务部署的全流程显存优化
实战全流程