第1章
显存基础与瓶颈分析
显存架构、带宽与延迟、显存溢出原因、性能分析工具(Nsight Systems)
基础Nsight
第2章
模型量化技术(上)
FP32/FP16/BF16/INT8原理、量化感知训练、动态量化实战
量化INT8
第3章
模型量化技术(下)
权重量化与激活量化、KL散度校准、GPTQ/AWQ量化方法
GPTQAWQ
第4章
显存复用与张量共享
in-place操作、张量视图(view)机制、显存池化技术
显存池view
第5章
梯度检查点
原理与实现、计算图分段、显存-时间权衡策略
Checkpoint权衡
第6章
混合精度训练(AMP)
自动混合精度、损失缩放、梯度裁剪、实战配置
AMP混合精度
第7章
分布式推理策略
张量并行、流水线并行、数据并行、序列并行
分布式并行
第8章
Flash Attention原理
标准注意力显存问题、分块计算、IO感知算法
FlashIO感知
第9章
PagedAttention与vLLM
KV Cache管理、动态显存分配、调度策略
vLLMPaged
第10章
连续批处理
动态调度、请求排队、显存碎片整理
Batching碎片
第11章
模型剪枝技术
结构化剪枝、非结构化剪枝、剪枝后微调、NVIDIA ASP
剪枝ASP
第12章
知识蒸馏
软标签蒸馏、特征蒸馏、在线蒸馏、部署加速
蒸馏加速
第13章
算子融合与Kernel优化
Fused Kernel、FlashDecoding、算子自动调优
FusionKernel
第14章
显存卸载技术
CPU-GPU显存交换、异步预取、NVLink优化
卸载NVLink
第15章
推理引擎对比
TensorRT、ONNX Runtime、OpenVINO、llama.cpp
TensorRTONNX
第16章
TensorRT优化实战
模型转换、动态形状、INT8校准、多流推理
INT8多流
第17章
ONNX Runtime优化
图优化、执行提供者、内存模式、跨平台部署
ORT跨平台
第18章
vLLM部署实战
安装配置、模型加载、吞吐量调优、监控指标
vLLM吞吐
第19章
TGI优化
连续批处理、张量并行、量化部署
TGI量化
第20章
SGLang框架
RadixAttention、前缀缓存、结构化生成语言
SGLangRadix
第21章
显存监控与告警
nvidia-smi高级用法、Prometheus+Grafana、自定义监控
监控Grafana
第22章
动态显存管理
显存热加载、冷热分离、弹性伸缩策略
弹性冷热
第23章
稀疏计算与MoE
稀疏注意力、混合专家模型、负载均衡
MoE稀疏
第24章
推测解码
草稿模型、验证机制、加速比分析
Speculative加速
第25章
KV Cache量化
INT8/FP8 KV Cache、滑动窗口、缓存淘汰策略
KVFP8
第26章
多模态模型显存优化
视觉编码器优化、跨模态注意力、特征缓存
多模态缓存
第27章
长文本推理优化
位置编码外推、Ring Attention、分块处理
长文本Ring
第28章
边缘端部署优化
模型压缩、NPU适配、内存带宽优化、功耗控制
边缘NPU
第29章
显存成本优化
Spot实例、抢占恢复、混合部署、成本模型
成本Spot
第30章
综合案例实战
从模型到服务、端到端优化、性能基准测试、最佳实践总结
实战基准