01
性能诊断概述
什么是推理性能瓶颈、为什么需要深度诊断、通用流程与核心指标（延迟、吞吐量、显存占用）
指标流程
02
性能分析工具链
Linux perf、Nsight Systems、Nsight Compute、PyTorch Profiler、TensorBoard Profiling
工具profiling
03
计算瓶颈分析
FLOPs利用率、算子耗时分布、矩阵乘法与卷积的优化空间
FLOPs算子
04
显存瓶颈分析
显存带宽利用率、显存碎片化、KV Cache优化、PagedAttention原理
显存KV Cache
05
I/O瓶颈分析
数据加载器性能、磁盘与网络I/O、预处理流水线优化
I/O流水线
06
通信瓶颈分析
集合通信（AllReduce、AllGather）、通信计算重叠、拓扑感知调度
通信拓扑
07
框架层瓶颈
Python解释器开销、CUDA Graph、TorchScript与Triton编译器
框架编译器
08
模型结构瓶颈
Attention机制变体（MHA、MQA、GQA）、激活函数选择、LayerNorm优化
Attention结构
09
推理引擎优化
TensorRT、ONNX Runtime、vLLM、TGI的架构与调优
引擎TensorRT
10
量化与精度分析
FP16/BF16/INT8/INT4量化、量化感知训练、校准数据集选择
量化精度
11
动态形状与批处理
Continuous Batching、动态形状处理、Inflight Batching
动态形状Batching
12
算子融合与内核优化
FlashAttention、Fused Kernel、算子融合策略
融合FlashAttention
13
显存复用与内存池
显存池设计、显存复用策略、显存泄漏检测
显存池复用
14
推理服务架构
请求调度、负载均衡、自动扩缩容、服务降级
服务调度
15
端到端延迟优化
首Token延迟、Token间延迟、P99延迟优化
延迟P99
16
吞吐量优化
并发请求数、批处理大小、硬件利用率
吞吐并发
17
GPU硬件特性
SM架构、内存层次结构、Tensor Core、NVLink/NVSwitch
GPU硬件
18
CPU推理优化
AVX指令集、MKL/oneDNN、NUMA亲和性
CPUAVX
19
异构计算
CPU+GPU协同、NPU/TPU推理、边缘端推理
异构协同
20
分布式推理
模型并行、张量并行、流水线并行、专家并行
分布式并行
21
推理缓存
KV Cache量化、Cache命中率优化、分布式Cache
缓存KV
22
模型压缩
剪枝、蒸馏、低秩分解、结构化稀疏
压缩剪枝
23
推理精度调试
数值误差分析、精度回退机制、混合精度策略
精度调试
24
性能基准测试
Benchmark设计、负载模拟、结果可复现性
基准可复现
25
监控与告警
实时性能监控、指标采集、异常检测、告警策略
监控告警
26
成本优化
TCO分析、Spot实例、弹性伸缩、模型复用
成本TCO
27
安全与隔离
多租户隔离、安全推理、模型保护
安全隔离
28
前沿技术
Speculative Decoding、Medusa、Streaming LLM
前沿解码
29
案例实战
LLaMA推理优化、Stable Diffusion性能调优、BERT服务优化
实战LLaMA
30
总结与展望
性能优化方法论总结、未来趋势、持续学习路径
总结趋势