01
推理优化概述
什么是推理优化 · 为什么需要 · 核心指标（延迟/吞吐量/显存）· 全链路概览
基础全景
02
模型量化基础
对称/非对称量化 · 精度与性能权衡 · PTQ与QAT · 量化陷阱
量化数学
03
模型剪枝技术
结构化/非结构化剪枝 · 权重级/通道级/层级 · 微调策略 · 失效案例
剪枝实战
04
知识蒸馏实战
离线/在线/自蒸馏 · 温度系数与软标签 · 真实收益 · 组合拳
蒸馏加速
05
算子融合与图优化
Conv+BN+ReLU融合 · TVM/XLA策略 · 手动vs自动 · 兼容性
图优化算子
06
推理引擎选型
TensorRT/ONNX Runtime/OpenVINO/Triton · 硬件对比 · 踩坑记录
选型对比
07
TensorRT实战
安装配置 · ONNX转TensorRT · 动态/静态shape · INT8量化 · Profile
TensorRTINT8
08
ONNX Runtime实战
架构 · Graph Optimization · Execution Provider · 自定义算子
ONNX跨平台
09
OpenVINO实战
模型转换 · IR优化 · 异构执行(CPU+GPU+VPU) · 边缘部署
OpenVINO边缘
10
Triton Inference Server实战
Model Repository · Scheduler · 动态批处理 · 版本管理 · Metrics
服务化Triton
11
动态批处理技术
原理 · 调度策略(时间窗口/队列) · 对比静态批处理 · 高并发调优
批处理高并发
12
显存优化技术
显存碎片化 · Memory Pool · Gradient Checkpointing · CPU Offloading
显存优化
13
CUDA编程与推理加速
Kernel编写 · 共享内存/寄存器 · Warp并行 · CUDA Graph · Nsight
CUDA底层
14
GPU推理优化
SM/Warp/Memory Hierarchy · Kernel Launch Overhead · Stream · MPS/MIG
GPU架构
15
CPU推理优化
AVX/SSE指令集 · OpenMP · NUMA感知 · MKL/oneDNN
CPU并行
16
内存带宽优化
带宽瓶颈 · NHWC vs NCHW · Cache友好 · Prefetching
内存带宽
17
模型部署中的精度调试
工具链(torch.testing/onnxruntime) · 数值误差 · 逐层对比 · 血泪史
精度调试
18
推理服务的性能压测
wrk/ghz/locust · P50/P99延迟 · QPS · 场景设计 · 瓶颈定位
压测性能
19
推理服务的弹性伸缩
K8s HPA · 自定义Metrics · GPU调度 · 冷启动与预热
弹性K8s
20
推理服务的容错与高可用
健康检查 · 优雅关闭 · 热更新 · 多副本与负载均衡
高可用容错
21
边缘端推理优化
算力限制 · 模型压缩(量化+剪枝+蒸馏) · TFLite/NCNN · 功耗优化
边缘TFLite
22
移动端推理优化
Android/iOS框架(MNN/CoreML) · NPU/DSP · 分包懒加载 · 显存管理
移动端MNN
23
Web端推理优化
WebGL/WebGPU · ONNX.js/TensorFlow.js · 加载优化 · WebAssembly
WebWASM
24
大模型推理优化（上）
显存墙/计算墙 · KV Cache · PageAttention · Continuous Batching
大模型LLM
25
大模型推理优化（下）
TP/PP/DP · FlashAttention · Speculative Decoding · vLLM/TensorRT-LLM
并行LLM
26
推理优化的Profiling工具
PyTorch Profiler · Nsight Systems/Compute · Chrome Trace · 定位方法
Profiling工具
27
推理优化的自动化工具
AutoTVM/Ansor · AutoScheduler · 贝叶斯优化 · 实际效果
自动调优TVM
28
推理优化的最佳实践
延迟敏感 vs 吞吐优先 · 评估方法 · 迭代流程 · 优化checklist
最佳实践策略
29
推理优化的未来趋势
稀疏计算 · 动态shape极致优化 · MaaS · AI编译器
趋势前沿
30
综合实战：从模型到服务的全链路优化
端到端案例(选型→量化→剪枝→引擎→服务化→压测→调优) · 总结展望
综合实战