01
推理优化概述
什么是推理优化 · 为什么需要 · 核心指标：延迟、吞吐量、显存
基础指标
02
模型量化基础
量化原理 · FP32/FP16/INT8/INT4区别 · 精度影响
量化精度
03
量化感知训练 (QAT)
QAT原理 · 伪量化节点 · 训练技巧
QAT训练
04
训练后量化 (PTQ)
PTQ原理 · 校准数据集 · 常见策略
PTQ校准
05
模型剪枝
剪枝原理 · 结构化/非结构化 · 微调
剪枝稀疏
06
知识蒸馏
蒸馏原理 · 教师/学生模型 · 损失函数设计
蒸馏压缩
07
算子融合
融合原理 · Conv+BN / Conv+ReLU · 加速效果
融合算子
08
内存优化
显存复用 · 梯度检查点 · 激活值压缩
显存检查点
09
推理引擎介绍
TensorRT · ONNX Runtime · OpenVINO · Triton
引擎部署
10
TensorRT实战
模型导出ONNX · 构建部署 · 动态形状
TensorRTONNX
11
ONNX Runtime实战
安装使用 · 性能调优 · 自定义算子
ONNX调优
12
模型编译优化
XLA · TVM · MLIR · JIT与AOT编译
编译TVM
13
批处理优化
动态批处理 · 连续批处理 · 调度策略
批处理吞吐
14
KV Cache优化
KV Cache原理 · PageAttention · vLLM
KVvLLM
15
投机解码
投机解码原理 · 草稿模型 · 加速分析
解码推测
16
模型并行
张量并行 · 流水线并行 · 序列并行
并行分布式
17
服务化部署
模型服务架构 · 请求排队 · 自动扩缩容
服务负载均衡
18
性能Profiling
Nsight · PyTorch Profiler · 瓶颈定位
ProfilingNsight
19
GPU硬件特性
SM架构 · 内存层次 · Tensor Core
GPUTensor Core
20
CPU推理优化
MKL · oneDNN · AVX指令集
CPUMKL
21
边缘端推理优化
TFLite · NCNN · MNN对比
边缘TFLite
22
模型压缩综合案例
从BERT到TinyBERT压缩流程
BERT压缩
23
大语言模型推理优化
LLM特点 · Prefill/Decode优化
LLMPrefill
24
多模态模型推理优化
视觉+语言协同 · 跨模态注意力优化
多模态注意力
25
推理精度与性能权衡
量化精度选择 · 混合精度推理策略
精度混合精度
26
自动化调优
AutoTVM · AutoScheduler · 贝叶斯优化
自动调优贝叶斯
27
推理基准测试
MLPerf Inference · 数据集与评测
基准MLPerf
28
生产环境推理优化
A/B测试 · 灰度发布 · 监控告警
生产A/B
29
前沿推理技术
稀疏计算 · 条件计算 · 动态网络
前沿稀疏
30
推理优化总结与展望
技术栈回顾 · 存内计算 · 光子计算
总结未来