01
推理优化概述
什么是推理优化、为什么需要、核心指标（延迟/吞吐量/显存）、推理与训练的区别
基础指标
02
模型量化基础
量化原理、FP16/INT8、QAT与PTQ、量化对精度的影响
量化INT8
03
模型剪枝技术
结构化/非结构化剪枝、L1/L2范数、基于梯度、剪枝后微调恢复
剪枝稀疏
04
知识蒸馏入门
教师-学生架构、软/硬标签、蒸馏温度、蒸馏在推理加速中的应用
蒸馏加速
05
算子融合与图优化
Conv+BN/ReLU融合、计算图优化、TVM与XLA图优化机制
图优化TVM
06
推理引擎介绍
TensorRT、ONNX Runtime、OpenVINO/TFLite对比、引擎选型指南
引擎对比
07
TensorRT实战
ONNX转TensorRT、动态/静态形状、INT8校准、性能调优
TensorRTINT8
08
ONNX Runtime实战
模型导出验证、C++/Python API、线程数/执行模式、内存优化
ONNX调优
09
OpenVINO实战
IR格式转换、CPU/GPU/VPU配置、NNCF压缩、边缘部署
OpenVINO边缘
10
TFLite与移动端优化
模型转换、NNAPI/GPU委托、模型压缩、Android/iOS部署
移动端TFLite
11
批处理与动态批处理
静态/动态批处理、Continuous Batching、PagedAttention、吞吐量影响
批处理吞吐
12
显存优化技术
显存复用/池化、梯度检查点、CPU Offloading、FlashAttention
显存FlashAttention
13
推理框架的并行策略
数据/模型/流水线/张量并行、混合并行策略选择
并行分布式
14
CUDA编程与推理加速
线程块/共享内存、CUDA Graph、自定义Kernel、NCCL多卡通信
CUDAKernel
15
推理服务架构
Triton Inference Server、请求调度/负载均衡、版本管理、A/B测试
服务化Triton
16
推理性能Profiling
Nsight Systems、PyTorch Profiler、瓶颈定位、火焰图、延迟分解
Profiling火焰图
17
大语言模型推理优化（上）
自回归解码、KV Cache、Speculative Decoding、Medusa/Lookahead
LLMKV Cache
18
大语言模型推理优化（下）
TP/PP、/AWQ、SparseGPT、FlashAttention-2/3
量化稀疏
19
视觉模型推理优化
CNN/MobileNet/EfficientNet、ViT、YOLO、图像预处理加速
视觉YOLO
20
多模态模型推理优化
CLIP优化、多模态融合、视觉编码器加速、文本解码器优化
多模态CLIP
21
推理精度与性能权衡
精度损失评估、混合精度(FP16/BF16/INT8)、自适应精度、回退策略
精度混合精度
22
边缘设备推理优化
Jetson/RK3588、量化+剪枝+蒸馏、功耗平衡、离线推理
边缘Jetson
23
推理缓存与复用
结果缓存、特征缓存(Feature Cache)、前缀缓存(Prefix Caching)、LRU/LFU
缓存复用
24
推理请求调度优化
请求排队/优先级、时间片调度、抢占式、请求合并与拆分
调度排队
25
推理网络优化
网络带宽优化、数据压缩、gRPC vs RESTful、序列化/反序列化
网络gRPC
26
推理监控与告警
P99/吞吐量/错误率、Prometheus+Grafana、告警规则、日志分析
监控告警
27
推理成本优化
GPU利用率、Spot/预留实例、模型缓存预热、成本性能平衡
成本GPU
28
推理安全与合规
模型加密、差分隐私、访问控制、GDPR等合规
安全隐私
29
推理自动化与CI/CD
自动评估基准、推理流水线、A/B测试框架、模型回滚/版本管理
CI/CD自动化
30
推理优化前沿与趋势
推测解码最新进展、MoE推理、Groq/Cerebras芯片、MLIR/Triton编译器
前沿趋势