01
INT8推理概述
为什么需要INT8 · 量化基本原理 · 精度与性能的权衡
基础量化
02
硬件基础
CPU/GPU/NPU对INT8的支持 · Tensor Core与DPU指令集
硬件指令集
03
量化方法
对称量化vs非对称量化 · 逐层量化vs逐通道量化
对称粒度
04
校准算法
MinMax · KL散度 · Percentile · MSE校准方法详解
校准KL
05
量化感知训练
QAT原理 · 伪量化节点插入 · 训练后量化(PTQ)对比
QATPTQ
06
推理引擎架构
TensorRT · ONNX Runtime · OpenVINO的INT8支持
引擎部署
07
算子优化
INT8卷积 · 矩阵乘 · 激活函数的实现技巧
算子Kernel
08
内存带宽优化
数据布局 · 内存对齐 · Cache友好访问模式
带宽Cache
09
计算图优化
算子融合 · 常量折叠 · 死代码消除
图优化融合
10
并行计算
数据并行 · 模型并行 · 流水线并行在INT8中的应用
并行流水线
11
量化精度调试
常见精度损失原因 · 诊断工具与方法
调试精度
12
混合精度推理
部分层保持FP16/FP32的策略与收益
混合精度FP16
13
动态量化
动态范围调整 · 实时校准技术
动态在线
14
权重与激活量化
不同位宽组合 · 粒度选择
位宽粒度
15
量化模型部署
从训练框架到推理引擎的转换流程
部署转换
16
性能Profiling
NVIDIA Nsight · Intel VTune分析INT8性能
ProfilingNsight
17
Batch推理优化
动态Batch · 最优Batch Size搜索
Batch吞吐
18
INT8在CV任务中的应用
图像分类 · 目标检测 · 语义分割
CV检测
19
INT8在NLP任务中的应用
BERT · 等Transformer模型量化
NLPTransformer
20
INT8在推荐系统中的应用
大规模Embedding与DNN量化
推荐Embedding
21
硬件模拟器与性能建模
提前预估INT8加速比
模拟建模
22
量化工具链
PyTorch量化 · TensorFlow Lite · PaddlePaddle Slim
工具链PyTorch
23
自定义量化算子
编写CUDA/OpenCL INT8 Kernel
CUDAOpenCL
24
稀疏化与量化结合
结构化稀疏+INT8的协同优化
稀疏协同
25
INT8推理的数值稳定性
溢出处理 · 饱和策略
数值饱和
26
多框架统一量化
MMDeploy · OpenMMLab等工具链实践
MMDeploy统一
27
量化模型安全
对抗攻击对量化模型的影响
安全对抗
28
边缘端INT8推理
ARM · RISC-V · NPU上的部署优化
边缘ARM
29
大规模服务部署
INT8模型在云端的弹性伸缩与负载均衡
服务弹性
30
未来趋势
FP8 · INT4 · 混合精度训练与推理的新方向
FP8INT4