01
INT8推理概述
量化基础概念 · 为什么需要INT8 · 精度与性能权衡 · 典型应用场景
基础概念
02
量化原理与数学基础
对称vs非对称量化 · 公式推导 · 零点与缩放因子 · 误差分析
数学核心
03
校准数据集与量化参数
校准集选择 · KL散度 · MinMax · 百分位校准
校准数据
04
硬件架构与INT8计算单元
CPU VNNI · GPU Tensor Core · NPU/TPU加速器
硬件指令集
05
TensorRT INT8部署实战
安装配置 · 校准器实现 · 动态范围 · 精度调试
TensorRT部署
06
ONNX Runtime INT8量化
ONNX转换 · 动态/静态量化 · QDQ节点 · 算子融合
ONNX中间表示
07
PyTorch INT8量化工具链
torch.quantization · Eager/FX模式 · 量化感知训练
PyTorch工具链
08
TensorFlow Lite INT8部署
TFLite转换 · 后训练量化 · QAT · Edge TPU
TFLite移动端
09
量化感知训练（QAT）实战
伪量化节点 · STE · BN融合 · 微调策略
QAT训练
10
卷积层的INT8优化
im2col+GEMM · Winograd · NHWC vs NCHW · 通道打包
卷积内存布局
11
全连接层与矩阵乘优化
分块矩阵乘 · 缓存友好 · 向量化 · 微内核
GEMM高性能
12
激活函数与池化层量化
ReLU/ReLU6 · Sigmoid/Tanh近似 · GELU · 池化INT8
激活近似
13
Batch Normalization融合
BN原理 · 卷积融合 · 推理消除 · 量化后处理
BN融合
14
残差连接与跳跃结构量化
残差加法量化 · 特征对齐 · 多分支合并 · 精度补偿
残差跳跃连接
15
Transformer模型的INT8量化
Self-Attention量化 · Softmax近似 · LayerNorm · KV Cache
Transformer注意力
16
大语言模型（LLM）量化
GPTQ · AWQ · SmoothQuant · 权重量化
LLM压缩
17
计算机视觉模型量化
YOLO · ResNet · MobileNet · 检测头量化
CV检测
18
语音模型与NLP模型量化
BERT · Whisper · LSTM · Embedding量化
NLP语音
19
混合精度推理策略
层/通道级别混合精度 · 动态选择 · 帕累托前沿
混合精度调优
20
内存带宽优化
数据复用 · DMA传输 · 缓存预取 · 内存池
内存带宽
21
算子融合与图优化
融合规则 · 常量折叠 · 死代码消除 · 子图重写
图优化编译
22
多线程与并行计算
OpenMP · 线程池 · 任务调度 · 负载均衡
并行多线程
23
SIMD指令集优化
NEON · SSE/AVX · 向量化循环 · 数据对齐
SIMD向量化
24
性能Profiling与瓶颈分析
Nsight · VTune · 火焰图 · 性能计数器
Profiling分析
25
精度调试与回归测试
逐层对比 · 余弦相似度 · SNR · 最大相对误差
精度调试
26
量化工具链集成
CI/CD流水线 · 自动化测试 · 模型版本管理 · 回归库
DevOps集成
27
边缘设备部署优化
ARM CPU · DSP/NPU适配 · 内存限制 · 功耗优化
边缘嵌入式
28
INT8推理安全与鲁棒性
对抗攻击 · 鲁棒性评估 · 安全部署最佳实践
安全鲁棒性
29
前沿量化技术
4-bit · 2-bit · 二值化网络 · 可微分量化
前沿极致压缩
30
综合实战项目
端到端推理系统 · 性能调优全流程 · 精度-平衡决策
项目综合