01
INT8推理概述
为什么需要INT8量化 · 量化原理（对称/非对称）· 精度与性能权衡
基础核心概念
02
量化基础理论
线性量化公式推导 · 零点与缩放因子计算
数学原理
03
校准数据集
如何选择校准集 · 数据预处理 · 避免过拟合
数据技巧
04
量化感知训练 (QAT)
模拟量化 · 伪量化节点 · 训练后微调策略
训练QAT
05
训练后量化 (PTQ)
权重量化 · 激活量化 · 逐层与逐通道量化
PTQ高效
06
INT8矩阵乘法
整数矩阵乘原理 · 避免溢出 · 累加器精度
计算核心
07
硬件加速单元
MAC阵列 · 脉动阵列 · 数据复用策略
硬件架构
08
内存带宽优化
数据排布 (NHWC vs NCHW) · 内存对齐 · DMA优化
性能存储
09
卷积层量化
卷积核量化 · 偏置处理 · ReLU合并与融合
卷积算子
10
全连接层量化
权重矩阵分块 · Batch处理 · 与卷积异同
全连接对比
11
激活函数量化
ReLU/ReLU6 · Sigmoid/Tanh · GELU近似量化
激活非线性
12
批量归一化 (BN) 融合
BN公式推导 · 融合到卷积/全连接 · 推理加速
BN融合
13
残差连接量化
Add操作量化 · 精度损失控制 · 短路路径处理
残差跳跃连接
14
池化层量化
MaxPooling vs AveragePooling · 实现细节
池化下采样
15
Softmax量化
查找表 (LUT) 实现 · 多项式近似 · 精度对比
Softmax近似
16
LayerNorm与RMSNorm量化
逐层归一化挑战 · 动态范围调整
归一化LayerNorm
17
Embedding量化
词嵌入量化 · 查找表优化 · 缓存友好设计
嵌入查找表
18
多头注意力 (MHA) 量化
QKV投影 · Attention Score · Softmax联合量化
注意力Transformer
19
FFN层量化
上投影与下投影 · GELU激活量化 · 门控机制
FFN前馈
20
KV Cache量化
缓存压缩 · INT8存储与FP16计算 · 长序列优化
KV缓存
21
混合精度推理
不同层不同精度 · 敏感度分析 · 自动混合精度
混合精度AMP
22
量化误差分析
均方误差 (MSE) · 信噪比 (SNR) · 余弦相似度
评估指标
23
精度调试工具
TensorRT · PyTorch量化 · ONNX Runtime工具
工具调试
24
硬件部署实战
NVIDIA TensorRT · Intel OpenVINO · Qualcomm SNPE
部署硬件
25
边缘设备优化
ARM Neon · RISC-V向量扩展 · 低功耗设计
边缘指令集
26
量化模型压缩
权重共享 · 剪枝+量化联合 · 知识蒸馏
压缩蒸馏
27
动态量化
运行时量化 · 输入自适应 · 与静态量化对比
动态自适应
28
稀疏量化
结构化稀疏 · 非结构化稀疏 · 稀疏矩阵乘法
稀疏优化
29
INT4与更低比特量化
NF4 · FP4 · 混合比特量化前沿
低比特前沿
30
量化推理单元测试
单元测试框架 · 数值对比 · 性能基准测试
测试基准