3、模型量化基础：什么是模型量化、为什么需要量化、INT8量化的基本原理与优势
在嵌入式AI部署领域，GD32系列MCU凭借其丰富的外设资源和逐步提升的算力，成为边缘推理的热门选择。然而，一个训练好的深度学习模型通常以32位浮点（FP32）格式存储参数和激活值，直接部署到GD32上会面临存储带宽不足、内存容量受限、推理延迟过高等问题。模型量化正是解决这一系列工程痛点的核心技术。本章将系统讲解模型量化的定义、动机、INT8量化的数学原理及其在GD32平台上的实际收益，为后续章节的误差验证和部署实操奠定理论基础。
3.1 什么是模型量化：从FP32到INT8的映射
模型量化是一种将神经网络中的权重和激活值从高精度浮点数（如FP32）转换为低精度整数（如INT8）的技术。其核心思想是用一个线性映射关系，将浮点数值范围压缩到有限的整数集合中。对于INT8量化，我们将浮点范围 [min, max] 映射到 [-128, 127] 的整数区间。
量化的数学表达式为：
量化公式：q = round(r / S) + Z
反量化公式：r = (q - Z) × S
其中：
- r 为原始浮点值
- q 为量化后的整数
- S (scale) 为缩放因子，S = (max - min) / 255
- Z (zero point) 为零点偏移，Z = round(-min / S)在GD32的实际部署中，我们通常采用对称量化（Symmetric Quantization）或非对称量化（Asymmetric Quantization）。对称量化将零点固定为0，简化了计算逻辑，适合权重分布接近0的层；非对称量化则更灵活，适合激活函数输出分布偏移较大的情况。
3.2 为什么需要量化：GD32部署的四大驱动力
在嵌入式环境中，模型量化不是可选项，而是必选项。以GD32F4系列为例，其内置Flash通常为512KB-1MB，SRAM为128KB-256KB。一个简单的CNN模型（如MobileNetV1）FP32版本约16MB，完全无法直接部署。量化带来的收益体现在四个维度：
| 维度 | FP32模型 | INT8模型 | 量化收益 |
|---|---|---|---|
| 模型存储 | 4字节/参数 | 1字节/参数 | 存储压缩75% |
| 内存占用 | 激活值需4字节 | 激活值仅1字节 | SRAM占用降低 |
| 计算速度 | 浮点乘加 | 整数乘加 | 速度提升2-4倍 |
| 功耗 | 高 | 低 | 电池续航延长 |
除了资源约束，量化还带来了一个隐藏优势：缓存友好性。INT8数据在内存中更紧凑，GD32的Cache命中率显著提高，减少了外部Flash的访问次数，这对实时推理至关重要。
3.3 INT8量化的基本原理：对称与非对称量化
INT8量化根据零点Z的处理方式分为两种模式。对称量化强制Z=0，公式简化为 q = round(r/S)，反量化 r = q×S。这种模式实现简单，适合权重分布关于0对称的情况（如经过BatchNorm的卷积层）。非对称量化则保留Z的偏移，能更精确地表示偏斜分布的数据（如ReLU后的激活值）。
在实际工程中，我们通常对权重使用对称量化，对激活值使用非对称量化。这是因为权重分布相对稳定且近似对称，而激活值经过ReLU后全部为非负值，非对称量化能更好地利用INT8的256个量化级别。
// GD32上的INT8量化推理伪代码
int8_t quantized_weight[OUT_CH][IN_CH][KH][KW];
int8_t quantized_activation[IN_CH][H][W];
int32_t accumulator[OUT_CH][H][W];
// 卷积计算（整数运算）
for (int oc = 0; oc < OUT_CH; oc++) {
for (int oh = 0; oh < H; oh++) {
for (int ow = 0; ow < W; ow++) {
int32_t sum = 0;
for (int ic = 0; ic < IN_CH; ic++) {
for (int kh = 0; kh < KH; kh++) {
for (int kw = 0; kw < KW; kw++) {
sum += (int32_t)quantized_weight[oc][ic][kh][kw] *
(int32_t)quantized_activation[ic][oh+kh][ow+kw];
}
}
}
// 反量化并加上偏置
float result = (float)sum * (weight_scale * activation_scale);
output[oc][oh][ow] = quantize(result, output_scale, output_zero_point);
}
}
}上述代码展示了GD32上INT8卷积的核心循环。注意累加器使用int32_t，避免8位乘法溢出。每次卷积后需要一次反量化和再量化操作，这部分开销在整体计算中占比很小。
3.4 量化误差的来源与影响分析
量化并非无损操作，理解误差来源是后续误差验证的基础。主要误差包括：
- 舍入误差：浮点值映射到整数时的取整操作，最大误差为0.5个量化步长。
- 截断误差：当浮点值超出[min, max]范围时被截断，这部分信息完全丢失。
- 动态范围失配：如果min/max选取不当（如使用全局统计而非逐层统计），会导致量化分辨率不足。
- 累积误差：多层量化误差逐层传递，在深层网络中可能被放大。
以GD32上常见的人脸检测模型为例，输入图像为160×120×3，第一层卷积后激活值范围通常在[0, 15]之间，如果使用对称量化，量化步长S=15/127≈0.118，精度尚可。但到了第5层，激活值范围可能扩大到[0, 80]，若仍使用全局min/max，步长变为0.63，精度明显下降。这就是为什么推荐使用逐层校准（Per-layer Calibration）而非全局校准。
3.5 实战案例：GD32F4系列手写数字识别模型量化
我们以一个在GD32F407上部署的手写数字识别模型为例，完整展示量化流程。模型为3层全连接网络（784→128→64→10），使用MNIST数据集训练，FP32精度为98.2%。
初始状态：模型文件大小约420KB，GD32F407的Flash为512KB，勉强可以放下，但SRAM占用约180KB，已接近256KB上限，推理时间约85ms。
量化过程：
- 使用1000张验证图像进行校准，统计每层激活值的min/max。
- 对权重采用对称量化，对激活采用非对称量化。
- 将FP32权重转换为INT8，并保存每层的scale和zero_point。
- 在GD32上实现INT8矩阵乘法和反量化逻辑。
量化后结果：模型大小降至105KB，SRAM占用约48KB，推理时间降至22ms。精度为97.8%，仅下降0.4个百分点。这个精度损失在可接受范围内，但资源占用大幅改善。
误差分析：我们对比了量化前后每层输出的最大误差。第一层误差为0.12，第二层为0.35，第三层为0.78。误差逐层放大，但最终softmax输出的类别概率排序未改变，因此分类结果正确。
复盘经验：如果精度损失超过1%，优先检查激活值的min/max统计是否准确。一个常见问题是校准数据集过少或分布不均，导致min/max偏离真实分布。建议使用至少500张覆盖各类别的样本进行校准。
3.6 常见误区与总结复盘
在模型量化的工程实践中，初学者常犯以下错误：
- 误区一：认为量化就是简单的类型转换，忽略了scale和zero_point的计算。
- 误区二：使用训练时的BatchNorm统计量代替校准统计量，导致激活值范围估计偏差。
- 误区三：对所有层使用相同的量化参数，没有考虑不同层的数据分布差异。
- 误区四：忽略偏置（Bias）的量化。偏置通常保留为FP32或INT32，不能直接量化为INT8。
正确的做法是：先进行敏感性分析，找出对量化最敏感的层（通常是最深层的卷积层），对这些层使用更高的量化精度（如INT16），而其他层使用INT8。这种混合精度量化在GD32上同样适用，只是需要算子库支持。