量化参数入门：量化概念、定点与浮点、量化位宽选择

量化，说白了就是把连续的数值映射到离散的整数上。你想想看，神经网络里那些权重和激活值，原本都是 32 位浮点数，精度高但占地方、跑得慢。量化就是给它们「瘦身」——用更少的比特来表示，换来更快的推理速度和更低的内存占用。

我刚开始接触量化时，总觉得这玩意儿会严重掉精度。后来在项目中试了一把，发现只要位宽选得合适，精度损失完全可以控制在 1% 以内。嗯，这里要注意：量化不是简单的截断，而是一门平衡艺术。

浮点与定点：两种世界观

先搞清楚两个基本概念：浮点和定点。

• 浮点数：由符号位、指数位和尾数位组成。它能表示的范围极大，精度也高，但硬件实现复杂、功耗大。典型的 32 位浮点（FP32）有 8 位指数 + 23 位尾数。
• 定点数：小数点位置固定，用整数加一个缩放因子来表示。硬件实现简单、速度快、功耗低，但表示范围和精度受位宽限制。

我在项目中遇到过这样一个场景：一个语音识别模型，FP32 版本在服务器上跑得好好的，但部署到嵌入式设备上就卡成幻灯片。换成 INT8 量化后，推理速度提升了 4 倍，内存占用降到原来的四分之一。代价是什么？精度从 95.2% 掉到了 94.8%。这个 trade-off，值不值？

类型	位宽	表示范围	硬件成本	典型场景
FP32	32 bit	~±3.4×10³⁸	高	训练、高精度推理
FP16	16 bit	~±6.5×10⁴	中	混合精度训练、移动端推理
INT8	8 bit	-128 ~ 127	低	边缘设备、实时推理
INT4	4 bit	-8 ~ 7	极低	极端压缩场景

量化位宽怎么选？8bit / 16bit / 32bit

位宽选择是量化调参的第一步，也是最关键的一步。选大了，压缩效果不明显；选小了，精度崩给你看。

我个人习惯按以下思路来决策：

1. 先看硬件支持：你的目标设备支持什么位宽的加速指令？比如 ARM 的 NEON 指令集对 INT8 有原生支持，NVIDIA 的 Tensor Core 对 FP16 和 INT8 都有优化。
2. 再看精度敏感度：有些层对量化特别敏感，比如第一层卷积和最后的全连接层。我建议对这些层保留 FP16 或 FP32，其他层用 INT8。
3. 最后做实验验证：别光靠猜。跑一遍校准数据集，对比量化前后的精度差异。

下面这张图展示了不同位宽下的精度-效率权衡关系：

量化参数调优实战要点

聊完理论，来点实际的。量化参数调优，我总结了几个关键点：

• 校准数据集：量化时需要一小批代表真实分布的数据来做校准。我建议至少 500~1000 张图片或 1000 条语音片段，太少会导致量化参数偏差大。
• 对称 vs 非对称量化：对称量化简单但浪费表示范围，非对称量化更灵活但多一个零点偏移。对于 ReLU 后的激活值（全正数），非对称量化效果更好。
• 逐层 vs 逐通道量化：逐层量化用一个缩放因子，实现简单但精度差；逐通道量化每个通道独立缩放，精度好但计算量大。我一般先用逐层量化快速验证，再对敏感层用逐通道量化。

量化参数配置示例

下面是一个常见的量化参数配置模板，你可以直接拿来改：

# 量化配置示例
quant_config = {
    'bit_width': 8,              # 目标位宽
    'calibration_method': 'minmax',  # 校准方法：minmax / percentile / kl
    'calibration_samples': 1000,     # 校准样本数
    'symmetry': False,               # 是否对称量化
    'per_channel': True,             # 是否逐通道量化
    'skip_layers': ['detection_head'],  # 跳过量化的层
    'mixed_precision': {             # 混合精度配置
        'backbone': 'int8',
        'neck': 'int8',
        'head': 'float16'
    }
}

这个配置里，我特意把 skip_layers 和 mixed_precision 分开写，方便你灵活控制。实际项目中，我通常先用 minmax 校准快速跑通流程，再用 kl 或 percentile 方法微调，能多挽回 0.3%~0.5% 的精度。

量化入门就聊到这儿。记住一句话：没有最好的位宽，只有最合适的位宽。动手试，用数据说话，比什么都强。