一、量化训练概述：从“胖模型”到“瘦模型”的蜕变
大家好，我是你们这趟量化训练之旅的向导。今天咱们聊聊模型量化——说白了，就是给深度学习模型“减肥”。
你可能遇到过这种情况：模型在服务器上跑得飞快，一部署到手机或边缘设备上，就卡得像幻灯片。嗯，这就是我们今天要解决的问题。
1.1 什么是模型量化？
模型量化，就是把模型里的参数（权重、激活值）从高精度格式（比如32位浮点，FP32）转换成低精度格式（比如8位整数，INT8）。
举个例子：
- FP32：每个数字占32位，精度高，但体积大、计算慢
- INT8：每个数字占8位，体积直接缩小4倍，计算速度翻倍
我在项目中遇到过这样一个场景：一个视觉检测模型，FP32版本有200MB，部署到树莓派上根本跑不动。量化到INT8后，体积降到50MB，推理速度从5帧秒提升到30帧秒。效果几乎没变，但体验天差地别。
核心思想：用更少的比特数，近似表示原来的数值。就像用“约3.14”代替“3.1415926535”，够用就行。
1.2 为什么需要量化？
你想想看，现在边缘设备（手机、摄像头、IoT设备）资源有限，但AI模型越来越大。量化能带来三个实实在在的好处：
- 模型体积缩小：从FP32到INT8，体积缩小4倍。存储和传输都更快。
- 推理速度提升：整数运算比浮点运算快得多。在ARM架构的芯片上，INT8推理速度通常是FP32的2-4倍。
- 功耗降低：计算量小了，芯片发热少，电池续航更长。这对移动设备至关重要。
我记得有一次给客户做智能门锁方案，FP32模型在电池供电下只能撑2小时。量化后，同样的任务跑了8小时。客户当场就拍板了。
我的建议：如果你的模型要部署到边缘设备，量化应该是第一步。别犹豫，先试试。
1.3 量化的基本原理
量化听起来高大上，其实原理很简单。就是把一个连续的数值范围，映射到离散的整数点上。
这里有两个核心概念：对称量化和非对称量化。
1.3.1 对称量化
对称量化，就是让零点和零点对齐。什么意思呢？
- 浮点数的0，对应整数的0
- 正负范围对称分布
公式长这样：
量化值 = round(浮点值 / 缩放因子)
反量化：浮点值 = 量化值 * 缩放因子举个例子：假设浮点范围是[-10, 10]，量化到INT8（范围[-128, 127]）。
- 缩放因子 = 10 / 128 ≈ 0.078
- 浮点值5.0 → 量化值 round(5.0 / 0.078) ≈ 64
- 量化值64 → 反量化 64 * 0.078 ≈ 5.0
对称量化的好处是实现简单，计算快。但缺点也很明显：如果数据分布不对称（比如全是正数），会浪费一半的整数范围。
注意：对称量化要求数据分布大致对称。我曾经在一个ReLU激活后的模型上用了对称量化，结果精度掉了5%。后来换成非对称量化，精度只掉了0.5%。
1.3.2 非对称量化
非对称量化更灵活。它允许浮点数的零点和整数的零点不重合。
公式稍微复杂一点：
量化值 = round((浮点值 - 零点) / 缩放因子)
反量化：浮点值 = 量化值 * 缩放因子 + 零点其中：
- 缩放因子：决定步长
- 零点：浮点0对应的整数值
还是刚才的例子：浮点范围是[0, 10]，量化到INT8（范围[0, 255]）。
- 缩放因子 = (10 - 0) / (255 - 0) ≈ 0.039
- 零点 = 0 - 0 / 0.039 = 0
- 浮点值5.0 → 量化值 round((5.0 - 0) / 0.039) ≈ 128
你看，非对称量化能充分利用整个整数范围。对于ReLU后的正数分布，效果特别好。
经验之谈：我个人的习惯是，先试对称量化。如果精度损失超过1%，再换非对称量化。大多数情况下，对称量化就够了。
1.4 量化精度与性能的权衡
量化不是免费的午餐。你得到了速度和体积，但可能牺牲一点精度。
为什么会这样？
说白了，量化是个有损压缩过程。把32位信息压缩到8位，必然丢失一些细节。就像把高清照片压缩成缩略图，轮廓还在，但细节模糊了。
这张图展示了量化带来的精度-性能权衡：
从图中你能看到：
- FP32：精度最高，但性能最低
- FP16：精度略降，性能提升明显
- INT8：精度可接受，性能大幅提升——这是大多数场景的甜点
- INT4：性能极致，但精度可能崩盘
我的经验：对于大多数视觉模型（分类、检测、分割），INT8量化后精度损失通常在0.5%-2%之间。如果超过2%，说明你的模型对量化敏感，需要做量化感知训练（QAT）。
1.5 什么时候该用量化？
我总结了一个简单的决策表：
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| 服务器端推理 | FP32 或 FP16 | 资源充足，追求极致精度 |
| 移动端/边缘端 | INT8 | 体积小、速度快、功耗低 |
| IoT/微控制器 | INT4 或 二值化 | 资源极度受限，精度可妥协 |
| 高精度要求（医疗、金融） | FP32 + 剪枝 | 精度优先，适当压缩 |
避坑指南：我曾经在一个语义分割模型上直接做INT8量化，结果精度掉了8%。后来发现是模型中有大量BatchNorm层，量化后分布偏移严重。解决方案是：先融合BN层，再做量化。嗯，这个坑我替你们踩过了。
1.6 小结
量化训练，说白了就是让模型学会“用更少的比特说更多的话”。
核心要点：
- 对称量化：简单高效，适合对称分布的数据
- 非对称量化：灵活精准，适合非对称分布
- INT8是甜点：大多数场景下，精度损失可控，性能提升显著
- 先试后调：先做后训练量化（PTQ），精度不够再上量化感知训练（QAT）
我个人习惯是：拿到一个新模型，先跑一遍PTQ。如果精度损失在1%以内，直接上线。如果超过1%，再考虑QAT。这样效率最高。
好了，量化训练的大门已经为你打开。下一章，我们会深入PTQ的具体实现，手把手带你跑通第一个量化模型。