一、量化基础：什么是模型量化、为什么需要量化、量化与浮点数的对比
各位同学好，我是你们的老朋友。今天咱们来聊聊模型量化这个硬核话题。说实话，我刚入行那会儿，觉得量化就是个「压缩模型」的黑魔法，后来踩了不少坑才真正搞明白。今天我就把这几年的实战心得，掰开了揉碎了讲给你听。
1.1 什么是模型量化？
模型量化，说白了就是让模型「说人话」——把那些高精度的浮点数参数，换成低精度的整数来干活。
举个例子。你训练好的模型里，权重可能是这样的：
# 浮点权重示例
weight_fp32 = [0.12345678, -0.98765432, 0.55555555, ...]量化之后，它变成了这样：
# INT8 量化后的权重
weight_int8 = [15, -127, 71, ...]嗯，数字变「整」了，内存也变小了。但这里有个关键问题：精度损失怎么办？ 别急，后面我会详细讲。
核心定义：模型量化是将神经网络中的浮点数参数（权重、激活值）映射到低比特整数（如INT8、INT4）的过程，同时尽量保持模型原有的推理精度。
1.2 为什么需要量化？
你可能会问：好好的浮点数不用，非要折腾成整数，图啥？
我总结了三句话：
- 省内存：FP32 转 INT8，模型体积直接缩到原来的 1/4。我在项目中部署过一个 500MB 的 BERT 模型，量化后只有 125MB，直接塞进了手机端。
- 省带宽：内存带宽是推理的瓶颈。INT8 的数据量只有 FP32 的 1/4，传输更快，延迟更低。
- 省算力：INT8 的乘加运算比 FP32 快 2-4 倍。现在的 GPU、NPU 都有专门的 INT8 加速单元，不用白不用。
我的经验：量化不是万能的。如果你的模型对精度极其敏感（比如医疗影像诊断），建议先做精度评估，再决定是否量化。我曾经在一个分割任务上硬上 INT8，结果 mIoU 掉了 5 个点，后来改用混合精度才搞定。
1.3 量化与浮点数的对比
咱们来张表，一目了然：
| 对比维度 | FP32（浮点） | INT8（量化） |
|---|---|---|
| 数据表示 | 32位浮点数，范围大、精度高 | 8位整数，范围有限、精度低 |
| 模型体积 | 基准（100%） | 约 25% |
| 推理速度 | 基准（1x） | 2-4x 加速 |
| 内存带宽 | 高 | 低（1/4） |
| 精度损失 | 无 | 通常 < 1%，但视任务而定 |
| 硬件支持 | 通用 | 需要专用加速单元 |
你想想看，FP32 就像用高精度天平称东西，INT8 就像用普通台秤。大部分场景下，台秤够用了，而且快得多。
1.4 量化到底是怎么做的？
这里我画了一张图，帮你理解量化的核心流程：
这张图展示了量化的三个关键步骤：
- 校准：用一小批数据跑一遍模型，统计每层激活值的 min 和 max。我习惯用 500-1000 张图片做校准，太少不够准，太多浪费时间。
- 映射：根据 min/max 计算缩放因子 scale 和零点 zero_point，把浮点数映射到 INT8 范围（-128 到 127）。
- 量化：把原始权重和激活值替换成 INT8 整数，同时保存缩放因子，供推理时反量化用。
避坑指南：我曾经在一个检测模型上直接用了默认的校准集，结果精度掉了 3 个点。后来发现校准集和实际部署场景的数据分布差异太大。记住：校准集一定要能代表真实推理数据，否则量化出来的模型就是「偏科生」。
1.5 量化到底损失了多少精度？
这是大家最关心的问题。我直接说结论：
- 分类任务：Top-1 精度通常下降 0.1% - 0.5%，基本看不出来。
- 检测任务：mAP 下降 0.5% - 2%，小目标检测可能会更明显。
- 分割任务：mIoU 下降 1% - 3%，边界细节容易模糊。
- NLP 任务：BERT 量化后，F1 分数下降 0.5% - 1.5%，但推理速度翻倍。
为什么会这样？说白了，量化相当于给模型参数「四舍五入」了一下。大部分参数对精度不敏感，但少数关键参数一旦被「舍」掉，精度就会掉。
我的建议：量化前先做一次敏感性分析。把每层单独量化，看看哪层对精度影响最大。那些「敏感层」可以保留 FP16 或 FP32，其他层用 INT8。这就是所谓的混合精度量化，后面章节我会详细讲。
1.6 小结
好了，今天的内容就到这里。咱们回顾一下：
- 量化就是把 FP32 模型转成 INT8，省内存、省带宽、省算力。
- 量化流程包括校准、映射、量化三步，校准集的选择很关键。
- 量化会带来少量精度损失，但大部分场景下可以接受。
下一章，我会带你手撕量化代码，看看实际工程中怎么落地。嗯，到时候记得带上你的笔记本。
想要更多资料，联系可可