📚 课程目录第1章量化基础

一、量化基础：什么是模型量化？为什么需要量化？

大家好，我是你们这趟量化之旅的向导。咱们开门见山，先聊聊最核心的问题：模型量化到底是个啥？

说白了，模型量化就是把模型里那些高精度的数字（比如 FP32），用低精度的数字（比如 INT8）给替换掉。你想想看，一个模型动辄几亿个参数，每个参数都是 32 位浮点数，那得占多大地方？跑起来得多慢？量化就是给这些参数“减减肥”，让它们占更少的内存，跑得更快。

一句话总结：量化是用“精度换效率”的经典工程 trade-off。目标是在尽量不损失模型效果的前提下，把模型做小、做快。

我在做推理加速的时候，经常被问到：“现在的 GPU 算力这么强，为什么还要费劲搞量化？” 嗯，这个问题问得好。我个人的经验是，量化带来的好处，在三个场景下特别明显：

模型太大，放不进显存：一个 7B 参数的模型，用 FP32 存，光参数就要 28GB 显存。换成 INT8，直接降到 7GB。你想想看，这省下来的显存能多跑多少个并发请求？
推理太慢，延迟太高：低精度计算在硬件上通常有专门的加速单元。比如 NVIDIA 的 Tensor Core，对 INT8 的计算速度是 FP32 的好几倍。我曾在项目中把一个 BERT 模型从 FP32 量化到 INT8，推理延迟从 50ms 降到了 12ms，用户体验直接起飞。
功耗太高，部署受限：在手机、IoT 设备上，功耗是命门。低精度计算不仅快，还省电。这对边缘部署来说，是刚需。

我的经验：量化不是万能的。如果你的模型对精度极其敏感（比如某些医疗影像任务），或者你的硬件不支持低精度计算，那量化可能就不是最优解。做之前，先摸摸自己的“家底”。

量化的数学原理，其实没那么玄乎。本质上就是一个映射函数，把浮点数范围映射到整数范围。

最常见的映射方式是均匀量化，公式如下：

// 量化：浮点数 -> 整数
q = round( (r - zero_point) / scale )

// 反量化：整数 -> 浮点数
r = q * scale + zero_point

这里有几个关键参数：

举个例子，假设我们有一组浮点数范围是 [-10.0, 10.0]，要量化到 INT8 的范围 [-128, 127]。那么 scale 就是 (10.0 - (-10.0)) / (127 - (-128)) ≈ 0.0784。zero_point 就是 0。

你可能会问：“为什么要有 zero_point？” 嗯，这里要注意。因为浮点数的 0 在数学上很重要（比如 ReLU 激活函数会把负数变成 0），所以我们需要保证量化后的整数也能精确表示 0。zero_point 就是干这个的。

我曾经踩过的坑：在做对称量化（zero_point = 0）时，如果浮点数分布严重不对称（比如全是正数），量化后的精度会损失很大。后来我改用非对称量化，效果好了很多。所以，选对量化方案，比盲目动手更重要。

咱们来看看这些数据类型到底有什么区别。我整理了一个表格，方便你对比：

数据类型	位宽	表示范围	精度	典型应用场景
FP32	32 位	~±3.4×10³⁸	高（~7 位有效数字）	训练、高精度推理
FP16	16 位	~±6.5×10⁴	中（~3 位有效数字）	混合精度训练、推理加速
INT8	8 位	[-128, 127] 或 [0, 255]	低（~2 位有效数字）	推理加速、边缘部署
INT4	4 位	[-8, 7] 或 [0, 15]	极低（~1 位有效数字）	极致压缩、特定场景

从表格里能看出来，位宽越低，表示范围和精度就越差。但换来的是更小的模型体积和更快的计算速度。我个人习惯是：能用 INT8 解决的问题，绝不用 FP16。因为 INT8 的加速比通常是最明显的，而且精度损失在大多数场景下都可以接受。

至于 INT4，我建议你谨慎使用。它虽然能把模型压到很小，但精度损失往往比较大，需要配合一些高级的量化感知训练（QAT）技巧才能用好。我在一个语音识别项目里试过 INT4，结果准确率掉了 5 个点，后来还是换回了 INT8。

为了让你对量化有个整体的认识，我画了一张流程图，展示了从 FP32 模型到量化后模型的完整流程：

这张图展示了量化的核心步骤：从 FP32 模型出发，用校准数据统计激活值范围，然后计算 scale 和 zero_point，最后执行量化，得到 INT8 模型。每一步都有讲究，后面我们会详细展开。

你可能还会接触到剪枝、蒸馏这些模型压缩技术。它们和量化有什么区别？我简单对比一下：

我个人觉得，量化是性价比最高的压缩技术。它不需要重新训练模型（后训练量化），也不需要特殊硬件（只要支持 INT8 计算就行）。剪枝和蒸馏可以作为量化的补充，但量化永远是第一选择。

我的建议：如果你刚开始接触模型压缩，先从量化入手。把 INT8 量化玩明白了，再去碰剪枝和蒸馏。这样你的学习曲线会平滑很多。

好了，这一章的内容就到这里。量化基础打牢了，后面我们才能聊更深入的东西。记住，量化不是魔法，它是一门工程艺术。多动手，多踩坑，你就能找到最适合自己项目的量化方案。