3. 量化等级总览：Q4_0、Q4_1、Q5_0、Q5_1、Q6_K、Q8_0 归纳总结
做了不少量化项目后，我发现很多人一上来就盯着“哪个精度最高”。其实选量化等级，跟选工具一样——得先看你的活儿是什么。今天我就把主流的几种等级，掰开揉碎了聊一聊。
3.1 为什么要有这么多等级？
说白了，量化就是在模型大小、推理速度和精度之间找平衡。每个等级都在某个维度上做了取舍。我刚开始接触时，也对着 Q4_0 和 Q4_1 发懵——数字都一样，区别在哪？
嗯，这里要注意：同一个比特数下，不同分组策略和舍入方式，会带来不同的效果。
3.2 主流量化等级一览
| 等级 | 比特数 | 分组大小 | 精度损失 | 模型大小降幅 | 我常用的场景 |
|---|---|---|---|---|---|
| Q4_0 | 4bit | 32 | 较高 | ≈75% | 内存极紧张的原型验证 |
| Q4_1 | 4bit | 32 | 中等 | ≈73% | 日常快速迭代，接受一点点掉点 |
| Q5_0 | 5bit | 32 | 较低 | ≈63% | 大部分部署任务的首选 |
| Q5_1 | 5bit | 32 | 更低 | ≈62% | 对精度要求略高时替代 Q5_0 |
| Q6_K | 6bit | 128/256 | 极低 | ≈55% | 希望几乎无损的本地推理 |
| Q8_0 | 8bit | 32 | 几乎无 | ≈50% | 对比基线、调试时必用 |
3.3 这些等级的“性格”差异
3.3.1 Q4 系列：瘦身先锋
Q4_0 是经典的对称量化，把权重压缩到 4bit，分组大小 32。优点是模型最小，推理最快。缺点是精度损失明显，尤其在细粒度任务上。
Q4_1 在 Q4_0 基础上加了零点偏移，能更好还原原始分布。你想想看，同样是 4bit，一个只关注“形状”，一个还顾及“位置”，效果自然不同。
3.3.2 Q5 系列：黄金平衡点
Q5_0 和 Q5_1 是目前最受欢迎的等级。多出来的 1bit，带来了接近 6bit 的效果，但体积只比 Q4 大一点点。我个人习惯把 Q5_0 作为首选方案，除非目标平台内存连这个都装不下。
Q5_1 跟 Q4_1 类似，也是加了零点偏移。区别在于，5bit 下零点的影响比 4bit 更敏感，所以 Q5_1 的精度通常比 Q5_0 好，但差距很小。我一般只在最后调优时两个都测一遍，选更稳的那个。
3.3.3 Q6_K：次无损的“小强”
Q6_K 的 K 代表 k-means 聚类，它的分组策略更灵活（128 或 256 个权重一组），能捕捉到更细致的统计规律。精度损失低到几乎可以忽略，但体积只压缩一半左右。
我记得有一次客户要求“必须和 FP16 结果完全一致”，我就用 Q6_K 代替了 Q8_0，最后评测指标差不到 0.1%，而模型大小从 800MB 降到 440MB。
3.3.4 Q8_0：精度守门员
Q8_0 就是 8bit 整数量化，基本可以认为是无损的。为什么不直接用 FP16？因为整数运算在大部分硬件上更快。我通常拿 Q8_0 做“对照组”——如果其他等级和它的差距太大，那就说明参数或校准数据有问题。
3.4 选型决策框架
下面这张图总结了我平时拍板的过程。先看内存上限，再看精度底线，最后用推理速度微调。
3.5 实战对比：一个语言模型的不同量化效果
拿 LLaMA-7B 举个例子（GPU 推理，批量大小1）：
| 等级 | 模型大小 (GB) | 推理速度 (tok/s) | PPL (lower better) |
|---|---|---|---|
| FP16 baseline | 13.5 | 28 | 5.68 |
| Q8_0 | 6.8 | 42 | 5.69 |
| Q6_K | 5.8 | 48 | 5.72 |
| Q5_1 | 5.3 | 53 | 5.75 |
| Q5_0 | 5.2 | 55 | 5.81 |
| Q4_1 | 4.5 | 62 | 6.12 |
| Q4_0 | 4.3 | 65 | 6.41 |
你看，从 Q5_0 到 Q5_1，体积只大了 0.1GB，但 PPL 从 5.81 降到 5.75，这个提升很划算。相反，Q4_0 虽然最快，但 PPL 已经跳到 6.41，有些场景下可能不可接受。
3.6 总结：记住三个原则
- 先压体积，再看精度 —— 用 Q4_0 做“下限测试”，确认模型还能跑。
- Q5_0 是万金油 —— 90% 的场景直接拿它部署，翻车概率极低。
- 永远保留一个 Q8_0 的副本 —— 调试时对照用，能快速定位问题出在量化环节还是模型本身。
嗯，到这里量化等级的底牌基本都翻出来了。下一块内容，我们来看看怎么实际落地跑通量化流程——包括工具链和那个总让你妥协的校准集问题。