4、模型量化与资源需求：量化原理（INT8、FP16、INT4等），量化对显存和推理速度的影响，如何选择量化策略
模型量化是当前大模型部署中最核心的“杠杆”之一。它通过降低权重和激活值的数值精度，直接改变模型在显存中的占用体积、计算单元的吞吐效率以及内存带宽的压力。然而，量化并非简单的“降精度”，它涉及数值表示范围、舍入误差、硬件指令集支持、校准数据集选择以及推理框架的算子融合能力等多个维度。如果策略选择不当，轻则模型精度损失超出业务容忍范围，重则推理速度不升反降，甚至触发硬件不支持导致的崩溃。本章将系统拆解量化原理、显存与速度的影响机制，并给出可落地的策略选择方法。
上图展示了量化决策的核心链路：从精度类型出发，经过资源影响维度的评估，最终输出策略选择。实际部署中，我们需要在这条链路上反复迭代，因为硬件特性、模型结构、业务延迟要求都会改变最优解。
4.1 量化原理：从 FP16 到 INT4 的数值世界
量化本质上是将连续的浮点数值映射到离散的整数空间。以 FP16 为例，它用 1 位符号位、5 位指数位和 10 位尾数位表示数值，动态范围约为 ±65504，精度约为 3 位十进制有效数字。而 INT8 只有 256 个离散值，INT4 更是只有 16 个离散值。这种压缩必然带来信息损失，但大模型权重和激活值通常呈现近似正态分布或拉普拉斯分布，且存在大量冗余，因此合理的量化可以在保持模型性能的同时大幅降低资源消耗。
scale = max_abs_value / 127 (对于INT8)
x_quantized = round(x / scale)
x_dequantized = x_quantized * scale非对称量化在此基础上增加 zero_point 来适配偏移分布：x_quantized = round(x / scale) + zero_point。选择哪种方式取决于目标张量的数值分布特征。
在工程实践中，我们通常关注两种量化对象：权重量化和激活量化。权重量化是静态的，模型加载后权重不变，因此可以离线完成，精度损失较小。激活量化是动态的，每次推理时激活值都会变化，需要在线计算 scale 和 zero_point，对推理框架的实时性要求较高。常见的组合包括 W8A8（权重和激活均为 INT8）、W4A16（权重为 INT4，激活为 FP16）等。
4.2 量化对显存和推理速度的影响机制
量化对显存的影响是直观的：模型权重从 FP16 转为 INT8，显存占用直接减半；转为 INT4 则减至四分之一。但显存占用不仅仅是权重，还包括 KV Cache、激活值、优化器状态（训练时）和推理框架的临时缓冲区。以 7B 模型为例，FP16 权重占用约 14GB，INT8 约 7GB，INT4 约 3.5GB。如果使用 INT4 量化，原本需要 2 张 24GB 显卡的模型可以单卡部署，这直接改变了硬件选型方案。
| 精度类型 | 权重显存 (7B模型) | 相对FP16节省 | 典型硬件支持 | 精度损失程度 |
|---|---|---|---|---|
| FP16 | 14 GB | 基准 | 所有GPU | 无 |
| INT8 (W8A8) | 7 GB | 50% | NVIDIA T4/A10/A100, 部分NPU | 极小 (通常 <1% 精度下降) |
| INT4 (W4A16) | 3.5 GB | 75% | 需框架支持反量化，如 vLLM, TensorRT-LLM | 中等 (需校准和评估) |
| INT4 (W4A8) | 3.5 GB | 75% | 最新GPU架构 (Ada Lovelace, Hopper) | 中等偏高 |
推理速度的影响则更为复杂。理论上，INT8 计算吞吐是 FP16 的 2 倍（在支持 INT8 张量核心的 GPU 上），INT4 则可能达到 4 倍。但实际速度提升受限于三个因素：内存带宽瓶颈、反量化开销和算子融合程度。对于大模型推理，尤其是 batch size 较小时，模型往往受内存带宽限制而非计算限制。此时，INT4 权重减少显存读取量，能显著提升 token 生成速度。但如果框架在每次计算前都需要将 INT4 反量化为 FP16，额外的计算和内存操作可能抵消部分收益。
4.3 量化策略选择：从模型分析到部署验证
选择量化策略需要遵循一套系统化的判断流程，而不是凭经验拍板。以下是推荐的五步法：
- 硬件能力盘点：确认目标 GPU/CPU/NPU 支持的量化指令集。NVIDIA 从 Turing 架构开始支持 INT8 张量核心，从 Ada Lovelace 开始支持 INT4。AMD 和 Intel 的支持情况需查阅具体文档。
- 模型敏感度分析：对模型的不同层进行量化敏感性测试。通常，Attention 层的 QKV 投影对量化较敏感，而 MLP 层相对鲁棒。使用 Perplexity 或下游任务指标评估每层量化后的损失。
- 校准数据集构建：选择 500-5000 条具有代表性的真实业务数据，覆盖输入分布的长尾。避免使用与训练集完全相同的分布，否则校准后的 scale 可能过拟合。
- 框架与工具链选型：TensorRT-LLM、vLLM、llama.cpp、HuggingFace Optimum 等框架对量化的支持程度不同。例如，llama.cpp 对 CPU 上的 INT4 优化极佳，而 TensorRT-LLM 在 NVIDIA GPU 上性能最强。
- 端到端验证：不仅评估模型精度（如 BLEU、准确率），还要测量 P99 延迟、吞吐量、显存峰值和功耗。特别关注长序列场景下的 KV Cache 显存增长。
4.4 实战案例：7B 模型从 FP16 到 INT4 的部署优化
某 SaaS 公司需要将 7B 对话模型部署到 4 张 A10 (24GB) 显卡上，服务 1000 并发用户，要求首 token 延迟 < 500ms，生成速度 > 30 token/s。初始 FP16 部署时，模型权重占用 14GB，加上 KV Cache 和激活值，单卡显存峰值达到 22GB，只能勉强运行，且并发超过 50 时出现 OOM。
分析过程：通过 profiling 发现，显存瓶颈主要在权重和 KV Cache。模型推理时，计算利用率仅 35%，而内存带宽利用率高达 85%，属于典型的带宽受限场景。因此，减少权重显存读取是提升速度的关键。
实施步骤：
- 第一步：使用 GPTQ 算法对模型进行 INT4 量化，校准数据集选用 2000 条客服对话记录，per-group 粒度（group size=128）。
- 第二步：在 vLLM 框架中启用 INT4 权重加载，并开启 KV Cache 的 FP16 量化（暂不启用 INT8 KV Cache，避免精度风险）。
- 第三步：将 batch size 从 8 提升到 32，利用 vLLM 的 PagedAttention 管理显存。
- 第四步：对比量化前后模型在公开测试集上的 BLEU 和 ROUGE 分数，确认下降 < 2%。
结果对比：
| 指标 | FP16 基线 | INT4 优化后 | 变化 |
|---|---|---|---|
| 单卡显存峰值 | 22 GB | 9.5 GB | ↓ 57% |
| 最大并发数 | 50 | 280 | ↑ 460% |
| 平均生成速度 | 28 token/s | 41 token/s | ↑ 46% |
| P99 首 token 延迟 | 620 ms | 480 ms | ↓ 22% |
风险与代价：INT4 量化后，模型在涉及数学推理和代码生成的任务上出现轻微退化（准确率下降约 3%）。为缓解此问题，团队对敏感层（如 Attention 的 QKV 投影）保留了 FP16，采用混合精度方案，最终将精度损失控制在 1.5% 以内，但显存占用增加至 11GB，仍在可接受范围。
4.5 常见误区与总结
在量化部署实践中，以下误区值得特别警惕：
- 误区一：量化精度损失一定不可接受。实际上，通过校准和混合精度，大多数任务可以控制在可接受范围内。关键在于评估任务对数值扰动的敏感度。
- 误区二：INT4 一定比 INT8 快。如果硬件不支持 INT4 快速计算，或者框架反量化开销大，INT4 可能更慢。务必实测。
- 误区三：忽略 KV Cache 量化。长序列场景下，KV Cache 显存可能超过权重。INT8 KV Cache 可以减半这部分占用，且对精度影响较小。
- 误区四：校准数据集随意选择。使用与业务分布不匹配的校准集，会导致 scale 不准，量化后模型在真实数据上表现极差。
总结而言，量化策略的选择应遵循“硬件先行、数据驱动、端到端验证”的原则。没有一种量化方案适用于所有场景，FP16 适合追求极致精度的离线分析，INT8 是精度与性能的稳健平衡点，INT4 则是显存受限场景下的利器。建议团队建立量化基准测试库，将不同精度、不同框架、不同硬件组合的测试结果沉淀为知识库，为后续模型部署提供快速决策依据。