3、精度基础概念：FP32/FP16/BF16/INT8/INT4等数值格式、量化误差、溢出与舍入误差、精度与性能权衡
在vLLM的推理链路中，数值精度决定了模型权重、激活值以及中间计算结果在内存中的表示方式，直接影响显存占用、计算吞吐和最终输出的质量。理解FP32、FP16、BF16、INT8、INT4等格式的数学特性与硬件适配性，是进行推理精度控制的前提。本章将系统梳理各类数值格式的位宽、指数位与尾数位分布，分析量化误差、溢出与舍入误差的产生机理，并给出精度与性能权衡的工程决策框架。
3.1 核心原理：数值格式的数学本质与硬件适配
数值格式的核心差异在于如何用有限的二进制位表示实数。IEEE 754标准定义了浮点数的三要素：符号位(S)、指数位(E)和尾数位(M)。FP32使用1位符号、8位指数、23位尾数，能够表示约7位十进制有效数字，动态范围达10^±38。FP16将指数位压缩至5位、尾数位压缩至10位，有效数字仅约3位十进制，且最小正规数为6.1e-5，极易发生下溢。BF16则保留了FP32的8位指数，仅将尾数截断至7位，因此动态范围与FP32完全一致，但精度显著降低——这对于深度学习尤为重要，因为梯度下降和注意力计算对指数范围敏感而对尾数精度相对宽容。
整数格式INT8/INT4采用定点表示，需要预先确定缩放因子(scale)和零点(zero point)。INT8的量化公式为：q = round(r / scale) + zero_point，其中r为原始浮点值，scale为浮点缩放系数，zero_point为整数偏移。INT4进一步将表示范围压缩至16个离散值，通常采用对称量化（zero_point=0）以简化计算。从硬件角度看，NVIDIA Ampere架构的Tensor Core支持FP16/BF16/INT8/INT4的矩阵乘加速，其中INT8的算力通常是FP16的2倍，INT4又是INT8的2倍，但精度损失也逐级放大。
3.2 判断方法：误差类型识别与量化敏感性分析
推理精度调试的第一步是识别误差来源。舍入误差（Rounding Error）源于尾数位不足，表现为输出数值的微小抖动，通常在多次推理中呈现随机性。溢出（Overflow）分为上溢（数值超过最大表示范围）和下溢（数值小于最小正规数），上溢在FP16中常见于softmax前的logits计算，下溢则常见于注意力权重经过softmax后的极小值。量化误差（Quantization Error）是整数格式特有的系统性偏差，表现为输出分布的偏移或特定层输出的异常。
判断量化敏感性的实用方法是逐层分析：对每一层分别进行INT8量化，其余层保持FP16，观察最终输出的PPL（困惑度）变化。若某层单独量化导致PPL上升超过0.5%，则该层为敏感层，应保留更高精度。vLLM提供了--quantization参数和--kv-cache-dtype参数，可通过A/B测试快速定位敏感层。此外，观察激活值的分布直方图至关重要——若激活值呈长尾分布，则量化误差会显著放大；若分布集中且对称，则量化损失较小。
| 误差类型 | 产生原因 | 典型表现 | 诊断方法 |
|---|---|---|---|
| 舍入误差 | 尾数位不足 | 输出微小随机抖动 | 多次推理对比输出差异 |
| 上溢 | 数值超过最大范围 | 输出为Inf或NaN | 检查logits最大值 |
| 下溢 | 数值小于最小正规数 | 注意力权重趋零 | 检查softmax输出分布 |
| 量化误差 | 映射失真 | 特定层输出系统性偏移 | 逐层量化A/B测试 |
| 累积误差 | 多层误差叠加 | 深层输出偏差增大 | 对比中间层输出 |
3.3 案例拆解：LLaMA-7B的INT8量化精度调试
某团队在vLLM上部署LLaMA-7B模型，目标是将显存占用从14GB降至8GB以适配单卡A10G。初始方案直接使用--quantization awq进行INT8量化，部署后观察到在C4数据集上的PPL从6.8上升至7.9，且生成文本出现重复片段。团队首先检查了各层的激活值分布，发现第15层和第28层的注意力输出存在明显的长尾分布，最大值达到FP16范围的80%。
进一步分析发现，这两个层对应模型的深层语义理解模块，对数值精度极为敏感。团队采用混合精度方案：将第15层和第28层保留FP16，其余层使用INT8。重新部署后，PPL降至7.1，显存占用为9.2GB，满足硬件约束。随后团队又尝试了INT4量化，但PPL飙升至9.8，且生成质量明显下降，最终放弃INT4方案。
复盘经验表明：量化方案的选择不能仅看显存收益，必须结合任务类型。对于生成任务，PPL的微小上升可能被放大为语义偏差；对于分类任务，INT8通常足够。此外，AWQ（激活感知量化）比GPTQ更适合vLLM的在线推理场景，因为AWQ在量化时考虑了激活值分布，减少了校准数据的需求。
3.4 常见误区与总结复盘
误区一：认为FP16一定优于BF16。实际上，当模型权重中存在极大或极小的数值时（如LayerNorm的gamma参数），FP16会因指数位不足而溢出，BF16反而更稳定。误区二：忽略KV Cache的精度影响。KV Cache在长序列推理中占据主要显存，其精度直接影响注意力计算的准确性。vLLM支持--kv-cache-dtype fp8_e5m2，但需验证长序列下的PPL变化。误区三：量化后不进行校准。直接使用默认量化参数往往导致精度骤降，必须使用代表性数据集进行校准，确定最优的scale和zero_point。
总结本章核心决策框架：首先明确硬件约束（显存、算力），其次评估任务精度要求（生成质量、分类准确率），然后通过逐层敏感性分析确定混合精度方案，最后用PPL和任务指标双重验证。精度与性能的权衡不是非此即彼，而是通过精细的工程手段找到最优平衡点。vLLM的--quantization参数支持多种算法，建议在部署前建立标准化的精度评估流程，将PPL、BLEU、准确率等指标纳入CI/CD管道，防止模型更新后精度回归。