4. 精度与速度的量化关系建模

在上一节中，我们讨论了精度与速度在定性层面的矛盾。但在工程实践中，仅知道“精度越高越慢”是不够的，我们需要回答一个更具体的问题：精度每提升一位，究竟要付出多少时间代价？本节将建立误差-时间成本模型，并通过微基准测试拟合典型运算的精度-速度曲线，使权衡决策从经验判断走向量化分析。

一、误差-时间成本模型的基本形式

数值精度通常用有效位数 b 表示。对于定点运算，b 直接对应位宽；对于浮点运算，b 对应尾数位数。一个直观的建模思路是：计算时间 T 随精度 b 增长而增长，且增长速率本身可能随 b 变化。我们采用如下幂律模型作为基础：

T(b) = T₀ + k · b^α

其中 T₀ 为固定开销（访存、调度、流水线填充等），k 为比例系数，α 为精度敏感指数。当 α ≈ 1 时，时间随位数线性增长，常见于逐位串行运算；当 α > 1 时，存在超线性增长，典型于乘法器面积随位宽平方增长导致的频率下降或流水级增加。

“精度每提升一位所需的额外开销”可定义为离散差分：

ΔT(b→b+1) = T(b+1) − T(b) ≈ k · α · b^(α−1)

该式表明：若 α > 1，每增加一位的边际成本随当前位数递增——从 8 位到 9 位的代价远小于从 24 位到 25 位。这正是混合精度设计中“低位宽收益更大”的数学依据。

二、微基准测试的设计与执行

模型参数 T₀、k、α 不能凭空假设，必须通过微基准测试拟合。以矩阵乘法为例，设计如下测试方案：固定矩阵规模 N=1024，分别采用 FP32、FP16、BF16、INT8 四种精度执行同一 GEMM 内核，每种精度重复 200 次取中位数，排除首次运行的冷启动影响。

测试时需控制变量：同一 GPU、同一批次大小、同一内存布局、关闭动态频率调节。记录每组精度的平均耗时后，以位宽 b 为横轴、时间 T 为纵轴做散点，再用最小二乘拟合幂律参数。一个合理的示例结果（以下为教学假设数据，非实测）可能是：FP32（b=24）耗时 8.2 ms，FP16（b=11）耗时 3.1 ms，BF16（b=8）耗时 2.4 ms，INT8（b=8）耗时 1.6 ms。注意 BF16 与 INT8 位宽相同但耗时不同，说明 b 并非唯一变量——数据格式的硬件支持程度同样影响 T₀ 与 k。

三、精度-速度曲线的解读

下图展示了典型运算在“精度—归一化时间”平面上的关系。左侧为矩阵乘（计算密集），右侧为卷积（含较多访存与数据重排），两条曲线的斜率差异反映了不同运算对位宽的敏感程度。

从图中可读出两个关键结论。第一，矩阵乘的曲线更陡（α 更大），因为其计算密度高，位宽直接影响乘法器与累加器的吞吐；卷积曲线较平缓，因为其时间中有相当比例花在数据搬运与重排上，这部分开销与位宽弱相关。第二，两条曲线在低位宽区间差距较小，在高位宽区间差距拉大——这意味着精度越高，运算类型之间的速度差异越显著，选择合适的内核实现比单纯降精度更重要。

四、从模型到决策：边际成本的应用

有了 ΔT(b→b+1)，就可以做边际收益分析。假设某推理任务当前用 FP16（b=11），若降到 BF16（b=8）可节省约 0.7 ms/次，但引入的量化误差使 Top-1 准确率下降 0.3 个百分点。若业务可接受该损失，则每减少一位平均节省约 0.23 ms。反过来，若从 FP32 降到 FP16，节省 5.1 ms 而精度损失仅 0.1 个百分点，边际收益明显更高。这说明降精度应优先发生在曲线陡峭段的高位宽区间，而非在低位宽区间继续压缩。

五、建模实践中的注意事项

第一，区分理论位宽与有效位宽。某些格式（如带块缩放的 FP8）名义位宽低，但缩放因子引入额外开销，实际 T₀ 偏高，拟合时应以实测时间为准而非标称位宽。第二，注意非线性拐点。当位宽超过硬件原生支持范围（如用两个 FP16 模拟 FP32），时间可能出现阶跃而非平滑增长，此时幂律模型需分段拟合。第三，微基准应覆盖目标工作负载的真实形状，用 1024×1024 方阵拟合出的参数，未必适用于 batch=1 的窄矩阵乘。

综上，误差-时间成本模型把“精度换速度”从口号变成了可计算、可验证的工程工具：先测、再拟合、后算边际成本，最后结合精度损失做决策。这套流程可以复用到任何需要位宽选择的算子调优中。