2、精度基础概念：理解浮点精度、定点量化、INT8/FP16/BF16等常见数值格式及其对精度的影响

在BM1688的精度偏差排查工作中，绝大多数问题的根源并不在算子实现逻辑本身，而在于数值表示格式在不同计算阶段发生了转换。BM1688作为一款面向边缘计算的AI加速芯片，其算力单元（TPU）与通用CPU（ARM Core）在数值处理上采用截然不同的数据通路：CPU侧以FP32为主进行控制流和预处理，而TPU侧为了追求高吞吐、低功耗，通常以FP16、BF16或INT8作为主要计算格式。当模型从PyTorch（FP32训练）导出、编译并部署到BM1688后，中间层的激活值、权重和梯度都会经历一次“格式迁移”，这种迁移带来的量化误差和舍入误差，正是设备输出与原始框架输出产生偏差的第一性原因。理解浮点精度、定点量化以及各数值格式的数值范围与分辨率，是后续定位“偏差发生在哪一层”的必备知识基础。

上图展示了四种数值格式的位宽结构、动态范围与相对精度，以及从FP32到INT8的量化误差传导链路。在BM1688的精度排查中，这张图是判断“偏差是否在可接受范围”的基准坐标系。下面我们将从数值格式的本质、量化误差的数学机理、实际排查中的判断方法以及常见误区四个维度展开。

2.1 核心原理：浮点与定点的数学本质

浮点数（Floating Point）与定点数（Fixed Point）的根本区别在于小数点的位置是否固定。浮点数通过“符号位 + 指数位 + 尾数位”的编码方式，使得小数点可以“浮动”，从而在很宽的动态范围内保持相对一致的相对精度。以FP32为例，其尾数位有23位，能够区分约7位有效十进制数字；而FP16的尾数位只有10位，有效数字约3位。这意味着当一个FP32值1.2345678被转换为FP16时，可能变成1.234或1.235，丢失了第4位以后的信息。

定点数则完全不同。INT8本质上是一个整数，没有指数位，其数值范围固定为[-128, 127]。要将浮点张量映射到INT8，必须引入缩放因子（scale）和零点（zero_point），公式为：

量化值 = clamp(round(浮点值 / scale) + zero_point, -128, 127)
反量化值 = (量化值 - zero_point) × scale

其中scale决定了每个INT8步长代表的浮点大小，zero_point用于处理浮点零值在量化后不对应整数零的情况。这种映射是均匀量化，即整个数值范围内步长一致。对于权重分布近似正态的模型，均匀量化通常足够；但对于激活值存在长尾分布的情况，均匀量化会带来较大误差。

BF16（Brain Floating Point）是Google为深度学习设计的格式，其指数位与FP32相同（8位），但尾数位只有7位。这意味着BF16的动态范围与FP32完全一致（最大可表示±3.4×10³⁸），但精度较低（约2-3位有效数字）。在BM1688上，BF16常用于需要大动态范围但精度要求不高的中间计算，例如LayerNorm的方差计算或Softmax的指数运算。

2.2 判断方法：如何量化评估格式转换带来的精度损失

在实际排查中，我们通常使用以下三个指标来量化精度偏差：

在BM1688的精度排查流程中，建议按以下步骤操作：

1. 确定参考输出：使用PyTorch在CPU/GPU上以FP32精度运行原始模型，保存每一层的输出张量（包括激活值和权重）。
2. 获取设备输出：在BM1688上运行编译后的模型，同样保存对应层的输出张量。注意需关闭异步执行，确保数据同步。
3. 逐层对比：从网络第一层开始，逐层计算上述三个指标。一旦发现某层MAE超过阈值，立即停止，该层即为首个偏差源。
4. 格式确认：查看该层的编译信息（通过bmcompiler的verbose输出），确认其实际使用的数值格式（FP16/BF16/INT8）。
5. 复算验证：在Python中用numpy模拟该格式的舍入过程，验证是否与设备输出一致。

2.3 案例拆解：一个典型的FP16下溢问题

某视觉检测模型在BM1688上部署后，发现第5层（BatchNorm）之后的输出与PyTorch参考输出存在明显偏差，MAE达到0.02，而前4层MAE均在0.0005以内。初步怀疑是BatchNorm的参数转换问题，但检查后发现参数完全一致。

进一步分析发现，该BatchNorm层的输出激活值分布范围极小，大部分值集中在0.001~0.01之间。在FP32下，这些值可以精确表示；但转换为FP16后，由于FP16的最小正正规数为6.1×10⁻⁵，且尾数只有10位，0.005这个值在FP16中只能表示为0.004999或0.005001，相对误差达到2e-4。更严重的是，当激活值经过后续的ReLU和卷积后，误差被逐层放大。

排查过程如下：

• 数据采集：分别从PyTorch和BM1688导出第5层输出，统计其分布直方图，发现设备输出的直方图出现“阶梯状”分布，这是FP16量化间隔的典型特征。
• 模拟验证：在Python中执行 y_fp16 = y_fp32.astype(np.float16).astype(np.float32)，对比模拟结果与设备输出，发现两者完全一致。
• 根因定位：确认是FP16精度不足导致，而非算子逻辑错误。
• 解决方案：将该层强制使用BF16格式（通过编译选项 --output_format=bf16 或层级别配置），因为BF16的动态范围与FP32一致，不会发生小数值的精度丢失。

修改后，该层MAE降至0.0008，整体模型精度恢复。此案例说明：FP16的“精度不足”往往不是均匀的，而是对接近其最小正规数的“小数值”特别不友好。在排查时，不能只看平均误差，还要关注误差的分布位置。

2.4 常见误区与总结复盘

在BM1688精度排查的实践中，工程师常陷入以下误区：

总结复盘：精度基础概念的核心是理解“数值格式决定了信息保留的上限”。在BM1688上，FP32是参考基准，FP16/BF16是计算主力，INT8是极致性能选项。排查精度偏差时，应遵循“先确认格式，再对比分布，后定位首错层”的路径。下表总结了各格式的适用场景与排查关注点：