4. 校准数据集与量化参数：如何选择校准集？KL散度、MSE、MinMax等校准方法详解

模型量化这件事，说白了就是给神经网络做「瘦身」。但瘦身不能瞎减，得知道哪些地方肉多、哪些地方是骨头。校准数据集和校准方法，就是帮我们找到这个「度」的工具。

我刚开始做量化的时候，踩过一个坑：随便拿了几百张图就跑校准，结果模型精度掉了3个点。后来才发现，校准集选得不对，量化参数算出来全是偏的。今天咱们就把这块掰开揉碎了讲清楚。

4.1 校准数据集：量化成败的第一道关

校准集是用来统计激活值分布的数据。NPU在做量化时，需要知道每一层输出的数值范围，才能算出合适的scale和zero_point。这个统计过程，就叫校准（Calibration）。

选校准集时，我一般会遵循这几个原则：

• 覆盖度优先：校准集要覆盖所有常见的输入模式。分类模型至少每个类别都有样本，检测模型要包含不同尺寸、不同角度的目标。
• 数量不用太多：通常500~2000张就够了。我见过有人拿5万张图做校准，结果跟2000张的效果几乎一样，白白浪费算力。
• 避免极端值：全黑、全白、严重过曝的样本要剔除。这些极端值会把量化范围撑得很大，导致正常数据的精度损失。

4.2 校准方法：三种主流方案对比

选好校准集后，就该决定怎么用这些数据来计算量化参数了。目前主流的方法有三种：MinMax、KL散度、MSE。它们各有各的脾气。

方法	原理	适用场景	精度表现	计算开销
MinMax	直接取激活值的全局最小/最大值	权重量化、分布均匀的激活值	中等，易受离群点影响	极低
KL散度	最小化量化前后分布的KL散度	激活值分布不对称、长尾分布	较高，对离群点鲁棒	中等
MSE	最小化量化前后值的均方误差	分布对称、接近正态分布	较高，对离群点敏感	较高

4.3 MinMax：最简单，但最容易被坑

MinMax的思路很直白：统计所有校准数据在这一层输出的最小值min和最大值max，然后直接映射到量化范围。

# 伪代码示例
def calibrate_minmax(activation_values):
    min_val = np.min(activation_values)
    max_val = np.max(activation_values)
    scale = (max_val - min_val) / 255.0
    zero_point = -min_val / scale
    return scale, zero_point

这个方法的好处是快，几乎不费什么计算资源。但问题也很明显——它太容易被离群点带偏了。

4.4 KL散度：不对称分布的救星

KL散度衡量的是两个概率分布之间的差异。在量化场景下，我们想找到一个阈值T，使得原始分布和量化后的分布之间的KL散度最小。

具体做法是：

1. 统计激活值的直方图（通常用2048个bin）
2. 从某个阈值T开始，将直方图截断
3. 将截断后的分布量化到256个bin
4. 计算原始分布和量化分布的KL散度
5. 遍历所有可能的T，找到KL散度最小的那个

# KL散度校准的核心逻辑（简化版）
def calibrate_kl(hist, bin_edges):
    best_kl = float('inf')
    best_threshold = 0
    
    for threshold in range(128, 2048):  # 遍历可能的截断点
        # 截断直方图
        truncated = hist[:threshold]
        # 量化到256个bin
        quantized = quantize_histogram(truncated, 256)
        # 计算KL散度
        kl = compute_kl_divergence(truncated, quantized)
        if kl < best_kl:
            best_kl = kl
            best_threshold = threshold
    
    return bin_edges[best_threshold]

KL散度的优势在于，它能自动找到「截断点」。对于长尾分布，它会主动舍弃那些出现概率极低的极端值，从而给正常数据留出更多的量化精度。

4.5 MSE：对称分布的最佳选择

MSE方法的目标是让量化前后的数值误差最小。它同样会遍历不同的截断阈值，但评价指标换成了均方误差。

# MSE校准的核心逻辑
def calibrate_mse(activation_values):
    best_mse = float('inf')
    best_scale = 0
    
    # 遍历不同的scale值
    for scale in np.linspace(0.001, 1.0, 1000):
        # 量化再反量化
        quantized = np.round(activation_values / scale)
        dequantized = quantized * scale
        # 计算MSE
        mse = np.mean((activation_values - dequantized) ** 2)
        if mse < best_mse:
            best_mse = mse
            best_scale = scale
    
    return best_scale

MSE对离群点比较敏感，因为平方项会放大误差。但如果你的激活值分布接近正态分布（比如很多全连接层的输出），MSE往往能给出比KL散度更优的结果。

4.6 三种方法的对比总结

说了这么多，到底该用哪个？我个人的经验是：

• 权重量化：用MinMax就够了。权重的分布通常比较规整，离群点也少。
• 激活值量化（分类模型）：首选KL散度。它对各种分布都比较鲁棒。
• 激活值量化（检测/分割模型）：建议KL散度和MSE都试一下。检测模型的输出层分布往往很特殊，需要具体问题具体分析。

4.7 校准流程全景图

下面这张图展示了从校准集准备到量化参数生成的全流程。你可以把它当作一个检查清单，每次做量化时对照着走一遍。

4.8 实战中的几个坑

最后分享几个我踩过的坑，希望能帮你省点时间：