2. 概率校准基础与评价指标
在贝叶斯模型校准的语境下，我们关心的不只是“预测得准不准”，更是“模型说出的概率值是否可信”。一个分类器输出 0.9 的置信度，意味着在大量同样输出 0.9 的样本中，真实正例的比例应当接近 90%。这种“预测概率与真实频率一致”的性质，就是概率校准。本节围绕可靠性图、Brier 分数、对数损失、ECE 与 MCE 五个核心工具，讲清它们的计算方式、解读要点，以及它们与贝叶斯后验之间的内在联系。
可靠性图：把“说的”和“发生的”画在一起
可靠性图（reliability diagram）是最直观的校准诊断工具。做法是：把样本按预测概率分箱（例如 [0,0.1)、[0.1,0.2)……[0.9,1.0] 共 10 箱），对每个箱计算两个量——箱内平均预测概率（横轴）与箱内真实正例比例（纵轴），再以样本量为权重画出柱状分布。若模型完全校准，所有点应落在对角线上；点在对角线下方表示过度自信（预测 0.9 但实际只有 0.7），在上方表示欠自信。
解读时要注意两点。其一，分箱数量是超参数：箱太少会掩盖局部偏差，箱太多则每箱样本稀疏、曲线抖动。实践中常用 10～15 个等宽箱，并同时画出每箱样本量，避免被小样本箱的极端比例误导。其二，可靠性图只反映“平均”层面的偏差，无法区分“整体偏移”与“局部翻转”，这正是需要 ECE、MCE 等标量指标补充的原因。
Brier 分数与对数损失：两个互补的评分规则
Brier 分数是预测概率与真实标签（0/1）之间的均方误差：
Brier = (1/N) * Σ (p_i - y_i)^2它同时惩罚“预测错”和“过度自信”，取值范围 [0,1]，越小越好。例如三个样本预测概率为 0.9、0.6、0.2，真实标签为 1、0、0，则 Brier = (0.01 + 0.36 + 0.04)/3 ≈ 0.137。Brier 分数可分解为“校准项 + 分辨项 - 不确定性项”，因此它既受校准影响，也受模型区分能力影响，不能单独当作校准指标。
对数损失（log loss）是负对数似然的平均：
LogLoss = -(1/N) * Σ [ y_i·log(p_i) + (1-y_i)·log(1-p_i) ]它对“自信地犯错”惩罚极重：预测 0.99 而真实为 0 时，单样本损失约 4.6；预测 0.51 时仅约 0.67。对数损失是严格适当评分规则（strictly proper scoring rule），最优策略就是报告真实后验概率，因此在贝叶斯框架下具有特殊地位——它衡量的正是模型后验分布与真实数据生成分布的接近程度。
ECE 与 MCE：把校准误差压缩成标量
期望校准误差（ECE）是各箱“平均预测概率与真实比例之差”的加权平均：
ECE = Σ (n_b / N) * |acc(b) - conf(b)|其中 n_b 为第 b 箱样本数，acc(b) 为箱内真实正例比例，conf(b) 为箱内平均预测概率。最大校准误差（MCE）则取所有箱中该差值的最大值，对最坏情况更敏感。举例：若 10 个箱的偏差依次为 0.02、0.01、0.05、0.03、0.08、0.04、0.02、0.06、0.03、0.01，样本均匀分布，则 ECE ≈ 0.035，MCE = 0.08。ECE 反映“平均有多偏”，MCE 反映“最坏有多偏”，二者应结合使用：ECE 低但 MCE 高，说明整体尚可但存在局部严重失准的区间。
与贝叶斯后验的关系
在贝叶斯视角下，模型输出的概率应逼近给定特征后的后验概率 P(y=1|x)。校准良好的模型，其预测概率就是后验的合理估计；可靠性图上的对角线，正是“预测概率 = 后验频率”的几何表达。对数损失作为负对数后验似然，直接度量后验估计的质量；Brier 分数则对应后验均方误差。ECE、MCE 可以看作对后验校准性的分段近似检验。因此，当我们用贝叶斯方法做校准（如温度缩放、贝叶斯校准、后验采样集成）时，评价闭环应当是：先用可靠性图看形态，再用 Brier/对数损失看整体评分，最后用 ECE/MCE 量化校准偏差，三者互相印证。
实操示例：一次完整的校准评估
假设我们在一个二分类验证集（N=2000）上得到某贝叶斯分类器的预测概率，按 10 个等宽箱统计后，发现第 8 箱（预测 0.7～0.8）的 conf=0.75、acc=0.62、n=260，第 9 箱（0.8～0.9）的 conf=0.85、acc=0.70、n=180。计算可得该两箱偏差分别为 0.13 与 0.15，若其余箱偏差较小，则 ECE 会被这两箱明显拉高，MCE 至少为 0.15。此时可靠性图会显示高概率段整体下沉，提示模型在高置信区间过度自信。进一步计算 Brier 与对数损失，若对数损失显著高于同分辨力下的理论值，说明校准项贡献了主要误差。据此可优先对高概率段做温度缩放或等渗回归校准，再重新绘制可靠性图验证偏差是否收敛。