1. 课程导入与校准问题定义

在分类模型的实际应用中，我们常常把模型输出的分数直接当作“概率”来使用：风控系统看到 0.9 的违约概率就拒绝放贷，医疗辅助系统看到 0.8 的恶性概率就建议活检，推荐系统看到 0.7 的点击概率就提高排序权重。但一个关键问题是：模型说“90% 会违约”，现实中真的约有 90% 的样本违约吗？如果实际只有 60%，那么模型虽然可能仍有不错的区分能力（AUC 很高），但它给出的概率数值已经失真，基于这个数值做出的阈值决策、期望损失计算和风险定价都会系统性偏移。这正是模型校准（calibration）要解决的问题。

需要先厘清一个常见误解：校准与区分能力是两件不同的事。区分能力关心“能不能把正负样本排对序”，常用 AUC、KS 衡量；校准关心“预测概率的数值是否与真实频率一致”，常用可靠性图、期望校准误差（ECE）、Brier 分数衡量。一个模型可以排序很好但严重过度自信（例如把所有样本都推向 0 或 1），也可以排序一般但概率数值大致可信。贝叶斯视角下的校准更进一步：它不把“真实概率”视为一个固定未知常数，而是把模型参数和预测本身都看作带后验分布的量，因此校准不仅是点估计的修正，还涉及认知不确定性（模型没见过足够数据导致参数不确定）与偶然不确定性（数据本身固有的随机性）的分离。

校准问题的形式化定义

设模型对样本 $x$ 输出预测概率 $\hat{p}(x)$，真实标签为 $y \in \{0,1\}$。完美校准要求对所有 $p \in [0,1]$ 满足：

P( y = 1 | p̂(x) = p ) = p

也就是说，把所有预测概率落在 $p$ 附近的样本聚成一组，这一组的实际正例比例应当接近 $p$。工程上无法直接验证连续概率，通常把 $[0,1]$ 划分为若干区间（如 10 个等宽箱），统计每个箱内的平均预测概率与真实正例率，绘制可靠性图。若点落在对角线上，说明该区间校准良好；点在对角线下方表示模型过度自信（预测偏高），在上方表示欠自信。ECE 则是各箱内“平均预测概率与真实频率之差的绝对值”按样本量加权求和，是一个便于横向比较的汇总指标。

不确定性来源与评估框架

要系统地做校准，需要先看清不确定性从哪来。下面这张图把本节的核心概念组织成一条从“原始输出”到“决策风险”的关系结构，同时标出三类不确定性在链路中的位置：

图中三类不确定性对校准的影响方式不同。认知不确定性通常表现为“预测向中间收缩”或“极端区间样本少导致估计不稳”，可以通过增加数据、引入合理先验或使用贝叶斯后验采样来缓解；偶然不确定性是数据生成过程本身的噪声，它会让任何模型都无法达到完美校准，评估时应把它视为校准误差的下界；分布偏移则是最危险的一类，因为模型在训练集上校准良好，部署到新人群后可靠性图可能整体偏离对角线，且这种偏离无法通过离线指标提前发现，必须依赖线上监控。

一个可操作的教学示例

假设我们有一个信用违约模型，在 1000 条验证样本上按预测概率分为 5 个等频箱，得到如下（示例假设）统计：

按公式计算 ECE（示例）：各箱偏差绝对值为 0.01、0.03、0.02、0.09、0.13，等权平均得 ECE ≈ 0.056。这个数值本身不算灾难性，但可靠性图显示高分段系统性高估，而高分段恰恰是风控决策最敏感的区间——如果业务规则是“预测违约率超过 0.7 就拒绝”，那么模型会把一批实际违约率仅 0.62 的客户误拒，造成收入损失；反之若用于风险定价，高估会导致定价过高、优质客户流失。这说明校准误差的业务影响取决于它落在哪个概率区间，以及该区间是否靠近决策阈值，这也是为什么不能只看一个全局 ECE 就下结论。

针对上例，一种常见修正是对高分段做保序回归（等渗校准）或拟合 Platt 缩放，用独立校准集学习映射 $g(\hat{p})$，使 $g$ 的输出满足校准条件。贝叶斯做法则是对校准参数（如 Platt 的斜率与截距）赋予先验，在小校准集上得到后验分布，从而在修正概率的同时给出该概率的可信区间——当区间很宽时，说明该样本的校准修正本身不可靠，决策时应更保守。这正是后续章节要展开的核心工具。