3. 验证体系概览
在PD模型（Probability of Default，违约概率模型）的验证工作中，区分度、校准度与稳定性构成了三位一体的核心验证框架。很多团队在建模阶段投入大量精力追求AUC或KS的提升，却在验证阶段发现模型上线后表现与开发期严重偏离。根本原因往往不是算法不够先进，而是验证体系没有覆盖这三个维度的完整闭环。本节将从定义出发，梳理三者的内在关系，并给出可落地的验证流程。
一、核心原理：三个维度到底在验证什么
区分度回答的问题是：模型能否把好人坏人分开？它衡量的是模型对违约样本与非违约样本的排序能力。常用的指标包括AUC、KS、Gini系数和AR值。区分度只关心排序，不关心概率值本身是否准确。一个AUC达到0.75的模型，可能给出的违约概率全部偏高，但排序依然正确。
校准度回答的问题是：模型给出的概率值是否可信？它衡量的是预测违约概率与实际违约频率之间的一致性。例如模型对某客群给出5%的违约概率，如果该客群实际违约率接近5%，则校准良好；若实际违约率达到12%，则模型严重低估风险。常用工具包括校准曲线、Hosmer-Lemeshow检验、Brier Score以及二项检验。
稳定性回答的问题是：模型在不同时间、不同样本上是否保持一致？它关注的是模型输出分布和变量分布是否随时间发生显著漂移。常用指标包括PSI（Population Stability Index）、CSI（Characteristic Stability Index）以及跨期AUC对比。稳定性差的模型，即使开发期区分度和校准度都很好，上线后也可能迅速失效。
三者的逻辑关系可以概括为：区分度是模型有效的必要条件，校准度是模型可用的必要条件，稳定性是模型可持续的必要条件。三者缺一不可，且验证顺序应当先看稳定性，再看区分度，最后看校准度。
二、方法流程：验证体系的标准化步骤
一个完整的PD模型验证流程应当遵循以下步骤，确保三个维度都被系统覆盖：
- 数据准备与样本切分：确认验证样本的时间窗口、样本量和违约定义与开发期一致。通常采用跨期验证（OOT，Out-of-Time）而非随机切分，以真实反映模型在未来数据上的表现。
- 稳定性验证：计算训练集与验证集之间、以及各时间窗口之间的PSI和CSI。PSI低于0.1为稳定，0.1至0.25为需关注，超过0.25为显著漂移。
- 区分度验证：在验证样本上计算AUC、KS、Gini等指标，并与开发期指标对比。同时按客群、产品、区域等维度进行分层验证，检查区分度是否在子群体中一致。
- 校准度验证：绘制校准曲线，执行Hosmer-Lemeshow检验，计算Brier Score。若校准偏差显著，需评估是否进行概率映射或重新校准。
- 综合判断与验证结论：将三个维度的结果汇总，形成验证意见：通过、有条件通过或不通过，并给出后续监控建议。
实操建议：稳定性验证应优先于区分度和校准度。如果PSI已经超过0.25，说明验证样本与开发样本的分布差异过大，此时再讨论AUC或校准曲线意义有限，应首先排查数据漂移原因。
三、案例场景：一个典型的验证失败复盘
某银行零售信贷PD模型在开发期表现优异：AUC为0.78，KS为0.42，校准曲线接近对角线。但上线六个月后，模型监控显示实际违约率远超预测值，业务部门反馈模型“不准了”。
复盘发现：开发期使用的是2019—2020年数据，验证期使用的是2021年数据。2021年受宏观经济影响，低收入客群的收入分布发生显著偏移，该客群的CSI达到0.31，PSI达到0.28。虽然整体AUC仍维持在0.74，但校准度严重恶化——模型预测该客群违约概率为3.5%，实际违约率达到9.2%。
这个案例说明：区分度没有明显下降，不代表模型没有问题。稳定性漂移会首先破坏校准度，进而影响基于概率的决策（如定价、拨备、额度审批）。如果验证体系只关注AUC，就会遗漏这一关键风险。
验证结果摘要示例：
样本期间：2021-01 至 2021-12
整体PSI：0.28（显著漂移）
整体AUC：0.74（开发期0.78，下降0.04）
整体KS：0.38（开发期0.42）
校准检验：H-L p值 < 0.01（拒绝校准良好假设）
低收入客群CSI：0.31
结论：不通过，需重新校准或重建模型四、误区与复盘：验证体系中的常见陷阱
在实际验证工作中，以下误区反复出现，值得警惕：
- 误区一：只看AUC，忽略校准度。很多验证报告用AUC一锤定音，但AUC高不代表概率可用。对于需要精确概率输出的场景（如IFRS9拨备、风险定价），校准度才是核心。
- 误区二：用随机切分代替跨期验证。随机切分会让训练集和验证集共享同一时间分布，掩盖时间漂移问题。PD模型验证应优先使用OOT样本。
- 误区三：稳定性只算PSI，不看CSI。PSI反映模型输出分的分布变化，CSI反映入模变量的分布变化。只看PSI可能无法定位漂移根源。
- 误区四：验证一次就结束。验证不是一次性动作，而是持续监控的一部分。建议每季度更新PSI和校准曲线，每年做一次全面验证。
- 误区五：忽略分层验证。整体指标合格不代表所有子客群都合格。应至少按核心客群、产品类型和区域进行分层验证。
| 验证维度 | 核心问题 | 常用指标 | 合格参考标准 | 验证优先级 |
|---|---|---|---|---|
| 稳定性 | 分布是否漂移 | PSI、CSI | PSI<0.1稳定；0.1-0.25关注；>0.25预警 | 第一优先 |
| 区分度 | 排序能力是否足够 | AUC、KS、Gini | AUC>0.65；KS>0.25（视业务而定） | 第二优先 |
| 校准度 | 概率是否准确 | 校准曲线、H-L检验、Brier Score | H-L p值>0.05；校准曲线接近对角线 | 第三优先 |
关键提醒：三个维度的验证结论可能存在冲突。例如稳定性合格、区分度合格，但校准度不合格。此时不应简单判定“通过”，而应评估校准偏差的业务影响，决定是否进行概率校准后再上线。验证报告必须同时呈现三个维度的结果，避免选择性报告。
总结来说，区分度、校准度和稳定性分别从排序能力、概率准确性和时间一致性三个角度对PD模型进行检验。验证流程应遵循“先稳定性、再区分度、后校准度”的顺序，并结合分层验证和持续监控，形成完整的验证闭环。只有三个维度都通过检验，模型才具备上线和持续使用的条件。