2、回放验证的核心目标

回放验证（Backtesting / Replay Validation）并非简单地将旧数据重新跑一遍模型，而是围绕三个核心目标构建的体系化验证框架。这三个目标分别对应模型在时间维度上的稳定性、在业务决策中的一致性，以及数据环境变化的可感知性。只有同时满足这三个目标，信用评分模型才能在真实业务中持续可靠地运行。

2.1 核心目标总览

2.2 目标一：验证模型预测稳定性

预测稳定性是回放验证最核心的量化指标。它衡量模型在时间推移过程中，是否仍然能够有效区分“好客户”与“坏客户”。常用的验证指标包括：

• KS（Kolmogorov-Smirnov）统计量： 衡量模型区分好坏客户的最大累积差异。回放验证中需观察KS值随时间窗口的衰减趋势。
• AR（Accuracy Ratio）或Gini系数： 衡量模型排序能力的全局指标。通常要求回放窗口内的AR值下降不超过训练集AR值的10%。
• PSI（Population Stability Index）： 虽然PSI常用于监控分数分布，但在回放验证中，分数分布的稳定性直接反映模型预测结果的稳定性。

2.3 目标二：验证决策逻辑一致性

决策逻辑一致性关注的是模型输出如何转化为业务决策。即使模型预测稳定性良好，如果决策阈值或评分卡分段规则与当前业务环境不匹配，仍然会导致错误的审批结论。

验证决策逻辑一致性通常包含以下步骤：

1. 分段拒绝率对比： 将回放窗口的客户按分数段分组，对比每个分数段在训练期和回放期的拒绝率差异。
2. 分段坏账率对比： 计算每个分数段在回放窗口的实际坏账率，与模型开发时的预期坏账率进行对比。
3. 决策边界稳定性检验： 重点关注决策阈值（cut-off）附近的客户群体，验证该边界两侧的客户风险排序是否与开发时一致。

2.4 目标三：监控数据漂移

数据漂移是导致模型失效的根本原因之一。回放验证需要系统性地监控两类数据漂移：

• 特征漂移（Feature Drift）： 单个输入特征的分布变化。例如，客户年龄分布从25-35岁偏移到35-45岁，或收入中位数发生显著变化。
• 概念漂移（Concept Drift）： 特征与目标变量之间的关系发生变化。例如，过去“高学历”对应低违约率，但现在高学历群体的违约率上升，说明模型学到的规律已经失效。

2.5 三个核心目标的联动关系

下图展示了三个核心目标在回放验证中的联动关系与数据流向：

2.6 核心目标验证的优先级与频率

在实际项目中，三个核心目标的验证频率和优先级应根据模型所处的生命周期阶段进行差异化设置：