3. 模型生命周期
贷后模型不是一次开发、永久使用的静态资产，而是一个贯穿开发、上线、监控、迭代、退役的动态生命周期。时间外验证（Out-of-Time Validation，OOT）与稳定性回测（Stability Backtest）并非只在某一个环节出现，而是在不同阶段承担不同职责：开发阶段用于检验泛化能力，上线阶段用于准入把关，监控阶段用于预警漂移，迭代阶段用于归因定位，退役阶段用于确认失效。理解这两类验证在各阶段的定位，是建立模型治理闭环的前提。
一、核心原理：两类验证的本质差异
时间外验证的核心是“用未来数据检验过去模型”。开发样本通常按时间切分为训练集、验证集和OOT集，OOT集位于时间轴最末端，模拟模型上线后面对的真实未来分布。它回答的问题是：模型在未见过的、时间更靠后的样本上，区分能力和排序能力是否依然成立。
稳定性回测的核心是“用分布对比检验模型输入与输出的漂移”。它不直接看标签，而是看特征分布、评分分布、通过率、坏账率等指标随时间的变化。它回答的问题是：模型所处的数据环境是否发生了足以影响决策的偏移。
一句话区分：OOT看“模型在未来的表现是否达标”，稳定性回测看“模型所处的环境是否已经变化”。前者偏效果验证，后者偏风险预警。
二、方法流程：五个阶段的定位与动作
下面按模型生命周期的五个阶段，梳理两类验证的定位、输入、输出和典型动作。
| 阶段 | 时间外验证定位 | 稳定性回测定位 | 关键输出 |
|---|---|---|---|
| 开发 | 检验泛化能力，决定是否准入 | 初步观察训练/OOT分布差异 | OOT KS、AUC、PSI基线 |
| 上线 | 上线前最终效果复核 | 建立监控基线阈值 | 上线准入报告、阈值配置 |
| 监控 | 周期性滚动OOT复核 | 实时/批量漂移预警 | 月度OOT报表、PSI告警 |
| 迭代 | 新旧模型OOT对比归因 | 定位漂移来源特征 | 迭代决策、特征替换清单 |
| 退役 | 确认效果持续不达标 | 确认漂移不可逆 | 退役报告、替代方案 |
开发阶段，OOT集通常取时间上最后10%～20%的样本，且必须与训练集严格隔离。稳定性回测在此阶段主要建立PSI基线，为后续监控提供参照。上线阶段，OOT验证是准入硬门槛，稳定性回测则转化为监控阈值配置，例如评分PSI超过0.1预警、超过0.25告警。
监控阶段是两类验证配合最紧密的环节。OOT按季度或月度滚动执行，稳定性回测按周或日执行。迭代阶段，当OOT效果下降且稳定性回测显示某几个特征PSI显著偏高时，可优先怀疑这些特征，而非全量重构。退役阶段，需要连续多个周期OOT不达标且稳定性回测显示漂移不可逆，才可确认退役。
三、案例场景：一次评分漂移的联合诊断
某消费贷贷后模型上线6个月后，监控发现评分PSI连续两周超过0.2。仅看稳定性回测，只能知道“分布变了”，但不知道“效果是否还成立”。此时启动滚动OOT验证，取最近一个月的成熟样本计算KS，发现KS从开发期的0.42降至0.31，已低于准入阈值0.35。
进一步做特征级稳定性回测，发现“近3个月查询次数”这一特征的PSI高达0.38，而其他特征均在0.05以下。结合业务复盘，确认是渠道策略调整导致该特征分布整体右移。最终决策不是立即退役模型，而是对该特征做分箱重映射并重新校准评分，迭代后再做OOT验证。这个案例说明：稳定性回测负责“发现异常”，OOT负责“确认影响”，两者缺一不可。
# 稳定性回测与OOT联合诊断的简化日志示例
[监控] 2024-06-01 评分PSI=0.21 触发预警
[OOT ] 2024-06-01 最近30天成熟样本 KS=0.31 低于阈值0.35
[特征] 近3月查询次数 PSI=0.38 排名第一
[特征] 历史逾期次数 PSI=0.04
[特征] 授信额度使用率 PSI=0.06
[结论] 单一特征漂移导致评分偏移，建议分箱重映射后迭代
四、误区与复盘
- 误区一：用随机切分代替时间外验证。随机切分会让未来信息泄漏到训练集，OOT效果虚高。贷后模型必须按时间切分，且OOT集位于时间末端。
- 误区二：只看PSI不看OOT。PSI高不代表效果一定下降，PSI低也不代表效果一定稳定。两者必须联合判断。
- 误区三：监控阶段只做稳定性回测。没有滚动OOT，就无法确认漂移是否已经影响区分能力，容易错过迭代窗口。
- 误区四：退役只看单次OOT。单次不达标可能是样本波动，需连续多个周期确认，并结合稳定性回测判断是否不可逆。
建议在模型治理规范中明确：OOT验证至少每季度一次，稳定性回测至少每周一次；两者结果同时进入模型健康度评分，任一触发红线即启动人工复核。
注意：OOT样本需要标签成熟。贷后表现期通常为3～6个月，若在标签未成熟时计算OOT指标，会得到偏乐观或偏悲观的错误结论。监控阶段的滚动OOT必须使用已成熟样本。
综上，时间外验证与稳定性回测在模型生命周期中不是两个孤立动作，而是一套“效果+环境”的双轨验证机制。开发阶段定基线，上线阶段做准入，监控阶段做预警，迭代阶段做归因，退役阶段做确认。只有把两者嵌入每个阶段的流程与阈值中，贷后模型才能真正做到可解释、可监控、可迭代、可退役。