2. 基础概念
在贷后模型的风险管理中，很多团队把“模型上线”当作终点，实际上上线只是模型生命周期的起点。贷后模型面对的是不断变化的客群、宏观环境和催收策略，如果缺乏对模型时间维度表现的持续检验，模型可能在几个月内就从“可用”退化为“误导”。本章聚焦五个基础术语：贷后模型、时间外验证、稳定性回测、样本外测试、跨时间验证，厘清它们的定义、业务场景与相互关系，为后续实战打下概念地基。
一、核心原理：为什么贷后模型必须做时间维度检验
贷后模型通常指在信贷发放之后，用于预测借款人未来还款行为、逾期概率、回收率或损失程度的模型。常见类型包括：还款能力评分、逾期预警模型、催收响应模型、滚动率模型和损失预测模型。它们的共同特点是：训练样本来自历史已放款客户，但预测对象是未来尚未发生的还款行为。这意味着模型天然存在时间错位。
传统随机划分的验证方式（如按7:3随机拆分训练集和测试集）会带来一个严重问题：同一借款人的不同账期记录可能同时出现在训练集和测试集中，造成信息泄露，使验证结果过于乐观。而贷后行为具有强时间序列特征，随机拆分忽略了“用过去预测未来”的真实业务逻辑。因此，时间外验证、样本外测试和跨时间验证成为贷后模型评估的核心手段。
核心判断：贷后模型的验证目标不是“模型在历史数据上拟合得多好”，而是“模型在未来时间窗口内是否依然能区分好坏客户，并且分数分布保持稳定”。
二、五个术语的定义与业务场景
| 术语 | 定义 | 典型业务场景 | 关键关注点 |
|---|---|---|---|
| 贷后模型 | 放款后用于预测还款、逾期、回收或损失的模型 | 逾期预警、催收排序、损失拨备 | 目标变量定义、观察期与表现期 |
| 时间外验证 | 用训练样本之后的时间段数据验证模型 | 模型上线前最终评估 | 时间切分点是否合理 |
| 稳定性回测 | 检验模型分数分布随时间是否发生显著漂移 | 月度监控、季度复盘 | PSI、均值漂移、分箱迁移 |
| 样本外测试 | 用未参与训练的样本评估模型泛化能力 | 跨机构、跨产品验证 | 样本代表性、是否同分布 |
| 跨时间验证 | 在多个连续时间窗口上滚动验证模型表现 | 年度模型重检、策略迭代 | 多期AUC、KS趋势一致性 |
这五个概念并非彼此孤立。时间外验证强调“时间切分”，样本外测试强调“样本未参与训练”，跨时间验证强调“多窗口滚动”，稳定性回测则更关注“分数分布是否漂移”。在实际项目中，它们常常组合使用：先用时间外验证做上线前评估，再用稳定性回测做上线后监控，最后用跨时间验证决定是否重新训练。
三、方法流程：从数据切分到结论输出
一个规范的贷后模型时间维度验证流程通常包含以下步骤：
- 确定时间切分点：根据业务节奏选择训练窗口、验证窗口和测试窗口。例如用2023年1月至2023年12月训练，2024年1月至3月验证，2024年4月至6月测试。
- 构造时间外样本：确保测试样本的放款时间晚于训练样本，且表现期已完整覆盖。
- 计算区分度指标：在时间外样本上计算AUC、KS、Gini等指标，并与训练集对比。
- 计算稳定性指标：按月计算PSI，观察分数分布是否发生显著迁移。
- 输出验证结论：判断模型是否可上线、是否需要调参或重新训练。
# 示例：按月计算PSI的核心逻辑
import numpy as np
import pandas as pd
def calculate_psi(expected, actual, bins=10):
breakpoints = np.arange(0, bins + 1) / bins * 100
expected_perc = np.percentile(expected, breakpoints)
expected_perc[0] = -np.inf
expected_perc[-1] = np.inf
expected_cnt = np.histogram(expected, expected_perc)[0] / len(expected)
actual_cnt = np.histogram(actual, expected_perc)[0] / len(actual)
expected_cnt = np.where(expected_cnt == 0, 0.0001, expected_cnt)
actual_cnt = np.where(actual_cnt == 0, 0.0001, actual_cnt)
psi = np.sum((actual_cnt - expected_cnt) * np.log(actual_cnt / expected_cnt))
return psi
# 按月滚动计算
for month in test_months:
psi = calculate_psi(train_score, test_score[month])
print(f"{month} PSI: {psi:.4f}")
经验阈值：PSI小于0.1通常认为稳定；0.1至0.25之间需要关注；大于0.25通常意味着分数分布发生显著漂移，需要排查原因并考虑模型更新。
四、案例与场景：一次时间外验证失败复盘
某消费金融公司的逾期预警模型在随机拆分验证中AUC达到0.82，上线后前两个月表现正常。但第三个月开始，催收团队反馈模型排序效果明显下降。复盘发现：训练样本集中在2023年上半年，而2023年下半年公司调整了准入策略，新客占比大幅上升，导致模型分数整体偏高，PSI从0.08升至0.31。问题根源在于上线前只做了随机拆分验证，没有做时间外验证和跨时间验证。
后续团队补充了以下动作：
- 按放款月份做时间外验证，发现2023年9月之后KS下降约15%；
- 按月计算PSI，定位到分数漂移主要来自收入变量分箱迁移；
- 对模型进行重新训练，并加入策略调整后的样本；
- 建立月度稳定性回测机制，设置PSI预警线0.15。
五、常见误区与复盘要点
误区一：把随机拆分验证当作时间外验证。随机拆分无法模拟“用过去预测未来”的真实场景，容易高估模型效果。
误区二：只看AUC，不看稳定性。AUC高但PSI持续上升，说明模型排序能力可能暂时维持，但分数分布已经漂移，业务阈值会失效。
误区三：样本外测试等同于跨时间验证。样本外只说明样本未参与训练，但不保证时间上在后；跨时间验证强调多个连续时间窗口的滚动检验。
复盘时建议重点回答三个问题：第一，时间切分点是否与业务决策周期匹配；第二，区分度指标和稳定性指标是否同步观察；第三，验证结论是否转化为明确的模型更新或监控动作。只有把概念落到流程和动作上，贷后模型的时间维度验证才真正产生业务价值。