3. 坏样本归因分析框架:从模型输出到业务归因的完整链路设计
坏样本归因不是一次性的“找原因”,而是一条从模型输出层逆向追溯至业务操作层的完整链路。本章构建一个标准化的四阶段归因框架,确保每次分析都有章可循、结果可复现。
3.1 归因链路全景:四阶段逆向追溯模型
归因链路从模型预测结果出发,逐层向下拆解,最终定位到具体的业务动作或数据源头。整个链路分为四个阶段:
| 阶段 | 名称 | 核心任务 | 输出产物 |
|---|---|---|---|
| 阶段一 | 输出层诊断 | 识别模型预测偏差的统计特征 | 偏差分布图、PSI 指标 |
| 阶段二 | 特征层拆解 | 定位导致偏差的关键驱动特征 | 特征贡献度排序、SHAP 值 |
| 阶段三 | 样本层聚类 | 将坏样本按行为模式分组 | 聚类画像、典型样本组 |
| 阶段四 | 业务层归因 | 将聚类结果映射到业务动作 | 归因结论、整改建议 |
关键原则:每个阶段必须产出可量化的中间指标,避免“跳过诊断直接猜原因”的常见错误。只有经过特征层验证的归因结论,才能进入业务层讨论。
3.2 阶段一:输出层诊断——识别偏差的统计特征
输出层诊断的目标是回答“模型预测是否出现了系统性偏差”。核心工具包括:
- PSI(群体稳定性指标):衡量预测分数分布在两个时间窗口之间的偏移程度。PSI > 0.1 视为显著偏移。
- 坏样本率对比:比较训练集、验证集、近期生产集的坏样本率,识别是否出现整体恶化。
- 分数段穿透率:按预测分数分桶,计算每个桶内的实际坏样本率,观察低分段是否出现异常高坏账。
实操提示:输出层诊断应作为看板的“首页告警区”。建议设置 PSI > 0.15 或坏样本率上升 > 20% 时自动触发归因流程。
3.3 阶段二:特征层拆解——定位关键驱动特征
当输出层确认存在偏差后,特征层拆解负责回答“哪些特征导致了预测偏差”。常用方法:
| 方法 | 原理 | 适用场景 |
|---|---|---|
| SHAP 值分解 | 基于博弈论计算每个特征对预测结果的边际贡献 | 树模型、线性模型均可使用 |
| 特征分布偏移 | 比较每个特征在训练集与生产集之间的分布差异(KS 检验) | 快速扫描所有特征 |
| 部分依赖图(PDP) | 展示单个特征在不同取值下对预测结果的平均影响 | 理解特征与坏样本的非线性关系 |
常见陷阱:特征层拆解时容易陷入“相关性不等于因果性”的误区。例如,发现“收入特征”偏移严重,但实际原因可能是数据采集口径变化,而非客户质量下降。必须结合业务层验证。
3.4 阶段三:样本层聚类——按行为模式分组
特征层只能告诉我们“哪些特征变了”,但无法回答“哪些客户群体出了问题”。样本层聚类通过无监督学习将坏样本按行为模式分组:
- 特征选择:从阶段二筛选出 Top 10 贡献特征作为聚类输入。
- 聚类算法:推荐使用 K-Means 或 HDBSCAN,聚类数通过肘部法则或轮廓系数确定。
- 画像生成:对每个聚类计算特征均值、坏样本率、样本占比,形成可读的群体画像。
典型聚类输出示例:
- 聚类 A(占比 35%):高负债率 + 近期多头借贷激增 → “多头借贷恶化型”
- 聚类 B(占比 28%):收入稳定但历史逾期次数高 → “历史惯性逾期型”
- 聚类 C(占比 20%):所有特征无明显偏移 → “随机波动型”
3.5 阶段四:业务层归因——从聚类到业务动作
业务层归因是链路的终点,也是最有价值的环节。它将聚类画像映射到具体的业务动作或数据问题:
| 聚类画像 | 可能的业务归因 | 建议整改方向 |
|---|---|---|
| 多头借贷恶化型 | 风控规则未拦截多头借贷激增客户 | 增加多头借贷特征权重,收紧授信 |
| 历史惯性逾期型 | 模型对历史逾期特征过度依赖 | 引入更多行为特征,降低历史权重 |
| 随机波动型 | 数据噪声或外部环境短期冲击 | 持续监控,暂不调整模型 |
| 收入特征偏移型 | 数据采集口径变化或缺失率上升 | 修复数据管道,重新训练特征工程 |
3.6 链路设计的关键检查点
为确保归因链路不遗漏、不跳步,每个阶段设置一个检查点:
| 检查点 | 通过标准 | 未通过时的处理 |
|---|---|---|
| CP1:输出层确认 | PSI > 0.1 且坏样本率上升 > 10% | 若未达标,停止归因,进入常规监控 |
| CP2:特征层验证 | 至少 3 个特征贡献度排名与业务直觉一致 | 若完全不一致,检查模型是否过拟合 |
| CP3:聚类可解释性 | 每个聚类有明确的业务含义 | 若聚类无法解释,调整特征或算法 |
| CP4:归因可执行性 | 每个归因结论对应至少一个可落地的整改动作 | 若无法落地,重新审视归因深度 |
看板落地建议:将四个检查点作为看板的“状态指示灯”。每个检查点用红/黄/绿三色标识当前状态,让业务方一眼就能判断归因链路的健康度。