1. 课程导论:什么是策略编排后的批次偏移?为什么需要 PSI 与 KS 联合诊断?
在信贷风控、反欺诈或营销响应模型中,策略编排(Strategy Orchestration)是指将多个决策规则、评分卡、模型输出按业务逻辑组合成一条完整的决策流水线。当策略上线后,由于客群结构变化、外部经济环境波动或数据源质量衰减,模型输入特征的分布会逐渐偏离训练集分布,导致模型输出分数发生系统性偏移——这就是批次偏移(Batch Drift)。
1.1 批次偏移的核心表现
批次偏移并非单一维度的变化,而是从特征分布到模型输出再到业务决策的连锁反应。下表总结了偏移的三种典型层次:
| 偏移层次 | 定义 | 典型表现 | 影响范围 |
|---|---|---|---|
| 特征偏移 | 入模特征(如收入、负债比、查询次数)的分布变化 | 均值漂移、方差扩大、缺失率突变 | 模型输入层 |
| 分数偏移 | 模型输出评分(如违约概率、信用分)的整体分布变化 | 分数均值上升/下降、分位数偏移 | 模型输出层 |
| 决策偏移 | 策略规则(如阈值、拒绝/通过比例)的实际执行结果变化 | 通过率骤降、坏账率异常、拒绝推断失效 | 业务决策层 |
关键认知:批次偏移是策略编排后的系统性风险,而非单一模型的问题。即使每个子模型表现稳定,组合后的策略流水线仍可能因特征交互或规则叠加而产生整体偏移。
1.2 为什么需要 PSI 与 KS 联合诊断?
单一指标无法全面刻画批次偏移的严重程度。PSI(Population Stability Index)和 KS(Kolmogorov-Smirnov)分别从分布稳定性和区分能力两个正交维度提供诊断信息。下表对比了二者的核心差异:
| 维度 | PSI(群体稳定性指标) | KS(区分能力指标) |
|---|---|---|
| 衡量对象 | 模型输出分数的整体分布变化 | 模型对好坏样本的排序区分能力 |
| 计算方式 | 分箱后实际占比 vs 预期占比的差异求和 | 好坏样本累计分布的最大垂直距离 |
| 正常范围 | PSI < 0.1 表示稳定 | KS > 0.3 表示有区分力 |
| 偏移含义 | 分数分布整体漂移,客群结构变化 | 模型排序能力下降,区分好坏样本失效 |
| 诊断价值 | 发现全局偏移,适合做预警 | 发现局部失效,适合做归因 |
联合诊断逻辑:PSI 高 + KS 低 → 客群偏移导致模型失效,需重新训练或调整策略阈值;PSI 低 + KS 低 → 模型本身区分能力不足,需优化特征或算法;PSI 高 + KS 高 → 偏移但区分力尚存,可尝试分数校准。
1.3 批次偏移的典型场景
以下列表总结了策略编排后最容易触发批次偏移的三种业务场景:
- 新客群涌入:渠道推广策略调整后,新进客群在收入、年龄、地域等维度与历史客群显著不同,导致特征分布突变。
- 宏观经济冲击:利率调整、失业率上升等外部因素导致整体客群还款能力下降,模型分数系统性左移。
- 数据源替换或升级:第三方数据供应商更换字段定义或覆盖范围,造成入模特征分布偏移,进而影响策略输出。
1.4 批次偏移诊断流程概览
下图展示了策略编排后批次偏移的联合诊断流程,PSI 与 KS 分别在流程的不同阶段发挥作用:
⚠️ 常见误区:不要单独依赖 PSI 或 KS 做决策。PSI 正常但 KS 骤降,说明模型虽然输出分布稳定,但已丧失排序能力,属于“假性稳定”;PSI 异常但 KS 正常,说明虽然客群偏移但模型仍能区分好坏,此时可先做分数校准而非直接重训。
1.5 本教程的学习路径
本教程将按照以下结构逐步深入:
- 第 2-4 章:PSI 与 KS 的数学原理、计算步骤及代码实现
- 第 5-7 章:策略编排场景下的偏移模拟与指标敏感性分析
- 第 8-10 章:联合诊断矩阵构建、阈值设定与自动化监控方案
- 第 11-12 章:真实案例复盘与常见陷阱规避
通过本课程,你将掌握一套可落地的批次偏移诊断框架,能够快速定位策略编排后的风险点,并给出科学的调整建议。