4. 批次偏移的常见类型

当 PSI 指标触发告警后,数据科学家的首要任务是判断偏移的类型。不同类型的偏移对应不同的根因和修复策略。根据偏移发生的对象和机制,可将批次偏移归纳为以下四种核心类型:特征分布偏移、目标分布偏移、概念漂移和数据质量偏移。

核心原则: 先区分“输入(特征)”还是“输出(目标)”发生变化,再判断“映射关系(概念)”是否稳定,最后排查“数据管道(质量)”是否引入噪声。

4.1 特征分布偏移 (Feature Distribution Shift)

特征分布偏移是最常见的偏移类型,指模型输入特征 X 的统计分布在训练集和推理批次之间发生了显著变化。模型在未见过的特征空间区域上表现往往不可靠。

  • 原因: 上游数据源变更、业务策略调整(如新用户群体涌入)、季节性波动、A/B 实验分流不均。
  • 检测方法: 对每个特征计算 PSI 或 KS 统计量;使用 PCA/t-SNE 可视化特征空间重叠度。
  • 影响: 模型在偏移特征上的预测置信度下降,但模型权重本身未变。
特征分布偏移示意图 训练特征分布 μ₁, σ₁ 推理特征分布 μ₂, σ₂ PSI 升高 ⚠ 特征偏移 ≠ 模型失效 模型在训练分布外区域的外推能力有限,需重新对齐特征

4.2 目标分布偏移 (Target Distribution Shift)

目标分布偏移指模型预测目标 Y 的真实分布(标签分布)在训练集和推理批次之间发生变化。即使特征分布稳定,目标分布的变化也会导致模型校准性变差。

  • 原因: 业务 KPI 调整、用户行为习惯改变、外部经济环境变化。
  • 检测方法: 对比训练集与推理批次的标签均值、方差、分位数;使用 PSI 监控标签列。
  • 影响: 模型输出的概率校准偏移,AUC 可能不变但 LogLoss 恶化。
实战技巧: 在信贷风控场景中,逾期率(目标)随宏观经济周期波动是典型的目标分布偏移。此时应优先更新标签阈值或重新校准模型输出,而非重新训练特征。

4.3 概念漂移 (Concept Drift)

概念漂移是最隐蔽的偏移类型,指特征 X 与目标 Y 之间的映射关系 P(Y|X) 随时间发生变化。即使特征和目标各自的边缘分布不变,模型也可能失效。

子类型 描述 示例
突然漂移 映射关系在某个时间点瞬间改变 新法规生效后,同一特征对应的违约概率骤变
渐进漂移 映射关系在一段时间内缓慢变化 用户对推荐系统的偏好随季节逐渐迁移
周期性漂移 映射关系按固定周期重复变化 电商转化率在工作日与周末的差异模式
概念漂移:P(Y|X) 随时间变化 时间 t 训练期 P(Y|X) = f₁ 漂移期 P(Y|X) 渐变 新稳定期 P(Y|X) = f₂ 特征分布未变,但特征与目标的关系已发生根本性改变

4.4 数据质量偏移 (Data Quality Shift)

数据质量偏移并非统计分布的自然变化,而是由数据采集、传输、处理管道中的错误或变更引起的系统性偏差。这是最容易被忽视但修复成本最低的偏移类型。

  • 常见表现:
    • 缺失率突然升高或降低
    • 特征值域异常(如年龄出现负数)
    • 数据类型变更(字符串替代数值)
    • 特征重复或完全相同的值(常量列)
  • 检测方法: 数据质量监控看板、特征完整性检查、值域校验、唯一值计数监控。
  • 影响: 模型输入被污染,输出完全不可信,但模型本身可能并无问题。
⚠ 排查优先级: 当 PSI 告警时,应首先排除数据质量偏移。因为数据管道问题通常可以在数分钟内修复,而特征分布或概念漂移需要更复杂的模型更新策略。先检查“数据是否坏了”,再检查“分布是否变了”。

4.5 四种偏移类型对比

偏移类型 变化对象 检测难度 修复策略 典型 PSI 表现
特征分布偏移 P(X) 低 特征对齐、重采样、域适应 特征 PSI 显著升高
目标分布偏移 P(Y) 中 标签校准、阈值调整 标签 PSI 升高,特征 PSI 正常
概念漂移 P(Y|X) 高 增量学习、模型重训、集成更新 特征与标签 PSI 均正常,但模型性能下降
数据质量偏移 数据管道 低 修复 ETL、数据校验、回滚变更 特征 PSI 异常,常伴随缺失率/值域突变

理解这四种偏移类型是进行根因分析的基础。在实际排查中,偏移往往不是单一发生的——特征分布偏移可能伴随数据质量偏移,概念漂移也可能与目标分布偏移共存。下一阶段我们将学习如何通过系统化的排查流程,从 PSI 告警出发,逐步定位到具体的偏移类型和根因特征。