2. 样本偏差基础概念

在实时风控场景中,模型训练所使用的样本与线上真实业务样本之间的分布差异,是导致模型效果衰减、失效的核心原因。本章系统梳理样本偏差的五个基础概念,为后续的偏差校验与修复奠定理论基础。

2.1 总体分布与样本分布

总体分布(Population Distribution)指目标业务场景中所有可能样本的真实分布,是理想状态下的完整数据集合。在风控场景中,总体分布对应“所有历史及未来可能发生的交易/行为”的真实特征与标签分布。

样本分布(Sample Distribution)指实际用于模型训练的数据集的分布。由于采样成本、存储限制、标签延迟等原因,样本分布往往与总体分布存在差异。

对比维度 总体分布 样本分布
定义 目标域所有样本的真实分布 实际采集/用于训练的样本分布
可观测性 通常不可完全观测 可直接统计
时间范围 全生命周期 特定时间窗口
风控典型问题 黑产攻击模式随时间演变 训练集未覆盖最新攻击模式
关键认知:模型训练的目标是让样本分布尽可能逼近总体分布。当两者偏差过大时,模型在线上表现会显著劣于离线评估结果。
总体分布 vs 样本分布 概念对比 总体分布 所有真实样本 不可完全观测 样本分布 训练数据集 可直接统计 采样 偏差 核心问题:样本分布能否代表总体分布?偏差越大,模型泛化能力越差。 实时风控中,总体分布随时间动态变化,样本分布需持续更新。

2.2 采样偏差

采样偏差(Sampling Bias)指在数据采集过程中,由于采样方法、采样时机、采样比例等因素导致样本分布与总体分布不一致的现象。实时风控中常见的采样偏差类型包括:

  • 时间采样偏差:仅在特定时间段采集样本,未覆盖全天或全周期业务模式。
  • 渠道采样偏差:仅从部分业务渠道获取样本,忽略其他渠道的差异化特征。
  • 标签采样偏差:过度采样正样本(欺诈样本)或负样本,破坏原始比例。
  • 存活偏差:仅采集“存活”到标签确认时刻的样本,忽略早期被拦截或流失的样本。
实时风控典型场景:某支付平台仅采集“交易金额 > 100元”的样本进行模型训练,导致小额交易场景的欺诈模式未被充分学习,线上小额欺诈漏报率升高。

2.3 标签偏差

标签偏差(Label Bias)指样本的标签(Label)与真实业务结果之间存在系统性差异。在风控场景中,标签偏差通常由以下原因引起:

偏差类型 产生原因 风控影响
标签延迟 欺诈确认需要T+7~T+30天 近期样本标签不准确,模型滞后
标签噪声 人工审核错误、系统误判 模型学习到错误模式
标签截断 仅对部分样本进行标注 未标注样本的真实标签未知
反馈偏差 被拦截的样本无法确认是否真实欺诈 正样本被系统性低估
注意:标签偏差是实时风控中最隐蔽的偏差类型。由于标签延迟,模型可能使用“看似正常”但实际为欺诈的样本进行训练,导致模型对最新攻击模式反应迟钝。

2.4 特征分布偏移

特征分布偏移(Feature Distribution Shift)指模型输入特征的统计分布在训练集与线上推理集之间发生变化。这是实时风控中最常见、最需要持续监控的偏差类型。

特征分布偏移的常见模式:

  • 均值偏移:特征均值发生系统性变化(如平均交易金额从200元升至500元)。
  • 方差偏移:特征离散程度变化(如交易时间分布从集中变为分散)。
  • 分布形状偏移:特征的整体分布形态改变(如从正态分布变为长尾分布)。
  • 缺失率偏移:特征缺失比例在训练集与线上集之间不一致。
特征分布偏移的四种模式 均值偏移 训练 线上 均值从 μ₁ → μ₂ 如:平均金额上升 方差偏移 窄 宽 方差从 σ₁² → σ₂² 如:交易时间更分散 形状偏移 分布形态改变 如:正态→长尾 缺失率偏移 5% 20% 缺失比例变化 如:字段上报率下降 特征分布偏移是实时风控模型监控的核心指标,通常使用 PSI(群体稳定性指标)量化检测。 PSI > 0.1 表示特征分布发生显著偏移,需要触发模型更新或特征修复流程。

2.5 偏差类型总结与关系

上述五种偏差并非孤立存在,它们在实时风控场景中相互关联、叠加影响:

  • 采样偏差 是源头问题,决定了样本分布与总体分布的初始差距。
  • 标签偏差 在样本采集后、模型训练前引入,污染了监督信号。
  • 特征分布偏移 是模型上线后持续发生的问题,反映业务环境的变化。
  • 三者共同导致模型在线上推理时的 泛化能力下降 和 效果衰减。