2. 样本偏差基础概念：偏差的定义、偏差与方差的关系、常见偏差类型

在特征平台与机器学习建模中，样本偏差（Sample Bias）是导致模型在线上环境失效的首要原因。本章从定义出发，厘清偏差与方差的统计关系，并系统梳理三类最常见的偏差类型，为后续的校验与修复打下理论基础。

2.1 偏差的定义

偏差（Bias） 是指模型预测值的期望与真实值之间的系统性偏离。在统计学中，偏差定义为：

Bias(ŷ) = E[ŷ] − y

其中：

• E[ŷ]：模型在多次重复采样下的平均预测值
• y：真实值（ground truth）

偏差反映了模型对真实关系的简化程度。高偏差意味着模型过于简单，无法捕捉数据中的真实模式，导致欠拟合（underfitting）。

2.2 偏差与方差的关系

偏差与方差是模型误差的两个正交分量，共同构成泛化误差。其数学关系为：

泛化误差 = Bias² + Variance + 不可约噪声

下表对比了偏差与方差的核心差异：

偏差与方差通常存在权衡（trade-off）：降低偏差往往导致方差上升，反之亦然。特征平台的核心目标之一，是在不显著增加方差的前提下，通过样本偏差校验来降低偏差项。

2.3 常见偏差类型

在特征平台的数据生命周期中，以下三类偏差最为常见且破坏力最大：

2.3.1 选择偏差（Selection Bias）

定义： 训练样本的选取过程存在系统性非随机性，导致样本无法代表目标总体。

典型场景：

• 在线实验截断： 仅选取点击广告的用户作为训练样本，忽略未点击用户
• 时间窗口截断： 只使用最近7天数据训练，但线上存在周期性长尾模式
• 特征缺失过滤： 剔除特征缺失的样本，导致剩余样本分布偏移

2.3.2 幸存者偏差（Survivorship Bias）

定义： 只关注“幸存”或“成功”的样本，忽略已经“消失”或“失败”的样本，导致结论系统性高估。

典型场景：

• 用户留存建模： 仅用留存用户训练流失预测模型，忽略已流失用户的行为模式
• 金融风控： 只使用历史放款成功的用户样本，忽略被拒绝申请的用户
• 推荐系统： 仅用曝光后有点击的样本，忽略未曝光的优质内容

2.3.3 测量偏差（Measurement Bias）

定义： 特征值或标签的测量/采集方式存在系统性误差，导致数据与真实状态不一致。

典型场景：

• 传感器漂移： IoT 设备在长时间运行后测量值发生偏移
• 埋点错误： 前端埋点上报的页面停留时间因网络延迟而系统性偏大
• 标签噪声： 人工标注的标签存在主观偏差（如不同标注员标准不一致）

2.4 偏差对特征平台的实际影响

样本偏差在特征平台中会引发以下连锁反应：

1. 特征分布漂移： 训练集与线上集的特征统计量（均值、方差、分位数）不一致
2. 模型效果衰减： 离线 AUC 高但线上效果差，即“离线-线上不一致”
3. 决策误导： 基于有偏样本的业务分析结论不可靠，导致错误的产品决策
4. 监控告警失效： 偏差样本导致异常检测模型的基线偏移，漏报或误报