2. 样本偏差常见类型
样本偏差是特征工程中数据质量问题的核心来源。不同类型的偏差会以不同方式破坏训练集与真实分布之间的一致性。以下逐一拆解六种最常见偏差的成因、影响与校验思路。
核心原则：偏差校验不是一次性动作，而是贯穿数据采集、特征构造、模型评估全流程的持续检查。每发现一种偏差，都需要回溯数据管道，定位引入环节。
2.1 选择偏差（Selection Bias）
选择偏差发生在样本进入训练集的概率与目标变量或关键特征相关时。最常见的场景是：只有部分用户的行为被记录，而未被记录的用户系统性地不同于被记录的用户。
| 子类型 | 典型场景 | 校验方法 |
|---|---|---|
| 自选择偏差 | 用户主动选择是否参与调查 | 比较参与/未参与群体的基础特征分布 |
| 审核偏差 | 只有通过审核的样本进入训练集 | 审核通过率与特征的相关性分析 |
| 覆盖偏差 | 数据采集只覆盖特定渠道或时段 | 渠道/时段交叉验证特征分布稳定性 |
2.2 幸存者偏差（Survivorship Bias）
幸存者偏差只关注“存活”或“成功”的样本，忽略那些已经退出、失败或未被记录的样本。在特征工程中，这会导致模型学到的是“幸存特征”，而非真正的因果规律。
典型陷阱：用当前活跃用户的特征训练流失预测模型。活跃用户本身已经通过了“存活”筛选，模型会高估留存因素的重要性，低估流失因素。
- 金融风控：只分析已还清贷款的客户特征，忽略违约客户 → 模型低估风险特征
- 推荐系统：只使用点击样本训练，忽略未曝光/未点击样本 → 流行度偏差放大
- 医疗诊断：只分析存活患者的检查数据 → 漏掉致死关键指标
2.3 时间偏差（Temporal Bias）
时间偏差源于训练数据与推理数据在时间分布上的不一致。特征分布、标签定义、数据采集方式都可能随时间漂移。
| 时间偏差类型 | 描述 | 校验指标 |
|---|---|---|
| 概念漂移 | 特征与标签的关系随时间变化 | 分时段模型性能对比 |
| 数据漂移 | 特征本身的分布随时间变化 | PSI（群体稳定性指标） |
| 标签延迟 | 标签采集时间滞后于特征时间 | 时间戳对齐检查 |
2.4 标签偏差（Label Bias）
标签偏差指训练标签与真实目标之间存在系统性差异。标签可能来自人工标注的主观判断、自动化规则的不完整覆盖，或第三方数据源的质量问题。
- 标注不一致：不同标注员对同一样本给出不同标签 → 标注信度低
- 标签泄漏：标签中包含了未来信息或特征中不应出现的信息
- 标签稀疏：正样本比例极低，且正样本的采集存在系统性遗漏
校验工具：标注一致性使用 Cohen's Kappa 或 Fleiss' Kappa；标签泄漏通过时间顺序检查、特征-标签相关性矩阵排查；标签稀疏使用负样本采样或 PU Learning 方法处理。
2.5 测量偏差（Measurement Bias）
测量偏差源于特征或标签的测量方式与真实值之间存在系统误差。不同数据源、不同传感器、不同采集协议都会引入测量偏差。
| 测量偏差来源 | 示例 | 校验方法 |
|---|---|---|
| 仪器精度差异 | 不同型号传感器采集的温度数据 | 校准曲线对比、方差分析 |
| 采集协议差异 | 不同问卷版本对同一问题的措辞不同 | AB测试、交叉验证 |
| 单位/量纲不一致 | 部分数据用公斤，部分用磅 | 元数据检查、极值检测 |
2.6 回忆偏差（Recall Bias）
回忆偏差常见于依赖用户主观回忆的数据采集场景。用户对过去事件的记忆存在系统性扭曲，距离事件越久，回忆的准确性越低。
- 时间衰减：用户对近期事件的回忆准确度远高于远期事件
- 情绪影响：强烈情绪事件更容易被回忆，中性事件容易被遗忘
- 社会期望：用户倾向于回忆符合社会期望的行为，隐瞒负面行为
缓解策略：缩短回忆窗口（如“过去7天”而非“过去一年”）；使用行为日志替代主观回忆；对回忆数据进行时间衰减加权；设计反向验证问题检测回忆一致性。
偏差类型对比总览
| 偏差类型 | 核心问题 | 常见于 | 校验优先级 |
|---|---|---|---|
| 选择偏差 | 样本进入机制与目标相关 | 用户行为数据、调查数据 | 高 |
| 幸存者偏差 | 只关注存活/成功样本 | 金融风控、用户留存 | 高 |
| 时间偏差 | 训练/推理时间分布不一致 | 时序预测、推荐系统 | 高 |
| 标签偏差 | 标签与真实目标系统性偏离 | 人工标注、弱监督数据 | 中 |
| 测量偏差 | 特征/标签测量方式有系统误差 | 多源数据融合、IoT数据 | 中 |
| 回忆偏差 | 主观回忆存在时间/情绪扭曲 | 问卷调查、医疗病史 | 低 |