1. 样本偏差概述
什么是样本偏差
样本偏差（Sample Bias）是指训练数据集与真实业务场景中数据分布之间存在系统性差异。这种差异并非随机噪声，而是由数据采集、标注、筛选或时间窗口等因素导致的系统性偏移。在特征工程中，样本偏差是模型失效的首要隐患——即使特征构造再精巧、算法再先进，偏差数据训练出的模型也无法正确反映真实世界的规律。
核心定义： 样本偏差 = 训练集分布 ≠ 推理/生产环境分布。偏差越大，模型在线上表现与离线评估结果之间的鸿沟越深。
为什么在特征工程中需要校验样本偏差
特征工程的核心目标是提取稳定、可泛化的数据表征。如果样本存在偏差，特征与目标变量之间的统计关系会被扭曲，导致以下三个层面的问题：
| 层面 | 偏差带来的具体问题 | 特征工程中的表现 |
|---|---|---|
| 特征选择 | 偏差使部分特征与目标产生虚假关联 | 高相关性特征实际为伪相关，上线后失效 |
| 特征分布 | 训练集特征取值范围与生产环境不一致 | 分箱、归一化等变换参数偏移，导致特征失效 |
| 特征交互 | 偏差掩盖了真实场景中的特征交互模式 | 交叉特征在训练集有效，生产环境无意义 |
常见误区： 很多团队在特征工程阶段只关注特征构造和筛选，却忽略了样本偏差校验。结果往往是模型离线指标漂亮，上线后效果断崖式下跌。特征工程的第一步，应该是确认样本是否“干净”。
偏差对模型泛化能力的影响
泛化能力是指模型在未见过的数据上做出准确预测的能力。样本偏差从三个维度破坏泛化性：
- 过拟合偏差模式： 模型学习到的是训练集特有的偏差模式，而非真实规律。例如，只在白天采集的交通流量数据，模型无法泛化到夜间场景。
- 分布外失效： 当生产数据分布偏离训练集分布时，模型预测置信度与准确率同时下降。特征工程中构造的统计特征（如均值、分位数）会因分布偏移而失效。
- 评估指标失真： 在偏差样本上计算的AUC、F1等指标无法反映真实性能。特征工程中基于这些指标做特征筛选，会进一步放大偏差影响。
样本偏差的常见类型
在特征工程实践中，以下四种偏差类型最为常见，需要重点校验：
| 偏差类型 | 产生原因 | 特征工程影响 | 典型场景 |
|---|---|---|---|
| 选择偏差 | 样本采集方式不随机，只覆盖部分群体 | 特征分布截断，分位数特征失效 | 仅采集活跃用户数据 |
| 时间偏差 | 训练数据与生产数据时间窗口不同 | 时序特征（滑动窗口统计）偏移 | 用夏季数据预测冬季销量 |
| 幸存者偏差 | 只观测到“存活”样本，忽略已淘汰样本 | 特征与目标的关系被高估 | 只分析现有客户，忽略流失客户 |
| 标注偏差 | 标注标准不一致或标注样本有偏 | 特征与标签的映射关系错误 | 不同标注员对同一特征理解不同 |
实操建议： 在特征工程流程中，建议将样本偏差校验作为第一个数据质量关卡。在构造任何特征之前，先对样本进行分布一致性检验（如KS检验、PSI指标），确认训练集与验证集/生产集在关键特征上的分布差异是否在可接受范围内。
偏差校验在特征工程中的前置地位
完整的特征工程流程中，样本偏差校验应作为第一道关卡。以下流程清单展示了偏差校验在特征工程中的位置：
- 数据采集与探查 — 初步了解数据来源和采集方式
- 样本偏差校验 ← 本章核心，必须在此阶段完成
- 缺失值处理与异常值检测
- 特征构造（统计特征、交叉特征、时序特征等）
- 特征编码与归一化
- 特征选择与降维
- 特征稳定性监控（上线后持续跟踪）
关键原则： 偏差校验不是一次性的工作。在特征工程的不同阶段（原始数据、特征构造后、特征选择后）都应进行偏差校验，确保每个阶段的特征分布与生产环境保持一致。