1. 样本偏差概述
什么是样本偏差
样本偏差（Sample Bias）是指训练数据集与模型实际应用场景（目标分布）之间存在系统性差异。在特征工程中，这种偏差会导致模型学习到的特征分布无法真实反映生产环境的数据规律，从而造成模型性能下降。
核心定义：样本偏差 = 训练样本分布 ≠ 真实目标分布
常见的样本偏差类型包括：
- 选择偏差（Selection Bias）：样本采集过程非随机，例如只采集活跃用户数据而忽略沉默用户
- 时间偏差（Temporal Bias）：训练数据来自过去，但模型应用于未来，特征分布随时间漂移
- 幸存者偏差（Survivorship Bias）：只关注“存活”样本，忽略已流失或失败的样本
- 标签偏差（Label Bias）：标注标准不一致或标注样本不均衡
- 采样偏差（Sampling Bias）：采样比例与真实场景中各类别比例不一致
为什么样本偏差在特征工程中重要
特征工程的核心目标是构建能够准确描述数据内在规律的特征。样本偏差会从以下三个层面破坏特征工程的效果：
| 影响层面 | 具体表现 | 后果 |
|---|---|---|
| 特征分布 | 训练集与测试集的特征均值、方差、分位数不一致 | 特征缩放失效，模型无法适应真实数据范围 |
| 特征相关性 | 偏差样本中特征间的关系与真实场景不同 | 特征选择错误，重要特征被遗漏或噪声特征被保留 |
| 特征重要性 | 模型对特征的依赖程度被偏差扭曲 | 特征解释性下降，业务决策依据不可靠 |
特征工程视角：样本偏差是特征工程中“垃圾进，垃圾出”的典型诱因。即使特征构建方法再先进，如果输入样本存在偏差，最终的特征质量也无法保证。
偏差对模型的影响
样本偏差对机器学习模型的影响是全链条的，从训练到部署都会受到波及：
- 训练阶段：模型在偏差数据上过度拟合，学习到虚假的模式而非真实规律
- 验证阶段：验证集与训练集同源，偏差被隐藏，评估指标虚高
- 上线阶段：模型面对真实数据时性能断崖式下降，出现“训练时准确，上线后崩溃”的现象
- 持续迭代：偏差未被发现时，后续特征工程和模型优化都在错误基础上进行，形成恶性循环
关键警示：在 Spark 大规模特征工程中，样本偏差往往被海量数据掩盖。数据量大 ≠ 数据无偏。即使有 10 亿条训练样本，如果采样逻辑存在系统性偏差，模型依然会失效。特征工程的第一步，永远是校验样本代表性。
Spark 场景下的样本偏差特点
在 Spark 分布式特征工程中，样本偏差问题具有以下特殊性：
- 数据源异构性：Spark 常从 Hive、Kafka、HDFS 等多源读取数据，各源采样策略不同，容易引入偏差
- 分区效应：数据分区不均匀可能导致某些分区的样本分布与全局不一致
- 时间窗口：流式特征工程中，时间窗口截断会造成时间偏差
- 采样放大：Spark 的随机采样在数据倾斜时可能放大偏差