3、数据收集阶段的偏差
数据收集是特征工程的起点，也是样本偏差最容易引入的阶段。如果采集过程存在系统性缺陷，后续的特征变换、模型训练和评估都会在错误的基础上进行。本章聚焦三种最常见的收集阶段偏差：采样方法不当、数据源不均衡和时间窗口偏差。
3.1 采样方法不当导致的偏差
采样方法决定了样本能否代表总体。当采样过程与目标变量存在隐性关联时，样本分布会偏离真实分布，产生选择偏差。
| 采样方法 | 典型偏差场景 | 后果 |
|---|---|---|
| 便利采样 | 只采集容易获取的用户数据（如APP活跃用户） | 忽略沉默用户，高估整体活跃度 |
| 雪球采样 | 通过已有样本推荐新样本 | 样本同质化，群体结构失真 |
| 自愿响应采样 | 仅收集主动填写问卷的用户 | 极端意见被放大，中间群体缺失 |
| 截断采样 | 只保留特征值在某个范围内的样本 | 回归系数偏移，预测外推失效 |
校验方法：对比采样样本与总体在关键特征（年龄、地域、设备类型）上的分布差异，使用 KS 检验或 Jensen-Shannon 散度量化偏离程度。
3.2 数据源不均衡
当多个数据源在采集范围、采集深度或更新频率上不一致时，样本会偏向覆盖更充分的数据源，导致源偏差。常见于以下场景：
- 渠道覆盖不均：线上渠道数据量远大于线下渠道，模型偏向线上用户行为模式。
- 传感器差异：不同型号设备采集精度不同，高精度设备数据占比小但质量高，低精度设备数据量大但噪声多。
- 地域覆盖差异：一线城市数据丰富，三四线城市数据稀疏，模型对欠采样区域预测能力弱。
处理策略：对数据源进行分层统计，计算每个源在总体中的预期占比与实际占比的偏差。当偏差超过阈值（如 20%）时，考虑加权采样或源对齐校正。
3.3 时间窗口偏差
时间窗口偏差发生在训练数据与预测目标在时间维度上不匹配时。模型在历史数据上表现良好，但上线后效果骤降，往往与时间窗口选择不当有关。
3.3.1 常见时间窗口问题
- 季节性与周期性：训练数据只覆盖夏季，模型无法处理冬季模式。
- 趋势漂移：用户行为、市场环境随时间缓慢变化，旧数据不再代表当前状态。
- 事件冲击：促销活动、政策变更、疫情等突发事件导致数据分布突变。
- 数据泄露：使用了未来信息（如用 t+1 时刻的数据预测 t 时刻），造成虚假高精度。
3.3.2 时间窗口校验流程
- 划分时间切片：将数据按周/月/季度划分为多个连续切片。
- 计算特征稳定性：对每个切片计算特征均值、方差、分位数，观察随时间的变化趋势。
- 检测分布漂移：使用 PSI（Population Stability Index）或 ADWIN 算法检测分布突变点。
- 验证窗口长度：尝试不同长度的训练窗口（如 3 个月、6 个月、12 个月），对比验证集性能。
注意：时间窗口偏差在金融风控、推荐系统、销量预测等场景中尤为致命。建议在特征工程阶段就建立时间切片校验流水线，而不是等到模型上线后再排查。
3.4 三种偏差的校验要点总结
| 偏差类型 | 核心校验指标 | 常用工具/方法 | 阈值参考 |
|---|---|---|---|
| 采样方法不当 | 样本 vs 总体分布差异 | KS 检验、卡方检验 | p < 0.05 视为显著偏差 |
| 数据源不均衡 | 各源占比偏差 | 分层统计、加权采样 | 偏差 > 20% 需校正 |
| 时间窗口偏差 | PSI、特征时序稳定性 | PSI、ADWIN、滚动验证 | PSI > 0.1 视为漂移 |
最佳实践：在特征工程流水线中嵌入偏差校验步骤，每次数据更新或特征变更时自动触发校验，形成“采集 → 校验 → 校正 → 特征生成”的闭环流程。