2. 样本偏差基础概念：偏差的定义、偏差与方差的区别、样本偏差在ML系统中的典型表现
2.1 偏差的定义
在机器学习与特征服务上下文中，样本偏差（Sample Bias） 是指训练数据或在线特征数据与模型推理时所面对的真实数据分布之间存在系统性差异。这种差异并非随机噪声，而是由数据采集、特征计算、样本筛选或时间演化等环节引入的结构性偏移。
数学上，若记训练分布为 P_train(x, y)，真实推理分布为 P_infer(x, y)，则样本偏差可定义为：
Bias = D(P_train || P_infer) ≠ 0其中 D 为某种分布距离度量（如 KL 散度、JS 散度、Wasserstein 距离）。当偏差显著时，模型在离线评估指标上表现良好，上线后却出现预测失准、排序异常或业务指标下跌。
关键认知： 偏差 ≠ 错误。偏差是系统性的、可预测的偏移；而随机误差是零均值的、不可预测的波动。特征平台的核心职责之一，就是持续量化并告警这种系统性偏移。
2.2 偏差与方差的区别
偏差与方差是模型误差的两个正交来源，但在特征服务场景下，它们的表现和治理手段截然不同。下表从多个维度进行对比：
| 对比维度 | 偏差（Bias） | 方差（Variance） |
|---|---|---|
| 定义 | 模型预测期望与真实标签之间的系统性偏离 | 模型预测在不同训练集上的波动程度 |
| 根本原因 | 数据分布偏移、特征缺失、标签噪声、采样不均衡 | 模型复杂度过高、训练数据量不足、特征稀疏 |
| 在特征平台中的表现 | 训练特征分布 ≠ 在线特征分布；特征覆盖率下降 | 同一特征在不同时间窗口的统计量剧烈抖动 |
| 对模型的影响 | 预测结果整体偏高/偏低，AUC 虚高但线上效果差 | 预测结果不稳定，同一样本多次推理结果差异大 |
| 检测方法 | PSI、KL 散度、分布假设检验（KS、χ²） | 特征值标准差、分位数波动、重复训练稳定性测试 |
| 治理手段 | 重采样、域适应、特征对齐、在线学习 | 正则化、特征降维、增加训练数据、模型简化 |
实践建议： 在特征服务中，偏差检测应优先于方差检测。因为偏差一旦发生，模型效果会系统性下降；而方差通常可以通过模型集成或平滑策略缓解。特征平台应设置偏差告警的优先级高于方差告警。
下图直观展示了偏差与方差在靶心图上的区别：
2.3 样本偏差在ML系统中的典型表现
样本偏差并非单一形态，在特征服务全链路中呈现多种面貌。以下是特征平台中最常见的六种偏差类型及其典型表现：
- 选择偏差（Selection Bias）：训练样本的选取过程与推理样本的生成过程不一致。例如，仅使用点击样本训练 CTR 模型，但线上推理时包含大量曝光未点击样本。
- 时间偏差（Temporal Bias）：训练数据来自过去，推理数据来自现在，特征分布随时间漂移。例如，用户年龄特征在训练集中集中在 20-30 岁，但线上新用户年龄分布已变为 30-40 岁。
- 幸存者偏差（Survivorship Bias）：仅观察“存活”下来的样本，忽略了已流失或淘汰的样本。例如，仅用活跃用户数据训练流失预警模型，导致模型对沉默用户完全失效。
- 标签偏差（Label Bias）：标签的定义、采集或反馈延迟导致训练标签与真实标签不一致。例如，7 天转化标签在训练时使用，但线上推理时用户尚未完成转化周期。
- 特征计算偏差（Feature Computation Bias）：训练时与在线推理时特征计算逻辑不一致。例如，训练时使用历史 30 天均值，在线特征服务因存储限制只使用了 7 天均值。
- 聚合偏差（Aggregation Bias）：不同粒度数据聚合后丢失个体信息。例如，将用户级特征聚合到城市级后，模型无法区分城市内不同用户群体的差异。
⚠️ 特征平台常见陷阱： 许多团队在离线评估时使用“未来特征”或“泄露特征”，导致离线 AUC 极高（如 0.98），但线上 AUC 仅 0.65。这本质上是时间偏差与标签偏差的复合体。特征平台必须强制实施时间对齐校验和特征回溯验证。
下图展示了样本偏差在 ML 系统全链路中的注入点：
2.4 偏差检测的核心指标
特征平台中常用的偏差量化指标包括：
| 指标名称 | 适用场景 | 阈值参考 | 计算复杂度 |
|---|---|---|---|
| PSI（群体稳定性指标） | 连续特征、概率分布 | < 0.1 无偏移；0.1-0.25 轻度偏移；> 0.25 严重偏移 | 低 |
| KL 散度 | 离散特征、类别分布 | 无固定阈值，需与基线对比 | 低 |
| KS 检验 | 连续特征分布差异 | p-value < 0.05 认为分布显著不同 | 中 |
| χ² 检验 | 类别特征独立性 | p-value < 0.05 认为存在关联偏移 | 中 |
| Wasserstein 距离 | 高维连续分布 | 需根据特征量纲归一化 | 高 |
| 特征覆盖率 | 特征缺失率变化 | 覆盖率下降 > 5% 触发告警 | 极低 |
工程落地建议： 在特征平台中，建议对每个特征同时计算 PSI 和特征覆盖率两个指标。PSI 捕捉分布形状变化，覆盖率捕捉特征可用性变化。两者结合可覆盖 80% 以上的样本偏差场景。对于高维稀疏特征，优先使用 χ² 检验；对于稠密数值特征，优先使用 KS 检验。