1. 偏差校验概述
1.1 什么是特征服务样本偏差
特征服务样本偏差（Feature Serving Sample Bias）是指在机器学习模型上线后，在线推理阶段实际输入特征的数据分布与离线训练阶段使用的特征数据分布之间出现系统性差异的现象。这种偏差并非随机噪声，而是由数据管道、特征计算逻辑、时间窗口或业务环境变化导致的结构性偏移。
核心定义：样本偏差 = Ponline(X) ≠ Poffline(X)，即在线特征分布与离线特征分布不一致。
常见的偏差来源包括：
- 特征计算逻辑不一致：离线使用 T+1 批量聚合，在线使用实时滑动窗口，窗口边界或聚合函数不同。
- 数据源漂移：上游业务表字段变更、埋点日志格式调整，导致离线/在线解析结果不同。
- 时间窗口偏差：离线特征基于历史全量数据，在线特征仅包含近期数据，分布随时间自然演化。
- 缺失值处理差异：离线填充策略（如均值填充）与在线默认值策略不一致。
- 特征穿越：离线训练时无意中使用了未来信息，在线推理时无法获取相同特征值。
1.2 为什么需要校验
样本偏差如果不加校验，会直接导致模型在线上表现与离线评估结果严重不符，造成以下后果：
| 影响维度 | 具体表现 | 业务损失 |
|---|---|---|
| 模型效果 | 离线 AUC 0.85，线上 AUC 0.62 | 推荐/排序效果下降，用户点击率降低 |
| 决策可靠性 | 风控模型误杀率上升 3 倍 | 正常用户被拦截，客诉激增 |
| 监控盲区 | 模型指标正常，但特征分布已偏移 | 问题延迟发现，修复成本增加 |
| 迭代效率 | 特征工程改动后无法快速验证 | 模型迭代周期从天级延长到周级 |
关键认知：样本偏差校验不是可选项，而是特征服务上线前的必选关卡。未通过偏差校验的特征版本，不应进入生产推理链路。
1.3 偏差校验在 MLOps 中的定位
在 MLOps 全生命周期中，偏差校验位于特征服务上线验证与生产监控两个关键环节的交汇处。它既是上线前的准入闸门，也是运行时的持续健康检查。
偏差校验在 MLOps 中的具体职责可归纳为以下四个层面：
| MLOps 阶段 | 偏差校验职责 | 典型输出 |
|---|---|---|
| 特征开发 | 验证离线特征计算逻辑与在线逻辑的一致性 | 特征对账报告 |
| 模型上线 | 对比离线训练样本与在线实时特征的分布差异 | 偏差校验报告（通过/拒绝） |
| 生产运行 | 持续监控特征分布漂移，触发告警 | 漂移指标时序图 |
| 模型迭代 | 提供偏差根因分析，指导特征修复 | 偏差归因分析表 |
最佳实践：将偏差校验作为特征服务 CI/CD 流水线中的强制门禁（Quality Gate）。每次特征版本更新时，自动触发离线-在线分布对比，偏差超过阈值则阻断上线，并自动通知特征负责人。
1.4 偏差校验的核心指标
实际工程中，常用的偏差量化指标包括：
- PSI（Population Stability Index）：衡量两个分布的整体偏移程度，阈值通常设为 0.1（轻微）、0.25（显著）。
- KS 统计量：衡量两个累积分布的最大垂直距离，适用于连续特征。
- JS 散度：对称化的 KL 散度，对分布尾部敏感。
- 特征值缺失率差异：离线缺失率 vs 在线缺失率的绝对差值。
- 特征值边界差异：离线 min/max 与在线 min/max 的对比。
工程建议：不要只依赖单一指标。推荐组合使用 PSI（整体分布）+ 缺失率差异（数据质量）+ 边界检查（异常值），形成三维校验矩阵。