2. 偏差来源分析：训练数据与线上数据分布不一致、特征计算逻辑差异、数据漂移、特征穿越
样本偏差并非单一原因造成，而是多个环节累积的结果。理解偏差的四大核心来源，是构建有效校验体系的前提。以下逐一拆解每种偏差的成因、典型场景与校验要点。
2.1 训练数据与线上数据分布不一致
这是最常见的偏差来源，指模型训练时使用的样本分布与线上推理时遇到的真实样本分布存在系统性差异。
| 偏差类型 | 典型场景 | 影响 |
|---|---|---|
| 采样偏差 | 训练数据仅包含某段时间的日志，未覆盖全周期用户行为 | 模型对冷启动或长尾用户失效 |
| 选择偏差 | 仅对曝光样本打标，未曝光样本被直接丢弃 | 模型无法学习到曝光决策的因果效应 |
| 幸存者偏差 | 只保留最终转化用户，忽略中途流失用户 | 高估模型对留存/转化的预测能力 |
| 时间窗口偏差 | 训练数据来自旧版本策略，线上已迭代多次 | 模型无法适应新策略下的用户反馈 |
校验建议：在特征平台中，对训练样本与线上实时请求样本分别计算特征分布统计量（均值、方差、分位数），并设置 PSI（Population Stability Index）监控阈值。当 PSI > 0.1 时触发告警。
2.2 特征计算逻辑差异
同一特征在训练管道与线上服务管道中，因代码实现、依赖版本、时间基准不同而产生差异，是“隐性偏差”的重灾区。
- 代码分支差异：训练使用 Python 脚本，线上使用 C++/Java 实现，浮点精度或取整规则不一致。
- 时间基准差异：训练时特征基于 T-1 日快照，线上基于实时流计算，导致特征值时间戳错位。
- 聚合窗口差异：训练时统计过去 7 天均值，线上因窗口滑动逻辑不同实际统计了 6 天或 8 天。
- 缺失值处理差异：训练时用全局均值填充，线上用 0 填充，导致特征分布偏移。
典型案例：某推荐系统在训练时对“用户近 7 天点击率”特征使用
COUNT(DISTINCT item_id) 去重，线上服务因性能优化改为 COUNT(item_id) 不去重，导致线上点击率特征值系统性偏高 15%，模型 AUC 下降 3 个百分点。
2.3 数据漂移
数据漂移指特征或标签的统计分布随时间发生不可逆的变化，即使训练与线上计算逻辑完全一致，模型仍可能失效。
注意：数据漂移检测不能仅依赖单一指标。建议同时监控特征分布的 KS 统计量、PSI 以及模型预测分数的分布变化。当特征漂移与概念漂移同时发生时，仅重训特征可能无效，需要重新标注或调整模型结构。
2.4 特征穿越
特征穿越是指训练时使用了未来信息（即推理时无法获取的数据），导致模型在离线评估中表现虚高，上线后效果大幅回退。
| 穿越类型 | 示例 | 检测方法 |
|---|---|---|
| 时间穿越 | 用 T 日的用户行为预测 T 日的标签，但特征计算时包含了 T 日之后的数据 | 检查特征时间戳是否严格早于标签时间戳 |
| 全局统计穿越 | 训练时使用全量数据的均值/最大值，线上只能使用历史窗口统计 | 对比训练与线上特征统计量的计算窗口 |
| 标签泄露 | 特征中包含了与标签高度相关的后验信息（如“是否已退款”预测“是否欺诈”） | 特征重要性分析 + 业务逻辑审计 |
| Join 穿越 | 特征表与标签表 Join 时使用了未来分区数据 | 数据血缘追踪 + 分区约束校验 |
2.5 偏差来源对比总结
四种偏差来源在发生阶段、检测难度、修复成本上各有不同，以下表格帮助快速对比与决策。
| 偏差来源 | 发生阶段 | 检测难度 | 修复成本 | 典型检测手段 |
|---|---|---|---|---|
| 训练/线上分布不一致 | 数据采集 | 低 | 中 | PSI、KS 检验、分位数对比 |
| 特征计算逻辑差异 | 特征工程 | 中 | 高 | 代码审计、离线-线上特征值比对 |
| 数据漂移 | 持续运行 | 中 | 高 | 分布监控、模型分数监控、重训触发 |
| 特征穿越 | 训练管道 | 低 | 低 | 时间戳断言、血缘追踪、分区约束 |
工程实践建议：在特征平台中建立“偏差来源标签”体系，每次校验告警自动标记来源类型，便于后续根因分析与修复优先级排序。建议将特征计算逻辑差异和特征穿越作为 P0 级问题优先处理，因为它们会导致模型评估结果完全失真。