3、批次偏移概念详解
3.1 什么是批次偏移
批次偏移（Batch Drift / Batch Offset）是指在特征生产过程中，离线批处理产出的特征数据与实时流处理产出的特征数据之间存在系统性的时间差或版本差。这种偏移不是偶发的延迟抖动，而是由两种计算范式的本质差异导致的持续偏差。
在特征服务架构中，同一特征往往同时存在两条生产链路：
- 实时流链路：毫秒/秒级处理，产出当前时刻的特征快照。
- 离线批链路：小时/天级调度，产出基于历史窗口的聚合特征。
当模型推理时同时使用这两条链路的特征，如果离线特征的时间窗口与实时特征的时间窗口没有对齐，就产生了批次偏移。偏移的本质是时间窗口错位——模型看到的特征组合中，部分特征来自“过去”，部分特征来自“现在”。
核心定义：批次偏移 = 离线特征时间戳 − 实时特征时间戳。正值表示离线特征滞后于实时特征，负值表示离线特征超前（较少见，通常由数据回溯引起）。
3.2 批次偏移的典型场景：实时流与离线批的时差
批次偏移在特征服务中普遍存在，以下四种场景最为典型：
| 场景 | 实时流特征 | 离线批特征 | 偏移量 | 影响 |
|---|---|---|---|---|
| 日级聚合特征 | 当前用户实时点击率 | 昨日全量用户点击率 | 12~24 小时 | 模型使用过时统计量，推荐效果衰减 |
| 小时级窗口特征 | 最近 5 分钟行为计数 | 上一整点小时聚合 | 30~60 分钟 | 高峰时段特征突变，模型响应滞后 |
| 跨天回溯特征 | 当前会话特征 | T-1 天全量画像 | 24~48 小时 | 新用户画像缺失，冷启动偏差 |
| 多级依赖特征 | 实时设备指纹 | 离线风险评分（依赖多表 Join） | 2~6 小时 | 风控模型误判率上升 |
3.3 批次偏移的根因分析
偏移产生的根本原因在于两条链路的时间语义不一致：
- 计算窗口不同：实时流使用滑动窗口（如最近 5 分钟），离线批使用固定窗口（如昨日 00:00~23:59）。
- 调度延迟：离线任务依赖上游产出，存在排队、重试、数据倾斜等不可控延迟。
- 数据新鲜度差异：实时特征秒级更新，离线特征小时级甚至天级更新。
- 时间戳对齐缺失：特征生产时未记录统一的 event_time，导致模型侧无法判断特征的新鲜度。
常见误区：批次偏移 ≠ 数据延迟。数据延迟是偶发的、可恢复的；批次偏移是系统性的、持续存在的。即使所有任务都按时完成，只要离线批与实时流的窗口定义不同，偏移依然存在。
3.4 批次偏移的量化指标
为了监控批次偏移，需要定义可量化的指标：
| 指标名称 | 计算公式 | 正常范围 | 告警阈值 |
|---|---|---|---|
| 特征时间差 | offline_ts − realtime_ts | < 1 小时 | > 2 小时 |
| 窗口重叠率 | 重叠时间 / 窗口总长度 | > 80% | < 60% |
| 特征版本差 | offline_version − realtime_version | 0 或 1 | > 2 |
| 模型效果衰减 | 离线 AUC − 实时 AUC | < 0.02 | > 0.05 |
3.5 批次偏移的典型影响链路
下图展示了批次偏移从产生到影响模型推理的完整链路：
3.6 批次偏移的自动化监控思路
针对批次偏移的自动化监控，需要从以下三个维度建立检测体系：
- 时间戳对齐检测：在特征产出时强制记录 event_time，通过比对离线特征与实时特征的 event_time 差值，计算偏移量。
- 窗口一致性校验：校验离线批的窗口定义（如 T-1 全天）与实时流的滑动窗口（如最近 5 分钟）是否在时间语义上匹配。
- 模型效果对比：在 A/B 测试中分别使用纯实时特征、纯离线特征、混合特征，观察 AUC/LogLoss 的差异，反向推断偏移影响。
最佳实践：建议在特征存储层增加
feature_ts 和 batch_id 两个字段。feature_ts 记录特征对应的事件时间，batch_id 记录特征所属的批次版本。模型推理时，通过这两个字段可以精确判断当前使用的特征是否存在批次偏移。