1. 批次偏移概述

1.1 什么是批次偏移

批次偏移（Batch Shift）是指在机器学习模型的生产推理过程中，输入特征的统计分布与模型训练时所使用的特征分布之间出现系统性差异的现象。这种差异通常不是由数据整体分布变化（概念漂移）引起，而是由特征计算逻辑、数据源、时间窗口或离线/在线环境不一致导致的局部性、阶段性的特征值偏离。

批次偏移的典型表现包括：

• 均值偏移：特征均值在某个批次中突然升高或降低，超出训练集正常波动范围。
• 方差收缩/膨胀：特征取值分布过于集中或过于离散，导致模型输出置信度失真。
• 缺失率突变：某个特征在特定批次中出现大量空值或默认值填充。
• 枚举值分布倾斜：类别型特征的取值频次比例与训练集严重不一致。

1.2 批次偏移的典型场景

批次偏移在特征服务中主要体现为离线特征与在线特征之间的不一致。下表从多个维度对比两类特征的计算差异，这些差异是批次偏移的主要来源：

1.3 离线特征 vs 在线特征：偏移根源分析

为了更清晰地理解批次偏移的触发机制，下面从特征工程链路的三个关键环节进行拆解：

1. 数据采集层：
   • 离线：使用批处理方式从数仓拉取全量日志，数据经过清洗、去重、回溯。
   • 在线：通过消息队列实时消费，存在延迟、丢消息、乱序等问题。
   • 偏移结果：同一特征在不同链路中可能得到不同的原始值集合。
2. 特征计算层：
   • 离线：使用 Spark UDF 或 Hive SQL 进行聚合计算，支持复杂窗口函数。
   • 在线：使用轻量级计算逻辑，可能简化或近似处理（如 HyperLogLog 替代精确计数）。
   • 偏移结果：聚合值（均值、计数、分位数）出现系统性偏差。
3. 特征存储层：
   • 离线：特征写入 Hive 表或 TFRecord，以分区为单位管理。
   • 在线：特征写入 Redis/SSDB，以 Key-Value 形式存储，存在过期淘汰。
   • 偏移结果：在线特征可能因缓存过期而返回默认值，造成特征缺失偏移。

1.4 批次偏移对模型稳定性的影响

批次偏移对模型稳定性的影响是渐进式且具有隐蔽性的。初期可能只表现为个别特征的轻微波动，但随着偏移累积，会引发以下连锁反应：

1.4.1 直接影响

• 预测值系统性偏差：当偏移特征在模型中具有较高权重时，预测值会整体向某一方向偏移。例如，用户活跃度特征因在线计算窗口过短而偏低，导致模型低估用户转化概率。
• 排序结果翻转：在推荐或搜索场景中，批次偏移可能导致物品之间的相对排序发生非预期变化，破坏用户体验的一致性。
• 置信度失真：模型输出的概率值不再反映真实置信度，导致业务方对模型判断产生误信或误判。

1.4.2 间接影响

• 监控告警风暴：批次偏移引发的预测波动会触发大量假阳性告警，淹没真正需要关注的异常。
• 模型迭代误导：如果离线评估时使用与在线不一致的特征分布，A/B 测试结果将不可信，导致模型迭代方向错误。
• 业务指标波动：CTR、CVR、留存率等核心指标出现无规律的日内波动，难以定位根因。