📚 课程目录第1章课程导论

1. 课程导论：实时特征与离线特征的定义、偏差产生的根本原因、偏差校验的重要性与业务影响

在机器学习特征工程中，特征的计算时间窗口与数据来源决定了其属于实时特征还是离线特征。两者在数据延迟、计算频率、存储介质和使用场景上存在本质差异。

  关键认知： 离线特征服务于模型训练与离线评估，实时特征服务于在线推理。两者在理想情况下应保持语义一致，但实际工程中常因计算逻辑、时间窗口、数据完整性等因素产生偏差。

实时特征与离线特征之间的偏差并非偶然，而是由以下四个核心因素系统性导致：

时间窗口对齐不一致： 离线特征通常以自然日或固定小时为边界截断数据；实时特征以事件发生时间为准，滑动窗口计算。例如“过去24小时交易次数”，离线取昨日00:00-23:59，实时取当前时间往前推24小时，结果天然不同。
数据到达顺序与延迟： 离线数据经过ETL清洗、去重、回溯修正，数据完整度高；实时流数据存在乱序、延迟、丢包，导致特征值在短时间内不准确。
计算逻辑实现差异： 同一特征在离线Spark SQL与实时Flink SQL中，因函数实现、精度截断、空值处理策略不同，产生微小但累积的偏差。
状态管理与回溯机制： 离线特征可回溯历史任意时刻快照；实时特征通常只维护当前状态，一旦状态丢失或重启，历史值无法复现。

常见误区： 很多团队认为只要离线特征和实时特征使用同一套SQL逻辑就不会有偏差。实际上，数据源的时间属性、窗口边界、乱序容忍度才是偏差的主要来源，逻辑一致只是必要条件，不是充分条件。

特征偏差如果未被及时发现和修复，会沿着特征生产链路向下游传导，最终影响模型效果和业务指标。以下是偏差校验的核心价值：

保障模型训练与推理一致性： 离线训练时模型学习的是离线特征分布，在线推理时如果实时特征分布偏移，模型效果会显著下降。偏差校验是模型上线前的最后一道防线。
降低线上事故风险： 特征偏差可能导致推荐系统推送错误内容、风控系统误判正常交易、定价系统给出异常价格。实时校验可提前告警，避免大规模线上故障。
提升特征迭代效率： 当特征逻辑需要修改时，离线与实时同步更新后，通过偏差校验快速验证一致性，缩短迭代周期。
满足合规与审计要求： 在金融、医疗等强监管领域，特征计算过程需要可追溯、可复现。偏差校验记录可作为合规证据。

业务场景	偏差后果示例	影响等级
实时反欺诈	离线特征显示用户风险低，实时特征因数据延迟显示风险高，导致误拦截	严重（资金损失+用户体验下降）
个性化推荐	离线特征统计用户偏好A类商品，实时特征因窗口偏差推荐B类，点击率下降30%	中等（业务指标波动）
动态定价	离线特征计算成本为10元，实时特征因未计入最新折扣显示8元，导致定价亏损	严重（直接经济损失）
模型监控	离线评估AUC=0.85，线上实时AUC=0.72，偏差导致模型误判为退化	中等（运维成本增加）

实践建议： 建议在特征上线前、上线后持续运行偏差校验任务。对于核心业务特征，偏差阈值应设定在 ±1% 以内；对于非核心特征，可放宽至 ±5%。一旦超过阈值，自动触发告警并阻断上线流程。