📚 课程目录第1章课程导论

1. 课程导论：实时特征与离线特征的定义、为什么需要回放差异分析、课程目标与学习路径

在机器学习工程中，特征（Feature）是模型预测的输入变量。根据特征计算与上线的时间窗口和计算模式，可将其分为离线特征与实时特征两大类。

维度	离线特征（Batch Feature）	实时特征（Real-time Feature）
计算时机	T+1 或周期性批处理（小时/天）	事件触发，毫秒/秒级计算
数据源	离线数仓（Hive、HDFS、S3）	消息队列（Kafka、Pulsar）、实时流
存储介质	离线表、特征存储（离线版）	Redis、内存网格、在线特征存储
时效性	分钟级～天级延迟	毫秒级～秒级延迟
典型场景	用户画像、历史统计、模型训练样本	实时推荐、反欺诈、动态定价
计算引擎	Spark、Hive、Flink Batch	Flink Streaming、Spark Streaming、自研引擎

  核心区别：离线特征面向“历史全量”与“训练一致性”；实时特征面向“当前状态”与“低延迟推理”。两者在时间窗口、数据完整性、计算语义上天然存在差异。

在特征上线过程中，一个常见且危险的陷阱是：离线训练时使用的特征值与线上实时推理时获取的特征值不一致。这种不一致被称为“训练-推理偏差”（Training-Serving Skew），而特征回放（Feature Replay）是发现并量化这种偏差的核心手段。

特征回放差异分析的必要性体现在以下三个层面：

数据时间窗口差异：离线特征通常使用“自然日”或“固定时间戳”截断数据；实时特征则依赖事件时间（Event Time）与处理时间（Processing Time），窗口边界不一致导致特征值不同。
特征计算逻辑漂移：离线代码与实时代码由不同团队维护，聚合函数、空值处理、去重逻辑等细节容易产生隐性差异。
状态与缓存不一致：实时特征依赖内存状态（如滑动窗口计数），离线特征依赖全量历史数据，状态恢复或回放时极易出现数值偏差。

行业教训：某头部互联网公司在推荐系统上线时，因实时特征与离线特征的回放差异未发现，导致线上 CTR 预估偏差超过 15%，回滚后损失数百万 DAU 曝光量。回放差异分析不是“可选优化”，而是特征工程上线的质量门禁。

本课程旨在帮助特征工程团队系统性地解决“离线-实时特征回放差异”问题，建立可量化、可复现、可自动化的差异分析体系。

课程目标：学完本课程后，你将能够独立设计特征回放方案、定位训练-推理偏差根因、并搭建持续监控差异的工程管道。

课程共 30 章，分为四个阶段，建议按顺序学习：