📚 课程目录第2章特征流水线概念

2. 特征流水线概念：定义、流程与离线/在线区别

特征流水线（Feature Pipeline）是推荐系统中将原始数据转化为模型可直接使用的特征向量的全链路处理系统。它覆盖从数据采集、清洗、变换到特征存储与服务的完整过程，是连接数据层与模型层的核心桥梁。

特征流水线是一组有序的数据处理步骤，其输入是原始日志、用户画像、物品属性等异构数据，输出是结构化的特征向量（Feature Vector）。每条流水线通常包含以下核心环节：

  核心原则：训练时使用的特征处理逻辑必须与推理时完全一致，否则会导致训练-推理偏差（Training-Serving Skew）。

一个完整的特征流水线从原始数据到模型特征向量，通常经历以下五个阶段：

阶段	输入	主要操作	输出
① 数据采集	用户点击日志、曝光日志、物品属性表	实时流接入（Kafka） + 离线批量导入（Hive）	原始事件流 / 离线宽表
② 数据清洗	原始事件流 / 宽表	去重、空值填充、异常值截断、时间对齐	干净的结构化数据
③ 特征计算	干净的结构化数据	统计聚合、交叉组合、Embedding查询、分桶归一化	特征列（Feature Columns）
④ 特征存储	特征列	写入离线TFRecord / 在线Redis / Faiss向量库	训练样本集 / 在线特征快照
⑤ 特征服务	在线特征快照	特征拼接、实时计算、模型推理输入	模型推理请求的特征向量

离线流水线与在线流水线在时效性、计算模式、存储介质、容错策略等方面存在本质差异。理解这些区别是设计健壮特征系统的前提。

实践建议：在搭建特征流水线初期，建议先实现离线流水线，快速产出训练样本验证模型效果；待模型稳定后，再基于同一套特征逻辑开发在线流水线，并通过离线-在线一致性校验（Offline-Online Consistency Check）确保无偏差。

在实际生产系统中，离线与在线流水线并非完全独立，而是通过以下机制协同工作：

特征逻辑复用：将特征计算代码封装为公共库（如 Feature Function Lib），离线 Spark 任务与在线 Flink 任务引用同一份代码。
离线-在线一致性校验：定期抽取在线特征快照与离线特征进行对比，监控特征值偏差是否在容忍范围内。
特征回溯：当在线特征出现异常时，使用离线流水线重新计算历史特征，修复训练样本。
渐进式上线：先离线验证特征有效性，再逐步将特征加入在线流水线，通过 A/B 实验评估效果。

常见陷阱：离线流水线使用当前时间戳计算“历史特征”，而在线流水线使用事件发生时间戳，导致特征值不一致。解决方案是统一使用事件时间（Event Time）作为特征计算基准。