📚 课程目录第3章特征平台架构概览

3. 特征平台架构概览：离线存储、在线存储、特征计算引擎、特征注册中心、样本生成管道

特征平台是支撑机器学习全生命周期特征生产与管理的核心基础设施。本章从架构视角拆解特征平台的五大核心组件：离线存储、在线存储、特征计算引擎、特征注册中心与样本生成管道。理解这些组件的职责与交互关系，是后续进行样本偏差校验的前提。

特征平台采用分层解耦设计，将特征的生产、存储、分发与消费分离。下图展示了典型的特征平台架构及各组件间的数据流。

架构要点：特征注册中心是平台的“大脑”，统一管理特征元数据；离线存储与在线存储分别服务于训练与推理场景；样本生成管道从离线存储拉取特征与标签，产出训练数据集。

离线存储用于保存大规模历史特征数据，支撑模型训练、离线评估与回溯分析。其核心要求是高吞吐、低成本与可回溯。

  偏差校验关联：离线存储的时间分区完整性直接影响样本偏差校验的准确性。若某天分区数据缺失或损坏，将导致训练样本与在线分布产生系统性偏差。

在线存储为实时推理提供低延迟的特征访问，通常使用键值存储系统。其核心指标是P99 延迟与高并发。

常见陷阱：在线存储与离线存储的特征值不一致是样本偏差的重要来源。例如，离线存储使用 T+1 的聚合特征，而在线存储使用实时特征，两者分布可能显著不同。

特征计算引擎负责将原始数据转换为特征值，支持批处理与流处理两种模式。

特征计算引擎通常遵循“定义即计算”的原则：特征在注册中心定义后，引擎自动生成批处理与流处理两套计算逻辑，确保离线与在线特征语义一致。

特征注册中心是特征平台的元数据中心，管理特征的定义、血缘、版本与质量信息。

  偏差校验关键能力：特征注册中心应记录每个特征的统计摘要（均值、方差、分位数、缺失率），并支持跨时间窗口的分布对比。当离线训练样本与在线推理请求的特征分布差异超过阈值时，自动触发告警。

样本生成管道是连接离线存储与模型训练的桥梁。它从离线存储中拉取特征与标签，按指定时间范围拼接成训练样本集。

典型的样本生成流程包含以下步骤：

偏差校验核心关注点：样本生成管道中特征拼接的时间对齐是偏差的高发区。例如，使用未来特征预测当前标签（数据泄露），或使用过期特征导致特征分布偏移。建议在管道中嵌入时间戳校验与特征新鲜度检查。

下表总结了五大组件在特征生命周期中的交互关系：

架构演进建议：初期可先实现离线存储 + 样本生成管道的最小闭环，满足批量训练需求；随着业务发展，逐步引入在线存储与流计算引擎，最终以特征注册中心统一管理全链路特征元数据。