特征服务架构基础：特征存储的读写路径与离线/在线时延差异
特征存储（Feature Store）是特征工程与模型推理之间的核心中间层。它统一管理离线批处理产出的历史特征与在线实时计算产出的近线特征，并为训练和推理提供一致的读写接口。理解特征存储的读写路径以及离线批处理与在线 Serving 之间的时延差异，是诊断批次偏移、定位特征延迟的根本前提。
2.1 特征存储的读写路径
特征存储通常分为两个存储平面：离线存储（Offline Store）和在线存储（Online Store）。两者的读写路径、数据格式和访问模式有本质区别。
| 维度 | 离线存储（Offline Store） | 在线存储（Online Store） |
|---|---|---|
| 存储介质 | 对象存储（S3/GCS/OSS）、HDFS、Parquet/ORC 文件 | KV 数据库（Redis/DynamoDB/HBase）、内存缓存 |
| 写入方式 | 批量写入（Spark/Flink 批作业），按分区覆盖或追加 | 流式写入（Kafka → Flink → KV Store），单条或微批 Upsert |
| 读取方式 | 全量扫描、时间范围查询、Join 查询（训练集生成） | 单 Key 点查、批量 Multi-Get（推理请求时实时获取） |
| 数据时效性 | T+1 或小时级延迟，不可变快照 | 秒级至分钟级延迟，支持实时更新 |
| 典型场景 | 模型训练、离线评估、特征回溯 | 在线推理、实时特征拼接 |
关键原则：离线存储与在线存储之间通过特征同步管道（Feature Sync Pipeline）保持数据一致性。离线批处理产出的特征快照，经过格式转换和索引构建后，写入在线 KV 存储。这个同步过程本身会引入额外的分钟级延迟，是批次偏移的常见来源之一。
2.2 离线批处理与在线 Serving 的时延差异
时延差异是特征服务稳定性排查的核心矛盾点。离线批处理追求吞吐和完整性，在线 Serving 追求低延迟和可用性。两者的时延特征对比如下：
| 对比项 | 离线批处理 | 在线 Serving |
|---|---|---|
| P99 延迟 | 分钟级～小时级（取决于数据量和集群资源） | 毫秒级（通常 < 50ms） |
| 延迟波动 | 受上游依赖、资源争抢、数据倾斜影响大 | 受缓存命中率、网络抖动、热点 Key 影响 |
| 数据新鲜度 | 固定窗口（如 T-1 全量快照） | 近实时（最近一次 Upsert 后的状态） |
| 失败处理 | 重跑整个分区或回滚到上一版本 | 降级返回默认值或缓存旧值 |
| 监控指标 | 作业完成时间、数据行数校验、分区延迟 | P99/P50 延迟、错误率、缓存命中率 |
批次偏移风险点：当离线批处理延迟（如上游 ETL 延迟 2 小时）与在线 Serving 的实时特征更新时间窗口不匹配时，模型推理时拿到的特征可能是 2 小时前的快照，而实时特征已经更新到最新状态。这种时间错位直接导致特征分布偏移，影响模型预测准确性。
2.3 特征读写路径与延迟差异的架构图
下图展示了特征存储的双平面架构，以及离线批处理与在线 Serving 在读写路径上的时延差异：
2.4 时延差异导致的典型问题场景
- 场景一：离线特征延迟到达 — 离线批处理作业因上游数据延迟或资源不足，导致 T-1 的特征快照在 T+2 才写入在线存储。在线推理时，模型使用的特征仍然是 T-2 的旧值，与当前实时特征不匹配。
- 场景二：在线特征更新过快 — 流处理作业以秒级延迟更新在线特征，但离线批处理仍然按小时级节奏同步。当模型同时依赖离线特征（如用户画像）和在线特征（如实时行为）时，两者时间戳不一致，产生特征冲突。
- 场景三：特征同步管道中断 — 离线存储到在线存储的同步作业失败或延迟，导致在线存储中的特征版本落后于离线存储。推理时读取到的是旧版本特征，而训练时使用的是新版本特征，造成训练/推理特征分布不一致。
排查建议：在特征存储的读写路径上，至少埋点三个时间戳：特征生成时间（Feature Generation Time）、写入存储时间（Write Time）、读取时间（Read Time）。通过对比这三个时间戳，可以快速定位延迟发生在哪个环节，是离线批处理延迟、同步管道延迟还是在线存储读取延迟。
2.5 时延差异的量化监控指标
| 指标名称 | 定义 | 告警阈值 | 影响 |
|---|---|---|---|
| 离线特征延迟 | 当前时间 - 最新离线特征快照的生成时间 | > 2 小时（根据业务调整） | 训练数据不新鲜，模型学习到过时分布 |
| 在线特征新鲜度 | 当前时间 - 最新在线特征 Upsert 时间 | > 5 分钟 | 推理时特征滞后，实时性不足 |
| 特征同步延迟 | 离线特征写入时间 - 在线特征同步完成时间 | > 30 分钟 | 离线与在线特征版本不一致，批次偏移 |
| 在线读取 P99 延迟 | 在线推理时特征读取的 P99 耗时 | > 100ms | 推理超时，影响服务可用性 |