3、特征回放概念：什么是特征回放、特征回放与在线推理的区别
特征回放（Feature Replay）是离线评估中用于模拟在线推理环境的一项关键技术。它通过“回放”历史上真实请求时刻的特征快照，让离线模型在接近真实生产环境的数据上进行预测，从而获得更可靠的评估结果。
3.1 什么是特征回放
在推荐、广告、搜索等实时系统中，模型推理依赖的特征值会随时间动态变化。例如，用户历史点击计数、商品实时库存、上下文场景标签等，在请求发生的时刻具有唯一确定的值。特征回放的核心思想是：将历史上某次请求发生时那一刻的特征快照完整记录下来，并在离线评估时重新使用这些特征值进行模型推理。
核心定义：特征回放 = 记录请求时刻的特征快照 + 离线重放该快照进行模型预测。
特征回放解决了离线评估中最大的痛点——特征时间穿越。如果离线评估使用了未来时刻的特征值（例如用“用户今天是否点击”来预测昨天的行为），评估结果会严重失真，无法反映模型在真实在线环境中的表现。
3.2 特征回放与在线推理的区别
在线推理是模型在生产环境中接收实时请求、获取最新特征并输出预测的过程。特征回放则是离线模拟这一过程。两者在数据来源、时效性、计算环境等方面存在本质差异。
| 对比维度 | 特征回放（离线） | 在线推理（实时） |
|---|---|---|
| 特征来源 | 历史日志中记录的请求时刻特征快照 | 实时从特征存储、数据库、上游服务获取 |
| 时效性 | 使用过去时刻的静态特征，无延迟 | 使用当前最新特征，存在网络/计算延迟 |
| 计算环境 | 离线集群，批量处理，可重试 | 在线服务，低延迟，高并发，不可重试 |
| 数据一致性 | 特征与请求时刻严格对齐，无穿越 | 特征可能因延迟或更新顺序导致不一致 |
| 主要用途 | 模型离线评估、A/B测试回放、效果复现 | 线上实时预测、用户响应、业务决策 |
| 成本 | 存储成本高（需保存历史特征快照） | 计算成本高（需实时特征计算与传输） |
关键认知：特征回放不是在线推理的替代品，而是离线评估中用于逼近在线效果的技术手段。两者在特征值层面应尽可能一致，但在工程实现和约束条件上完全不同。
3.3 特征回放与在线推理的流程对比
下图展示了特征回放与在线推理在流程上的核心差异。在线推理从实时请求出发，经过特征获取、模型推理后返回预测结果；特征回放则从历史日志出发，读取已存储的特征快照，在离线环境中完成推理。
3.4 特征回放的核心价值
- 消除时间穿越：保证离线评估使用的特征与请求时刻严格对齐，避免未来信息污染。
- 可复现性：同一份特征快照可以被不同模型版本重复使用，确保对比公平。
- 低成本迭代：无需搭建完整在线服务即可评估模型效果，加速实验周期。
- 细粒度分析：可以针对特定请求、特定时段进行回放，定位模型在真实场景中的表现。
3.5 特征回放的实现要点
实现特征回放系统时，需要关注以下关键环节：
- 特征快照的存储：将每次请求时刻的所有特征值序列化存储（如 Avro、Protobuf），并建立请求 ID 与快照的映射索引。
- 特征对齐：确保离线回放时使用的特征 schema 与在线推理时完全一致，避免字段名或类型不匹配。
- 时间戳管理：记录请求发生的时间戳，用于验证特征快照的时间有效性。
- 批量回放引擎：设计高效的批量读取和推理管道，支持大规模历史请求的并行回放。
常见陷阱：特征回放中容易忽略“特征依赖链”。例如，特征 A 的计算依赖特征 B，而特征 B 在回放时可能未被正确记录。务必保证特征快照包含完整的依赖特征集合，否则回放结果会偏离真实在线效果。
3.6 特征回放在 A/B 测试中的角色
在 A/B 测试的离线评估阶段，特征回放是连接“历史数据”与“模型评估”的桥梁。通过回放同一批历史请求的特征快照，可以公平地对比不同模型版本（实验组 vs 对照组）在同一时刻、同一特征输入下的预测差异，从而量化模型改进的真实效果。