特征回放概念：定义、与在线 A/B 测试的区别及适用场景

特征回放（Feature Replay / Historical Simulation）是离线评估体系中的核心技术手段。它通过将新算法或策略“回放”到已记录的线上流量日志中，模拟新策略在历史时刻的决策结果，从而在不影响真实用户的前提下完成效果评估。

2.1 特征回放的定义

特征回放的核心逻辑是：用旧数据 + 新策略 → 模拟新结果。它依赖线上实时系统在用户请求时刻保存的完整上下文特征（如用户画像、物品特征、上下文环境），然后离线使用新模型或新规则重新计算排序、推荐或广告竞价结果，并与线上实际结果进行对比。

特征回放的基本流程包含以下步骤：

1. 日志采集：记录线上每个请求时刻的原始特征向量、用户行为、最终展示结果。
2. 特征对齐校验：检查离线特征仓库是否包含线上请求时刻的全部特征字段，缺失特征需标记或填充。
3. 策略重算：将新策略（模型/规则）应用到历史特征上，生成模拟决策结果。
4. 结果对比：比较新策略模拟结果与线上实际结果的差异，计算离线评估指标（如 AUC、NDCG、离线 CTR 预估误差）。
5. 偏差分析：评估回放结果与真实在线 A/B 测试结果之间的偏差方向与幅度。

2.2 特征回放与在线 A/B 测试的区别

特征回放与在线 A/B 测试在评估范式上存在本质差异。下表从多个维度进行对比：

2.3 特征回放的适用场景

特征回放并非万能工具，它在以下场景中表现尤为突出：

• 模型快速迭代：算法工程师每天可能产生数十个候选模型，在线 A/B 测试无法支撑如此高的迭代频率。特征回放可在数小时内完成离线评估，大幅缩短实验周期。
• 大规模策略筛选：当候选策略数量超过 100 个时，在线分流实验的流量成本不可接受。特征回放可对全部候选策略进行离线排序，仅将 Top-5 或 Top-10 送入在线验证。
• 回归测试与异常检测：每次模型发布前，使用历史日志回放新模型，检查核心指标是否出现异常下降（如 CTR 预估偏差超过 5%）。
• 冷启动策略评估：新用户或新物品缺乏历史行为数据时，在线 A/B 测试难以快速收敛。特征回放可结合模拟用户行为进行离线评估。
• 跨时段效果对比：回放同一策略到不同历史时段（如双十一 vs 日常），评估策略在不同流量环境下的鲁棒性。

2.4 特征回放系统架构

下图展示了一个典型的特征回放系统架构，包含数据层、计算层和评估层三个核心模块：

2.5 特征回放的核心挑战

尽管特征回放具有显著优势，但在实际落地中仍面临以下挑战：