2. 回测概念精讲：回测定义、离线回测与在线回测、回测在模型迭代中的核心地位
2.1 回测定义：模型上线前的“模拟考试”
回测（Backtesting）是指在模型正式部署到生产环境之前，利用历史数据或模拟流量，对模型的行为、性能和稳定性进行系统性验证的过程。它相当于模型服务上线前的“模拟考试”，目的是在真实用户流量到达之前，发现潜在问题并评估模型效果。
核心公式： 回测 = 历史/模拟数据 + 模型推理 + 结果评估 + 决策判断
回测与常规测试的关键区别在于：
| 维度 | 常规测试 | 回测 |
|---|---|---|
| 数据来源 | 人工构造的测试用例 | 历史真实流量或模拟流量 |
| 评估目标 | 功能正确性、边界条件 | 业务指标、稳定性、兼容性 |
| 运行环境 | 开发/测试环境 | 预发/灰度环境（模拟生产） |
| 输出结果 | 通过/失败 | 指标对比、回归分析、决策建议 |
2.2 离线回测与在线回测
根据回测执行时所使用的数据来源和运行环境，回测可分为离线回测和在线回测两种模式。两者在模型迭代的不同阶段扮演着互补角色。
2.2.1 离线回测（Offline Backtesting）
离线回测使用已存储的历史数据，在非生产环境中对模型进行批量推理和评估。它不依赖实时流量，可以快速、低成本地验证模型的基本效果。
- 数据来源： 历史日志、离线数据集、标注样本
- 运行环境： 开发机、离线计算集群（Spark/Flink）
- 评估指标： 准确率、召回率、AUC、F1-Score、延迟分布
- 主要用途： 模型选型、超参数调优、特征工程验证
适用场景： 离线回测适合在模型训练完成后、灰度上线前进行快速验证。它能够发现模型在历史数据上的性能退化，但无法捕捉线上环境的数据分布偏移（Data Drift）和实时交互效应。
2.2.2 在线回测（Online Backtesting）
在线回测在预发或灰度环境中，使用实时或回放流量对模型进行推理，并与当前生产模型（基线）进行对比。它更接近真实线上环境，能够评估模型在实时数据流下的表现。
- 数据来源： 实时流量拷贝、流量回放（Traffic Replay）、影子流量
- 运行环境： 灰度集群、影子服务（Shadow Service）
- 评估指标： 业务转化率、用户满意度、系统资源消耗、错误率
- 主要用途： 灰度放量决策、A/B测试、线上回归验证
注意： 在线回测需要额外的灰度基础设施支持，且可能对生产系统产生轻微影响。必须做好流量隔离和熔断降级措施，防止回测流量污染线上数据。
2.2.3 离线 vs 在线：核心对比
| 对比维度 | 离线回测 | 在线回测 |
|---|---|---|
| 数据时效性 | 历史数据（T+1） | 实时/准实时数据 |
| 环境真实性 | 低（开发环境） | 高（灰度/预发环境） |
| 执行速度 | 快（批量处理） | 慢（需等待流量积累） |
| 成本 | 低 | 高（需灰度资源） |
| 发现的问题类型 | 模型精度、过拟合 | 数据漂移、系统兼容性、实时性能 |
| 推荐使用阶段 | 模型训练后、灰度前 | 灰度放量中、全量上线前 |
2.3 回测在模型迭代中的核心地位
在模型持续迭代的闭环中，回测是连接模型训练与生产部署的关键桥梁。没有回测，模型上线将面临巨大的不确定性和风险。
2.3.1 模型迭代闭环中的回测位置
一个完整的模型迭代周期通常包含以下阶段：
- 数据准备： 收集、清洗、标注训练数据
- 模型训练： 使用训练数据训练新模型
- 离线回测： 使用历史数据验证模型精度和稳定性
- 灰度上线： 将模型部署到灰度环境，进行在线回测
- 在线评估： 对比新模型与基线模型的业务指标
- 全量发布/回滚： 根据回测结果决定是否全量上线
- 监控与反馈： 持续监控线上表现，收集反馈用于下一轮迭代
关键洞察： 回测是模型迭代中唯一能够同时验证“模型效果”和“系统稳定性”的环节。它既防止了劣质模型上线，也避免了因模型变更导致的线上故障。
2.3.2 回测的核心价值
| 价值维度 | 具体说明 | 风险等级（无回测时） |
|---|---|---|
| 风险前置 | 在灰度阶段发现模型精度退化、数据漂移等问题，避免影响全量用户 | 高 |
| 量化决策 | 提供可量化的指标对比（如AUC提升0.5%、延迟增加10ms），支持数据驱动的放量决策 | 中 |
| 回归保障 | 确保新模型在历史关键场景上不出现性能回退，防止“修一个bug，引入三个新bug” | 高 |
| 资源验证 | 验证新模型在真实流量下的资源消耗（CPU/GPU/内存），避免上线后引发系统过载 | 中 |
| 合规审计 | 回测日志可作为模型变更的审计证据，满足合规要求 | 低 |
2.4 回测的典型应用场景
在实际的模型服务治理中，回测被广泛应用于以下场景：
- 模型版本升级： 新模型在离线回测中AUC提升2%，但在线回测中业务转化率下降1%，触发回滚决策。
- 特征变更验证： 新增一个实时特征后，通过回测验证该特征在不同流量分片上的效果一致性。
- 框架升级兼容性： 将推理框架从TensorFlow升级到ONNX Runtime，通过回测确保推理结果误差在允许范围内。
- 资源规格调整： 调整模型服务的CPU/GPU配额后，通过在线回测验证延迟和吞吐量是否达标。
最佳实践： 建议在模型迭代流程中建立“回测门禁”机制——离线回测不通过，不允许进入灰度；在线回测不通过，不允许全量发布。这是保障模型服务稳定性的第一道防线。