1. 灰度回测概述
1.1 灰度回测的定义
灰度回测（Gray-Box Backtesting / Shadow Testing）是指在模型正式上线全量生产环境之前，将新模型以旁路（Shadow）模式或小流量（Canary）模式部署到真实生产链路中，实时接收线上请求并输出决策结果，但不直接干预实际业务决策的一种验证方法。
与离线回测使用历史静态数据不同，灰度回测运行在实时数据流之上，能够捕捉到数据分布漂移、特征缺失、延迟抖动、资源消耗等离线环境难以暴露的问题。它是模型从“实验室可用”到“生产可用”的最后一道质量门禁。
核心特征： 真实流量 + 实时环境 + 旁路输出 + 不干预决策。
1.2 灰度回测在模型上线中的作用
在量化风控与机器学习模型上线流程中，灰度回测承担以下关键角色：
- 验证实时数据一致性： 确认线上特征工程逻辑与离线训练时完全对齐，避免“训练-服务偏差”（Training-Serving Skew）。
- 评估模型稳定性： 监控模型输出分数的分布变化、PSI（群体稳定性指标）是否在可接受范围内。
- 检测性能瓶颈： 测量模型推理延迟（P99/P95）、内存占用、CPU/GPU 利用率，确保满足生产 SLA。
- 发现异常行为： 捕捉空值、异常值、特征缺失、模型崩溃等离线测试难以覆盖的边界情况。
- 提供回滚依据： 灰度期间若发现严重问题，可立即停止放量，避免全量上线造成业务损失。
行业实践： 在信贷风控场景中，灰度回测通常持续 1~2 周，覆盖至少一个完整的业务周期（如账单日、还款日），以观察模型在不同时间窗口下的表现。
1.3 灰度回测与离线回测的区别
离线回测与灰度回测在数据来源、运行环境、评估指标、风险暴露等方面存在本质差异。下表从多个维度进行对比：
| 对比维度 | 离线回测 | 灰度回测 |
|---|---|---|
| 数据来源 | 历史静态数据集（已标注） | 实时线上流量（未标注） |
| 运行环境 | 本地/开发环境（Jupyter、IDE） | 生产环境（容器、K8s、在线服务） |
| 特征时效性 | 固定时间快照 | 实时计算，存在延迟与缺失风险 |
| 评估指标 | AUC、KS、Gini、Lift、F1 等 | PSI、延迟、内存、空值率、分布漂移 |
| 是否干预决策 | 否（纯模拟） | 否（旁路模式，不干预） |
| 风险暴露 | 低（无业务影响） | 中（可能影响小流量，需熔断机制） |
| 主要目的 | 验证模型效果与泛化能力 | 验证模型工程稳定性与生产适配性 |
| 持续时间 | 数小时 ~ 数天 | 数天 ~ 数周 |
常见误区： 灰度回测不能替代离线回测。离线回测回答“模型好不好”，灰度回测回答“模型能不能上线”。两者是串行关系，而非替代关系。
1.4 灰度回测在模型上线流程中的位置
下图展示了从模型开发到全量上线的完整流程，其中灰度回测位于离线回测之后、全量上线之前，是模型上线的关键验证环节。
1.5 灰度回测的典型工作模式
在实际工程中，灰度回测通常采用以下两种部署模式：
- 旁路模式（Shadow Mode）： 新模型与线上生产模型并行部署，新模型接收完整请求流量并输出结果，但结果仅用于日志记录与监控分析，不返回给业务系统。这是最安全的灰度方式。
- 小流量模式（Canary Mode）： 将 1%~5% 的真实业务流量路由到新模型，新模型的决策结果直接参与业务。此模式风险更高，但能获取更真实的业务反馈。
推荐策略： 先进行 1~2 周的旁路灰度，确认模型稳定性后，再切换到小流量灰度 1 周，最后全量上线。分阶段放量可有效降低风险。
1.6 灰度回测的评估指标
灰度回测阶段主要关注以下三类指标：
| 指标类别 | 具体指标 | 监控目的 |
|---|---|---|
| 稳定性指标 | PSI（群体稳定性指标）、分数分布直方图 | 检测模型输出是否随时间发生漂移 |
| 性能指标 | P99 延迟、平均延迟、QPS、内存占用 | 确保模型满足生产环境 SLA |
| 数据质量指标 | 特征缺失率、异常值比例、空值占比 | 发现线上特征工程与离线不一致的问题 |
实战建议： 在灰度回测期间，建议设置自动化告警规则。例如：PSI > 0.1 触发警告，P99 延迟 > 500ms 触发熔断。告警阈值应根据业务容忍度提前确定。