3. 评估指标体系：业务指标、技术指标与稳定性指标
在 Champion Challenger 回放评估中，单一指标无法全面衡量模型效果。我们需要从业务价值、技术精度和系统稳健性三个维度构建评估指标体系。只有三个维度同时达标，模型才能从实验环境安全上线。
3.1 业务指标：衡量商业价值
业务指标直接反映模型对营收、转化等核心商业目标的影响，是决策层最关注的评估维度。
| 指标名称 | 定义 | 计算方式 | 评估意义 |
|---|---|---|---|
| 转化率 (CVR) | 用户完成目标行为的比例 | 转化数 / 总曝光数 × 100% | 衡量模型对用户决策的推动效果 |
| 收入 (Revenue) | 模型带来的直接或间接营收 | ∑(订单金额) 或 广告收入 | 衡量模型的商业变现能力 |
| 客单价 (ARPU) | 平均每用户贡献收入 | 总收入 / 活跃用户数 | 衡量用户价值提升效果 |
| 留存率 (Retention) | 用户持续使用比例 | 留存用户数 / 初始用户数 | 衡量模型对长期用户粘性的影响 |
实战要点：业务指标通常需要 A/B 测试或回放实验的统计显著性检验（如 t 检验、Mann-Whitney U 检验）来确认 Champion 与 Challenger 之间的差异是否真实可信，避免因随机波动做出错误决策。
3.2 技术指标：衡量模型精度
技术指标评估模型预测的准确性，是数据科学团队的核心关注点。在回放评估中，我们使用离线标注数据或在线反馈作为 Ground Truth 来计算以下指标。
| 指标名称 | 公式 | 适用场景 | 取值范围 |
|---|---|---|---|
| 准确率 (Accuracy) | (TP + TN) / (TP + TN + FP + FN) | 正负样本均衡的分类任务 | [0, 1] |
| 精确率 (Precision) | TP / (TP + FP) | 误报代价高的场景（如风控） | [0, 1] |
| 召回率 (Recall) | TP / (TP + FN) | 漏报代价高的场景（如疾病筛查） | [0, 1] |
| F1 分数 | 2 × (P × R) / (P + R) | 精确率与召回率的调和平均 | [0, 1] |
关键理解：在回放评估中，准确率可能具有欺骗性。当正负样本极度不平衡时（例如 99% 负样本），一个全预测为负的模型也能达到 99% 准确率，但毫无业务价值。此时应优先关注 F1 分数 或 AUC-ROC。
3.3 稳定性指标：衡量系统稳健性
稳定性指标评估模型在时间维度上的表现波动程度。一个高精度但波动剧烈的模型，在生产环境中可能引发严重的线上事故。
- PSI (群体稳定性指标)：衡量模型评分分布随时间的变化程度。PSI < 0.1 表示稳定性良好，0.1 ~ 0.25 需关注，> 0.25 表示显著偏移。
- 波动率 (Volatility)：核心指标（如转化率、收入）在连续时间窗口内的标准差或变异系数。波动率越低，模型越稳健。
- 异常率 (Anomaly Rate)：模型输出结果超出预设阈值（如 3σ 或 IQR 边界）的样本比例。异常率突增通常预示数据分布或模型行为发生突变。
- 回放一致性 (Replay Consistency)：同一输入在多次回放中输出结果的一致程度。用于检测模型是否存在非确定性行为或缓存污染。
常见陷阱：不要仅依赖 PSI 判断稳定性。PSI 对分布整体偏移敏感，但对局部突变不敏感。建议同时监控 分位数漂移（如 P50、P90、P99 的变化）和 日内波动模式，以全面捕捉稳定性风险。
3.4 三维指标体系架构
下图展示了业务指标、技术指标与稳定性指标之间的层级关系与评估流程。三个维度相互独立又相互补充，共同构成完整的评估闭环。
3.5 指标权重与综合评分
在实际项目中，不同角色的关注点不同，需要为三个维度分配权重，形成综合评分。以下是一个典型的权重分配方案：
| 评估维度 | 权重 | 典型阈值 | 负责人 |
|---|---|---|---|
| 业务指标 | 50% | 转化率提升 ≥ 5% 且收入提升 ≥ 3% | 业务方 / 产品经理 |
| 技术指标 | 30% | F1 ≥ 0.85 且召回率 ≥ 0.80 | 数据科学团队 |
| 稳定性指标 | 20% | PSI < 0.1 且波动率 < 5% | MLOps / 工程团队 |
综合评分公式：Score = 0.5 × 业务指标归一化得分 + 0.3 × 技术指标归一化得分 + 0.2 × 稳定性指标归一化得分。只有当 Score ≥ 0.75 且每个维度均不低于其阈值的 80% 时，Challenger 才具备上线条件。
3.6 实战案例：某推荐系统回放评估
以下是一个真实案例的评估结果，展示了三个维度指标的具体数值与决策过程：
# Champion Challenger 回放评估报告（示例）
# 评估周期：2024-03-01 ~ 2024-03-14
# 业务指标
champion_cvr = 0.032 # 3.2%
challenger_cvr = 0.038 # 3.8% (+18.75%)
champion_revenue = 1250000
challenger_revenue = 1420000 (+13.6%)
# 技术指标
champion_f1 = 0.82
challenger_f1 = 0.89 (+8.5%)
champion_recall = 0.78
challenger_recall = 0.85 (+9.0%)
# 稳定性指标
champion_psi = 0.05
challenger_psi = 0.08 (< 0.1, 通过)
champion_volatility = 0.042
challenger_volatility = 0.039 (波动率下降)
# 综合决策
score = 0.5 * 0.95 + 0.3 * 0.92 + 0.2 * 0.90 = 0.949
# 结论：Challenger 综合评分 0.949，三个维度均通过阈值，建议上线替换 Champion
最佳实践：建议将评估指标体系固化为自动化流水线，每次回放实验结束后自动生成评估报告，并标记每个维度的通过/不通过状态。这样可以大幅减少人工审核成本，同时避免遗漏关键指标。