3. Champion 模型构建：定义当前最优模型、评估指标与基线建立

在 Champion / Challenger 沙盘推演体系中，Champion 模型是当前生产环境中表现最稳定、业务收益最明确的模型。它不仅是所有 Challenger 模型的对标基准，也是模型迭代的“锚点”。本章将系统讲解如何科学地定义 Champion、选择评估指标以及建立可靠的基线。

3.1 什么是 Champion 模型？

Champion 模型并非一成不变，而是经过严格筛选后，在当前业务场景下综合表现最优的模型。它必须具备以下三个核心特征：

• 可复现性：在相同输入下，输出结果完全一致，且训练与推理流程可追溯。
• 稳定性：在线上流量波动、数据分布轻微偏移时，核心指标不出现剧烈抖动。
• 业务对齐性：模型优化目标与业务 KPI（如转化率、留存率、客单价）直接挂钩。

3.2 模型评估指标选择

评估指标是衡量 Champion 与 Challenger 优劣的标尺。指标选择需遵循“分层评估、业务导向”原则。我们将指标分为三个层级：

3.3 基线建立方法论

基线（Baseline）是 Champion 模型在历史数据上的表现快照。建立基线的目的是为 Challenger 模型提供一个公平、可量化的比较起点。基线建立包含以下四个步骤：

1. 确定时间窗口：选取最近 7 天、14 天或 30 天的线上数据作为基线窗口。窗口长度需覆盖完整的业务周期（如包含周末与工作日）。
2. 采集核心指标：在时间窗口内，按小时/天粒度采集业务层与模型层指标，形成时间序列。
3. 计算统计量：计算每个指标的均值、中位数、标准差、P5/P95 分位数，作为基线参考范围。
4. 固化基线版本：将 Champion 模型的模型文件、配置文件、特征工程代码、基线指标数据一并归档，确保可回溯。

3.4 Champion 模型构建流程

下图展示了从候选模型到 Champion 的完整构建流程，包含离线评估、线上验证与基线固化三个关键阶段。

3.5 基线建立后的持续监控

Champion 模型上线后，基线并非一成不变。由于数据分布漂移（Data Drift）和业务环境变化，Champion 的表现可能随时间衰减。建议建立以下监控机制：

• 每日基线对比：将当日 Champion 的核心指标与基线均值、P5/P95 分位数进行对比，超出阈值则触发告警。
• 周度 Champion 重评估：每周末重新计算过去 7 天的指标均值，与原始基线对比，若衰减超过预设阈值（如 CTR 下降 0.5%），则启动 Challenger 紧急替换流程。
• 月度 Champion 刷新：每月基于最新数据重新训练 Champion 模型，并更新基线，确保模型始终处于最佳状态。

def check_baseline_alert(current_metrics, baseline):
    alerts = []
    for metric, value in current_metrics.items():
        mean = baseline[metric]['mean']
        std = baseline[metric]['std']
        if abs(value - mean) > 3 * std:
            alerts.append(f"{metric} 异常: 当前 {value:.4f}, 基线 {mean:.4f} ± {3*std:.4f}")
    return alerts

# 每日调用
alerts = check_baseline_alert(
    current_metrics={'ctr': 0.0315, 'auc': 0.781},
    baseline={'ctr': {'mean': 0.0321, 'std': 0.0015}, 'auc': {'mean': 0.782, 'std': 0.008}}
)
print(alerts)  # 输出: ['ctr 异常: 当前 0.0315, 基线 0.0321 ± 0.0045']

3.6 Champion 与 Challenger 的基线对比结构

为了更直观地理解 Champion 与 Challenger 在基线中的关系，下图展示了二者在评估指标上的对比框架。

3.7 本章小结

Champion 模型的构建不是一次性的动作，而是一个持续迭代的闭环过程。核心要点总结如下：

• Champion 定义：以业务指标为核心，兼顾模型精度与系统性能，通过线上 A/B 测试验证后确认。
• 评估指标：分层选择（业务层、模型层、系统层），避免单一指标陷阱。
• 基线建立：基于历史数据窗口，计算统计量并固化版本，作为 Challenger 的公平比较基准。
• 持续监控：通过日、周、月三级监控机制，确保 Champion 始终处于最佳状态，及时发现模型衰减。