📚 课程目录第4章对比实验流程总览

4. 对比实验流程总览：Champion Challenger 对比实验的完整生命周期

Champion Challenger 对比实验并非一次性开发任务，而是一个覆盖设计、开发、部署、监控与决策的完整闭环。只有理解每个阶段的核心目标与交付物，才能确保对比实验真正驱动模型迭代与业务优化。

4.1 生命周期全景

完整的 Champion Challenger 生命周期包含 5 个阶段，每个阶段都有明确的输入、输出与关键检查点。下表总结了各阶段的核心任务与参与角色：

阶段	核心任务	关键交付物	主要参与角色
设计	定义实验目标、选择对比指标、确定分流策略	实验设计方案、指标定义文档	风控策略、业务、数据科学
开发	构建 Challenger 模型、开发实验管道、配置分流逻辑	Challenger 模型、实验代码、配置脚本	数据科学、机器学习工程
部署	上线 Champion 与 Challenger、灰度放量、数据采集	线上实验版本、实时监控看板	机器学习工程、运维、风控策略
监控	实时跟踪指标、异常检测、数据质量校验	监控报告、异常告警记录	风控策略、数据科学、运维
决策	统计检验、效果评估、决定 Champion 切换或 Challenger 淘汰	实验总结报告、模型切换决策	风控策略、数据科学、业务

实践要点：设计阶段最容易忽略的是“实验终止条件”。建议在实验启动前就明确：当 Challenger 在某个核心指标上以 95% 置信度优于 Champion 时，提前终止并切换；当 Challenger 连续 7 天劣于 Champion 时，提前淘汰。

4.2 设计阶段：定义实验框架

设计阶段是实验成功的基石。需要完成以下 4 项关键工作：

明确实验目标：是提升通过率、降低坏账率，还是优化响应速度？目标必须可量化。
选择对比指标：至少包含 1 个核心指标（如 KS、AUC、坏账率）和 2-3 个辅助指标（如拒绝率、响应时间、稳定性）。
确定分流策略：按用户 ID 哈希、时间片轮转还是分层分流？需保证 Champion 与 Challenger 的样本分布一致。
设定样本量：基于预期效果提升幅度和统计功效，计算最小样本量，避免实验周期过长或结果不可信。

  设计阶段常见陷阱：只关注模型指标（如 AUC）而忽略业务指标（如通过率、逾期率）。模型 AUC 提升 0.02 但通过率下降 5%，在业务上可能是负收益。务必在实验方案中同时追踪模型指标与业务指标。

4.3 开发阶段：构建实验管道

开发阶段的核心是构建可复用的实验管道，确保 Champion 与 Challenger 在相同的数据流和计算环境中运行。关键开发任务包括：

Challenger 模型开发：基于最新样本训练、调参、验证，确保模型质量达到上线标准。
实验管道配置：在模型服务框架中配置分流逻辑，支持 Champion 与 Challenger 同时在线。
数据埋点：确保两个模型的所有决策日志、特征数据、结果标签都被完整记录，用于后续分析。
回滚机制：部署前必须准备 Champion 的快速回滚方案，应对 Challenger 上线后的突发异常。

# 实验管道配置示例（伪代码）
experiment_config = {
    "experiment_id": "cc_v2_loan_approval",
    "champion": {
        "model_path": "models/loan_model_v1.pkl",
        "weight": 0.7  # 70% 流量
    },
    "challenger": {
        "model_path": "models/loan_model_v2.pkl",
        "weight": 0.3  # 30% 流量
    },
    "routing": {
        "strategy": "user_id_hash",
        "hash_range": [0, 100]
    },
    "logging": {
        "output_topic": "experiment_logs",
        "fields": ["user_id", "model_version", "score", "decision", "timestamp"]
    }
}

4.4 部署阶段：灰度上线与数据采集

部署阶段采用灰度放量策略，逐步增加 Challenger 的流量比例，同时密切观察系统稳定性与数据质量。

推荐的灰度放量步骤：

内部验证（1% 流量）：仅对内部白名单用户或测试账号开放，验证模型服务无报错、延迟正常。
小流量验证（5% 流量）：对真实用户开放，持续 1-2 天，检查数据埋点完整性、指标波动是否在预期范围内。
正式实验（30% 流量）：按设计方案分配流量，启动正式对比实验，进入监控阶段。

部署风险提示：Challenger 上线初期可能出现特征缺失、模型加载失败、评分异常等“冷启动”问题。建议在部署前对 Challenger 进行离线回测，确保其在历史数据上的表现与 Champion 可比，且无极端异常值。

4.5 监控阶段：实时跟踪与异常检测

监控阶段是实验的生命线。需要建立实时监控看板，跟踪以下 3 类指标：

指标类别	具体指标	监控频率	异常阈值
模型性能	KS、AUC、PSI（群体稳定性指标）	每日	PSI > 0.1 触发告警
业务效果	通过率、坏账率、逾期率	每日	通过率波动 > 5% 触发告警
系统健康	模型响应时间、服务可用率、数据延迟	实时	P99 延迟 > 500ms 触发告警

监控阶段还需要定期进行数据质量校验，确保 Champion 与 Challenger 的输入特征分布一致，避免因数据漂移导致对比结果失真。

4.6 决策阶段：统计检验与模型切换

决策阶段是实验的终点，也是模型迭代的起点。基于监控阶段积累的数据，进行以下 4 步决策流程：

统计检验：对核心指标进行假设检验（如 t 检验、卡方检验），确认 Challenger 的改善是否具有统计显著性（p < 0.05）。
效果评估：综合核心指标与辅助指标，评估 Challenger 的整体业务价值，包括预期收益、风险变化、实施成本。
决策输出：
- 切换：Challenger 显著优于 Champion，且无副作用，将 Challenger 提升为新的 Champion。
- 保留：Challenger 与 Champion 无显著差异，保留 Champion，Challenger 进入候选池。
- 淘汰：Challenger 劣于 Champion 或存在风险，直接淘汰。
归档总结：撰写实验总结报告，记录实验设计、结果、经验教训，为后续实验提供参考。

  决策阶段的关键原则：不要只看“统计显著”，还要看“业务显著”。即使 p < 0.05，如果 Challenger 的提升幅度只有 0.1%，而切换成本很高，可能不值得切换。建议在实验方案中预先设定“最小可接受提升幅度”（如坏账率降低 0.5% 以上才考虑切换）。

4.7 生命周期流程图

下图展示了 Champion Challenger 对比实验的完整生命周期，从设计到决策形成闭环，并持续迭代：

4.8 生命周期中的关键决策点

在实验生命周期中，有 3 个关键决策点需要特别关注：

决策点	触发条件	决策选项	影响
提前终止（正向）	Challenger 在核心指标上连续 3 天显著优于 Champion	提前切换 / 继续观察	缩短实验周期，快速获取收益
提前终止（负向）	Challenger 在核心指标上连续 3 天显著劣于 Champion	立即淘汰 / 降低流量	避免业务损失，保护用户体验
正常结束	达到预设实验周期或样本量	切换 / 保留 / 淘汰	基于完整数据做出最终决策

最佳实践：建议在实验监控看板上设置“决策仪表盘”，实时显示 Champion 与 Challenger 的核心指标对比、置信区间、以及当前处于哪个决策区域（切换区、观察区、淘汰区）。这能帮助团队快速做出数据驱动的决策，避免主观判断。

通过以上 5 个阶段的闭环管理，Champion Challenger 对比实验不再是孤立的模型评估活动，而是融入风控模型持续迭代体系的核心机制。每个实验的结束，都是下一个实验的开始。