4. Champion Challenger 工作流程：策略注册、流量分配、在线评估、自动/手动切换、冠军淘汰与晋升

Champion Challenger 机制的核心在于一套闭环的自动化工作流程。该流程确保新策略能够安全、可控地进入生产环境，并通过数据驱动的评估结果决定其去留。完整的生命周期包含五个关键阶段：策略注册、流量分配、在线评估、自动/手动切换以及冠军淘汰与晋升。

4.1 工作流程总览

下图展示了 Champion Challenger 从注册到最终决策的完整闭环流程。每个阶段都依赖前一阶段的数据输出，形成持续迭代的优化循环。

4.2 策略注册

策略注册是 Champion Challenger 流程的起点。所有候选策略（包括 Champion 和 Challenger）必须在统一的注册中心完成登记，才能参与后续的流量分配和评估。

注册字段	类型	说明	示例
strategy_id	string	全局唯一策略标识	rec_rank_v2_1_0_20250301
version	string	语义化版本号	v2.1.0
model_path	string	模型文件存储路径	hdfs://models/rec_rank_v2.1.0.pkl
params	json	超参数配置	{"lr": 0.01, "depth": 6}
owner	string	负责人/团队	recommendation_team

4.3 流量分配

流量分配模块负责将线上请求按照预设比例路由到 Champion 和 Challenger 策略。分配策略需要兼顾统计显著性和业务风险控制。

4.3.1 分流比例设计

常见的分流比例设计原则如下：

• Champion 占主导：通常 Champion 分配 80%-95% 的流量，保证业务稳定性。
• Challenger 占小比例：Challenger 分配 5%-20% 的流量，用于验证新策略效果。
• 多 Challenger 并行：当有多个 Challenger 时，需在 Champion 和所有 Challenger 之间合理分配流量。

场景	Champion 比例	Challenger A 比例	Challenger B 比例	说明
单 Challenger	90%	10%	-	标准 A/B 测试
双 Challenger	80%	10%	10%	多版本对比
灰度发布	95%	5%	-	低风险验证
Champion 降级	50%	50%	-	Champion 效果不佳时降权

4.3.2 分流路由规则

流量分配需要保证一致性哈希或用户 ID 取模，确保同一用户始终被路由到同一策略，避免用户体验割裂。

# 基于用户 ID 的取模分流示例
def route_strategy(user_id, champion_id, challenger_id, challenger_ratio=0.1):
    hash_value = hash(user_id) % 100
    if hash_value < challenger_ratio * 100:
        return challenger_id
    else:
        return champion_id

4.4 在线评估

在线评估是 Champion Challenger 流程中最关键的环节。系统需要实时收集 Champion 和 Challenger 的线上表现数据，并进行统计检验，判断 Challenger 是否显著优于 Champion。

4.4.1 评估指标

指标类别	指标名称	计算方式	说明
核心业务指标	CTR / CVR	点击/转化次数 ÷ 曝光次数	直接反映策略效果
收入指标	ARPU / GMV	总收入 ÷ 用户数	衡量商业价值
用户体验指标	跳出率 / 停留时长	跳出次数 ÷ 访问次数	反映用户满意度
系统性能指标	P99 延迟 / QPS	百分位延迟 / 每秒查询数	评估系统负载

4.4.2 统计检验

为了确保评估结果的可靠性，必须进行统计显著性检验。常用的方法包括：

• Z 检验：适用于大样本、二项分布指标（如 CTR）。
• T 检验：适用于连续型指标（如停留时长）。
• 贝叶斯方法：提供概率化解释，适合小样本场景。

4.5 自动/手动切换

切换决策是 Champion Challenger 流程的执行环节。根据评估结果，系统可以选择自动切换或手动切换。

4.5.1 自动切换

自动切换适用于低风险、高置信度的场景。当 Challenger 在统计检验中显著优于 Champion，且效果提升超过预设的最小可检测效应（MDE）时，系统自动执行切换。

# 自动切换伪代码
def auto_switch(champion_metric, challenger_metric, p_value, mde=0.02):
    if p_value < 0.05 and (challenger_metric - champion_metric) / champion_metric > mde:
        return "switch_to_challenger"
    elif p_value < 0.05 and (champion_metric - challenger_metric) / champion_metric > mde:
        return "keep_champion"
    else:
        return "continue_testing"

4.5.2 手动切换

手动切换适用于高风险、高影响的场景，如核心推荐算法变更、定价策略调整等。系统生成评估报告，由人工审核后执行切换。

4.6 冠军淘汰与晋升

当切换决策完成后，系统需要更新策略状态，完成 Champion 和 Challenger 的角色变更。

4.6.1 晋升逻辑

• Challenger 晋升为 Champion：新 Champion 接管全部流量，原 Champion 降级为 Challenger 或进入淘汰队列。
• Champion 保留：若 Challenger 未通过评估，Champion 继续保留，Challenger 被淘汰或重新调整后再次挑战。
• 多 Challenger 场景：表现最好的 Challenger 晋升，其余 Challenger 根据排名决定是否保留。

4.6.2 淘汰策略

淘汰条件	处理方式	示例
连续 N 次评估未通过	自动淘汰，移出注册中心	连续 3 次评估 p_value > 0.05
效果显著劣于 Champion	立即淘汰，停止流量分配	CTR 下降超过 5%
超时未完成评估	自动淘汰，释放资源	运行超过 30 天仍未达到样本量
人工标记淘汰	手动移除，记录原因	策略存在明显 bug

4.7 完整流程示例

以下是一个完整的 Champion Challenger 流程示例，展示从注册到晋升的完整链路。

4.8 最佳实践与避坑指南