1. 课程导论：Champion Challenger 模型与 A/B 测试
1.1 什么是 Champion Challenger 模型？
Champion Challenger（冠军挑战者）模型是一种持续优化的决策框架。在生产环境中，当前表现最优的模型或策略被称为 Champion（冠军）；待测试的新模型或策略被称为 Challenger（挑战者）。通过 A/B 测试，用真实流量验证 Challenger 是否显著优于 Champion，从而决定是否替换。
核心思想： 不依赖离线指标，用线上真实用户行为数据做决策，避免“离线 AUC 高、线上效果差”的陷阱。
1.2 什么是 A/B 测试？
A/B 测试是一种统计学实验方法：将用户随机分为两组，分别暴露于 Champion（对照组）和 Challenger（实验组），通过比较两组的关键业务指标（如点击率、转化率、收入）来判断 Challenger 是否有效。
| 角色 | 定义 | 示例 |
|---|---|---|
| Champion（冠军） | 当前线上运行的基准模型/策略 | 现有推荐算法 v2.1 |
| Challenger（挑战者） | 待验证的新模型/策略 | 新推荐算法 v3.0（基于 Transformer） |
| 对照组 | 接收 Champion 服务的用户分组 | 50% 流量，使用 v2.1 |
| 实验组 | 接收 Challenger 服务的用户分组 | 50% 流量，使用 v3.0 |
1.3 核心价值
- 数据驱动决策： 用统计显著性代替“拍脑袋”，降低模型上线风险。
- 持续迭代： 形成“Champion → Challenger → 新 Champion”的闭环，模型永不僵化。
- 量化收益： 直接测算新模型带来的业务增量（如提升 0.5% 转化率 = 年增收 200 万）。
- 风险隔离： 小流量实验，即使 Challenger 效果差，也只影响部分用户，可快速回滚。
1.4 适用场景
| 场景 | Champion | Challenger | 关键指标 |
|---|---|---|---|
| 推荐系统 | 协同过滤模型 | 深度学习排序模型 | 点击率、人均播放时长 |
| 广告竞价 | oCPM 出价策略 | 强化学习自动出价 | ROI、转化成本 |
| 风控模型 | 逻辑回归评分卡 | XGBoost 集成模型 | 召回率、误杀率 |
| 搜索排序 | BM25 文本匹配 | BERT 语义排序 | 搜索点击率、无结果率 |
| 营销策略 | 固定折扣券 | 个性化优惠券 | 核销率、客单价 |
注意： 并非所有场景都适合 A/B 测试。例如：系统架构重构、全量强制更新、无法随机分流的场景，需要采用其他验证方法（如影子测试、灰度发布）。
1.5 课程整体框架
本课程共 30 章，分为四大模块，从理论到实战，覆盖 Champion Challenger 模型 A/B 测试的全流程。
学习路径建议： 初学者建议按模块顺序学习；有 A/B 测试基础的学员可直接从模块二或模块三开始，遇到统计概念时再回看模块一。