1. 课程导入
在信贷业务中，策略迭代最常见的困境不是“没有想法”，而是“无法证明哪个想法更好”。当风控团队提出一套新的授信规则时，业务方往往会问三个问题：新策略真的比旧策略更优吗？提升来自策略本身，还是来自客群变化、季节波动或渠道结构？如果新策略表现不佳，我们能否在造成实质损失前及时止损？Champion Challenger 对照实验正是回答这三个问题的工程化方法。本课程的第一章不急于讲模型和代码，而是先建立一张完整的认知地图：我们要学什么、为什么值得学、整体框架长什么样、以及从零到落地要经过哪些关键节点。
一、学习目标：从“会跑实验”到“会做决策”
本课程的学习目标分为四个层次，层层递进，最终指向一个能力——用实验证据驱动授信策略决策。
- 认知层：理解 Champion Challenger 的本质是受控对照实验，而非简单的 A/B 测试换皮。掌握处理组、对照组、分流单元、观测窗口、决策指标等核心概念。
- 方法层：能够独立设计一份授信策略对照实验方案，包括实验假设、分流比例、样本量估算、通过率与风险指标的平衡、以及统计显著性判断。
- 工程层：掌握策略分流、实验埋点、指标回流、效果评估的完整链路，能够用配置和代码实现可复现的实验流程。
- 决策层：能够基于实验结果做出“全量切换、继续观察、回滚、或分群差异化”的决策，并输出可被业务和审计接受的实验报告。
一句话概括学习目标：让你从“凭经验调策略”升级为“用实验证据做策略”，并且这套证据经得起业务、风控和合规的三重追问。
二、核心价值：为什么授信策略必须做对照实验
授信策略直接决定“给谁放款、放多少、什么价格”。它的每一次调整都同时影响通过率、逾期率、营收和客户体验。没有对照实验，策略迭代就会陷入三种典型风险。
- 归因错误：新策略上线后逾期率下降，可能只是因为当期进件客群整体资质变好，而非策略更优。没有对照组，无法剥离客群变化的影响。
- 决策滞后：全量上线后才发现问题，损失已经发生。对照实验允许在小流量下先验证，把风险控制在可接受范围内。
- 无法复盘：策略效果好坏缺乏量化证据，团队之间容易陷入“我觉得”和“我认为”的争论，无法沉淀组织能力。
Champion Challenger 的核心价值在于：用随机分流构造可比对照组，用统一指标口径量化策略差异，用统计判断控制决策错误率。它让策略迭代从艺术变成可管理、可审计、可复制的工程过程。
三、整体框架：一个实验的五个核心组件
无论实验规模大小，一个完整的 Champion Challenger 实验都包含五个组件。理解这五个组件，就理解了本课程后续所有章节的骨架。
| 组件 | 核心问题 | 关键产出 |
|---|---|---|
| 实验假设 | 我们相信新策略在哪个指标上会更好？好多少？ | 可证伪的假设陈述与目标指标 |
| 分流设计 | 如何随机、稳定、可追溯地把客户分到 Champion 和 Challenger？ | 分流规则、分流比例、分流键 |
| 策略执行 | 两套策略如何并行运行且互不干扰？ | 策略配置、决策日志、版本管理 |
| 指标观测 | 用哪些指标、在什么窗口内、如何回流？ | 指标定义、观测窗口、数据表 |
| 决策规则 | 达到什么条件切换、回滚或继续观察？ | 决策阈值、显著性判断、上线/回滚流程 |
这五个组件不是线性顺序，而是相互约束。例如，分流比例会影响样本量和观测周期，观测周期又会影响决策规则的设定。本课程会逐一拆解，并在实战章节中把它们串成完整链路。
四、实战路线图：从准备到决策的七个阶段
为了让学习路径清晰，我们把整个实战过程划分为七个阶段。每个阶段都有明确的输入、动作和输出，避免“上来就写代码”的混乱。
阶段一：业务问题定义
→ 明确要优化的指标（通过率 / 逾期率 / 营收 / 综合收益）
→ 输出：实验目标与约束条件
阶段二：实验方案设计
→ 确定 Champion 与 Challenger 策略差异点
→ 设计分流比例、样本量、观测窗口
→ 输出：实验设计文档
阶段三：数据与埋点准备
→ 确认分流键、决策日志、表现期数据可用
→ 输出：数据字典与埋点清单
阶段四：策略配置与分流实现
→ 配置两套策略版本，实现稳定分流
→ 输出：可运行的实验配置
阶段五：实验运行与监控
→ 监控分流均衡性、指标异常、数据延迟
→ 输出：实验健康度日报
阶段六：效果评估与统计判断
→ 计算核心指标差异、置信区间、显著性
→ 输出：实验评估报告
阶段七：决策与沉淀
→ 全量切换 / 回滚 / 继续观察 / 分群差异化
→ 输出：决策记录与策略版本归档学习建议：在后续章节中，每当你学到具体方法时，都回到这张路线图，问自己“我现在处于哪个阶段？这个阶段的输入和输出是什么？”这样能避免陷入技术细节而失去全局感。
五、常见误区：初学者最容易踩的四个坑
在正式进入方法细节之前，先建立“避坑意识”。以下四个误区在授信策略实验中极为常见，且往往导致实验结论不可信。
- 误区一：分流不随机或随机不稳定。用客户号取模看似随机，但如果客户号生成规则与风险相关，就会引入偏差。正确做法是使用独立的分流键并保证同一客户每次进入同一组。
- 误区二：观测窗口不一致。Champion 组用 30 天表现期，Challenger 组用 60 天，逾期率自然不可比。必须统一表现期定义和账龄口径。
- 误区三：只看通过率不看风险。新策略通过率提升 5%，但逾期率上升 20%，综合收益可能为负。实验必须同时观测收益与风险指标。
- 误区四：过早下结论。实验运行三天就宣布 Challenger 胜出，忽略了样本量不足和表现期未成熟。决策必须等待观测窗口结束并做统计判断。
特别提醒：授信策略实验涉及真实资金和客户权益。任何实验都必须在合规框架内进行，确保不因实验分组而对客户造成不公平对待，并保留完整的决策日志以备审计。