1. 课程导论与背景

信用评分在金融风控中的核心地位

信用评分是金融风控体系的数字基石。它将借款人的还款意愿与还款能力量化为一个可排序、可决策的分数，直接影响信贷审批、额度授予、利率定价与贷后管理。一个高区分度的评分模型，能显著降低坏账率、提升通过率，从而在风险与收益之间找到最优平衡点。

信用评分在风控流程中的关键作用体现在以下环节：

为什么需要A/B测试来验证模型迭代效果

传统模型验证方法（如时间序列回测、跨时间窗口验证）存在固有缺陷：

• 时间偏移： 宏观经济、客群结构随时间变化，历史表现不能完全代表未来。
• 样本偏差： 回测使用的样本与线上实时流量分布可能不一致。
• 策略联动： 模型分数变化会触发审批、额度等策略调整，单一离线指标无法反映系统级影响。

A/B测试（在线对照实验）通过将真实流量随机分为实验组与对照组，在同一时间窗口、同一客群环境下对比新模型（Challenger）与旧模型（Champion）的业务效果，从而获得因果推断级别的验证结论。

Champion vs Challenger实验的基本概念

Champion vs Challenger（冠军挑战者）是金融风控领域最经典的模型迭代实验框架：

• Champion（冠军模型）： 当前线上正在运行的、经过验证的信用评分模型，作为实验的基准对照组。
• Challenger（挑战者模型）： 新开发的、预期表现更优的候选模型，作为实验组。
• 实验目标： 在统计显著性水平下，验证 Challenger 在关键业务指标上是否显著优于 Champion。

实验流程通常包含以下步骤：

1. 流量分桶： 将线上申请流量随机分为 Champion 组（如 50%）和 Challenger 组（如 50%）。
2. 并行评分： 两组流量分别使用对应模型计算信用评分。
3. 策略执行： 基于各自评分执行统一的审批、额度、利率策略。
4. 指标监控： 实时追踪通过率、坏账率、逾期率、平均额度等核心指标。
5. 统计检验： 使用 t 检验或卡方检验判断差异是否显著。
6. 决策上线： 若 Challenger 显著胜出，则全量切换为新模型；否则继续迭代。

实验设计中的关键参数