2、实验设计原则：随机化原则、控制变量法、样本外验证、时间外验证、统计显著性检验
Champion对照实验的核心在于通过严谨的实验设计，排除干扰因素，客观衡量新模型（Challenger）相较于旧模型（Champion）的真实性能差异。本章围绕五大设计原则展开，确保实验结论的可靠性与可复现性。
2.1 五大原则概览
| 原则 | 核心目的 | 关键操作 |
|---|---|---|
| 随机化原则 | 消除选择偏差，保证实验组与对照组可比 | 随机分配样本至Champion/Challenger组 |
| 控制变量法 | 隔离模型变更这一唯一变量 | 保持特征工程、决策阈值、拒绝策略不变 |
| 样本外验证 | 评估模型在未见数据上的泛化能力 | 使用时间截断点后的样本进行测试 |
| 时间外验证 | 检验模型在跨时间周期上的稳定性 | 使用不同经济周期或政策窗口期的样本 |
| 统计显著性检验 | 判断性能差异是否由随机波动引起 | 计算KS/AUC差异的p值或置信区间 |
2.2 随机化原则
随机化是实验设计的基石。在信用评分卡对照实验中，通常采用客户级随机分流：将申请或存量客户以随机数种子（如客户ID哈希值）按比例（如50%/50%）分配到Champion组与Challenger组。随机化能有效平衡两组在收入、负债、历史逾期等已知与未知混杂因素上的分布，避免系统性偏差。
实操要点： 随机分流必须在模型评分之前执行，且分流逻辑需固化在决策引擎中。严禁根据评分结果事后分组，否则将引入严重的选择偏差。
2.3 控制变量法
除模型本身外，所有影响决策的环节必须保持一致。控制变量清单如下：
- 特征输入： 同一套衍生变量、缺失值填充规则、异常值截断逻辑。
- 决策阈值： Champion与Challenger使用相同的通过/拒绝分数切点。
- 拒绝策略： 对拒绝客户的人工复核规则、复议流程完全一致。
- 外部环境： 实验期间不并行上线其他风控策略或产品参数调整。
常见陷阱： 若Challenger模型上线时同时调整了额度策略，则无法区分性能提升来自模型还是额度。务必通过开关实验隔离变更。
2.4 样本外验证与时间外验证
这两种验证方式共同构成了模型性能评估的双保险：
- 样本外验证： 使用开发样本之后的时间窗口数据（如T+1月），检验模型对新申请客户的区分能力。避免使用训练集内样本进行对比。
- 时间外验证： 选取至少跨越一个完整经济周期（如12-24个月）的样本，评估模型在利率波动、政策收紧等宏观变化下的稳定性。时间外验证通常使用滚动窗口回测。
2.5 统计显著性检验
即使Challenger的KS或AUC在数值上高于Champion，也不能直接判定其更优。必须通过统计检验排除随机波动的影响。常用方法包括：
- Delong检验： 用于比较两个模型AUC的差异是否显著，适用于独立或配对样本。
- Bootstrap置信区间： 对KS/AUC差异进行Bootstrap重采样（如1000次），计算95%置信区间。若区间不包含0，则认为差异显著。
- 配对t检验： 适用于同一批样本上两个模型预测误差的均值比较。
显著性水平设定： 在风控场景中，通常取α=0.05作为显著性阈值。若p值小于0.05，则拒绝“两模型性能无差异”的原假设，认为Challenger显著优于Champion。对于高风险场景（如反欺诈），可收紧至α=0.01。
2.6 实验设计完整流程
- 定义实验目标： 明确提升指标（如KS提升0.03以上）与可接受风险（如坏账率不上升）。
- 随机分流： 按客户ID哈希值将申请流量随机分为Champion组与Challenger组。
- 固定控制变量： 锁定特征、阈值、策略，仅替换模型评分卡。
- 执行样本外验证： 收集至少1-3个月的线上表现数据，计算KS/AUC/PSI。
- 执行时间外验证： 回测历史12-24个月数据，评估跨周期稳定性。
- 统计检验： 对关键指标差异进行Delong检验或Bootstrap置信区间计算。
- 决策： 若Challenger在样本外与时间外均显著优于Champion，且PSI小于0.1，则批准上线。
2.7 常见避坑清单
- 幸存者偏差： 仅用通过客户评估模型，忽略拒绝客户的“反事实”表现。应使用拒绝推断技术修正。
- 数据泄露： 训练集包含未来信息（如T+1的逾期标签用于T0的模型训练）。务必严格按时间顺序切分。
- 多重比较问题： 同时比较多个Challenger模型时，需对p值进行Bonferroni校正或FDR控制。
- PSI监控缺失： 即使性能显著，若PSI大于0.1，说明模型分布已发生漂移，上线后可能快速衰减。