2. 实验设计原则

在信用评分Champion模型对照实验中，严谨的实验设计是结论可信的基石。若设计存在缺陷，即使模型表现优异，也难以归因于模型本身的改进。本节围绕四个核心原则展开：随机化、样本量估算、统计功效与显著性水平、实验周期设定。

2.1 随机化原则

随机化是消除选择偏差、确保实验组（Champion模型）与对照组（Challenger模型）在除模型外其他因素上可比的关键手段。在信用评分场景中，随机化通常应用于样本分配与流量切分两个层面。

常见随机化策略对比

2.2 样本量估算

样本量不足会导致实验无法检测到真实存在的差异（假阴性），而样本量过大则浪费计算资源与时间。样本量估算需基于以下参数：

• 效应量（Effect Size）：预期Champion与Challenger模型在关键指标（如KS、AUC、坏账率）上的最小可检测差异。
• 显著性水平（α）：通常设为0.05，即犯第一类错误（假阳性）的概率。
• 统计功效（1-β）：通常设为0.80，即正确拒绝原假设的概率。
• 指标类型：连续型指标（如评分均值）与二分类指标（如逾期率）的公式不同。

常用样本量估算公式

2.3 统计功效与显著性水平

统计功效与显著性水平是实验设计的“双刃剑”，需要在资源约束下取得平衡。

• 显著性水平（α）：控制假阳性风险。在信用评分实验中，α通常设为0.05或0.01。若模型上线成本极高（如影响全量用户授信），建议采用更严格的α=0.01。
• 统计功效（1-β）：控制假阴性风险。功效不足时，可能错过一个真正更优的模型。建议功效不低于0.80，关键实验应达到0.90。

2.4 实验周期设定

实验周期直接影响样本量的积累与结论的时效性。周期过短可能无法覆盖完整的信贷周期（如账单日、还款日），周期过长则延迟模型迭代节奏。

周期设定需考虑的因素

1. 业务周期完整性：至少覆盖一个完整的“申请→审批→首期还款”周期，通常为30~45天。
2. 样本量达标时间：根据日均申请量与样本量估算结果，反推所需天数。
3. 季节性效应：避开春节、双十一等极端流量波动期，或将其纳入分层变量。
4. 模型稳定性窗口：Champion模型若近期有调整，需等待稳定后再启动实验。

典型实验周期参考

2.5 原则综合应用示例

假设某消费金融公司计划验证新模型（Challenger）是否优于当前模型（Champion），关键指标为首期逾期率（FPD30）。实验设计如下：

• 随机化：按用户风险等级（优质/标准/次级）分层，每层内用申请ID哈希取模分配，比例50%:50%。
• 样本量：预期FPD30从3.0%降至2.5%，α=0.05，功效=0.80，计算得每组需13,500个样本。日均申请量1,500，预计18天达标。
• 周期：考虑首期还款需30天，设定实验周期为45天（18天积累 + 30天观察 + 缓冲）。
• 监控：每7天进行一次中期检验，使用序贯检验方法控制α膨胀。