3. 实验设计原则：随机化原则、样本量计算、统计功效、显著性水平设定

在信用评分 Champion 对照实验中，实验设计的质量直接决定了结论的可靠性与可推广性。一个设计不当的实验可能得出虚假的正向结论，导致模型误上线，造成信贷损失。本章围绕四个核心原则展开：随机化、样本量计算、统计功效与显著性水平。

3.1 随机化原则

随机化是消除选择偏差与混杂因素的基石。在信用评分场景中，随机化意味着将申请流量或客户群体以纯随机方式分配到 Champion（现行模型）与 Challenger（新模型）两组。

常见的随机化单元与适用场景：

3.2 样本量计算

样本量不足会导致实验无法检测到真实存在的差异，样本量过大则浪费计算资源与业务流量。信用评分实验中，样本量计算通常基于 两独立样本比例检验 或 两独立样本均值检验。

核心输入参数：

• 基准转化率/坏账率 (p₁)：Champion 模型当前表现
• 最小可检测效果 (MDE, δ)：业务认为有意义的最小提升（如坏账率降低 0.5%）
• 显著性水平 (α)：通常设为 0.05
• 统计功效 (1-β)：通常设为 0.80

比例检验样本量公式（每组）：

n = ( (Z_α/2 + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) ) / (p₂ - p₁)²

其中：
  p₁ = Champion 坏账率
  p₂ = p₁ - δ（预期 Challenger 坏账率）
  Z_α/2 = 1.96（α=0.05 双侧）
  Z_β = 0.84（功效=0.80）

3.3 统计功效

统计功效 (Statistical Power) 是指当备择假设为真时，正确拒绝原假设的概率，即 1 - β。在信用评分实验中，功效低意味着即使 Challenger 模型确实优于 Champion，实验也可能得出“无显著差异”的错误结论。

影响功效的主要因素：

3.4 显著性水平设定

显著性水平 (α) 是原假设为真时错误拒绝它的概率，即假阳性率。在信用评分场景中，α 的设定需要平衡业务风险与创新成本。

不同场景的 α 建议：

• 风险模型（坏账率、违约率）：α = 0.01 或 0.05，严格控制假阳性，避免错误上线更差的模型
• 响应模型（转化率、通过率）：α = 0.05 或 0.10，可适当放宽，鼓励创新
• 辅助指标（计算时间、拒绝率）：α = 0.05，常规标准

3.5 四原则关系图

以下 SVG 图展示了四个原则之间的依赖关系与实验设计流程：

3.6 实验设计检查清单

在启动 Champion 对照实验前，请逐项确认以下要点：