📚 课程目录第3章实验设计原则

3、实验设计原则：随机化原则、样本量计算、统计功效（Statistical Power）、显著性水平（Alpha）、最小可检测效应（MDE）

在信用评分Champion挑战者实验中，严谨的实验设计是保障结论可靠性的基石。若设计不当，模型迭代可能因样本偏差、统计噪声或样本量不足而得出错误结论，导致风控策略误判。本节围绕五大核心设计原则展开，确保实验既能检测到真实差异，又避免资源浪费。

3.1 随机化原则

随机化是实验设计的“黄金标准”，其核心目标是通过随机分配消除选择偏差和混杂变量的影响。在信用评分场景中，若将优质客户集中分配给Champion模型，而将风险客户分配给挑战者模型，则实验结果将完全失真。

  关键操作： 使用客户ID的哈希值或随机数生成器，将入模样本以独立、等概率的方式分配到Champion组与挑战者组。分配过程必须在模型评分前完成，且不可人为干预。

随机化需满足以下条件：

独立性： 每个客户的分配结果不受其他客户影响。
可重复性： 使用固定种子（Seed）记录随机分配过程，便于后续审计与复现。
分层随机化（可选）： 当样本中存在关键分层变量（如“新客/老客”、“有抵押/无抵押”）时，可先按层分组，再在各组内独立随机分配，以保障层内均衡。

3.2 样本量计算

样本量直接决定实验能否检测到预期的效果差异。样本量过小会导致统计功效不足，无法发现真实存在的模型提升；样本量过大则浪费计算资源与时间成本。样本量计算需依赖以下参数：

参数	符号	说明	信用评分典型值
显著性水平	α	犯第一类错误（假阳性）的概率	0.05
统计功效	1-β	正确拒绝原假设的概率	0.80
最小可检测效应	MDE	两组间能可靠检测到的最小差异	0.5% ~ 2%（拒绝率）
基线拒绝率	p₀	Champion组的预期拒绝率	10% ~ 30%

对于二分类指标（如拒绝率、违约率），样本量计算公式为：

n = ( (Z_α/2 + Z_β)² × (p₀(1-p₀) + p₁(1-p₁)) ) / (p₁ - p₀)²

其中：
  Z_α/2 = 对应显著性水平α的双侧Z值（α=0.05时，Z=1.96）
  Z_β   = 对应功效1-β的单侧Z值（功效=0.80时，Z=0.84）
  p₀    = Champion组基线拒绝率
  p₁    = 挑战者组预期拒绝率（p₁ = p₀ + MDE）
  n     = 每组所需样本量

实战建议： 在信用评分实验中，建议将计算出的样本量上浮20%~30%，以应对样本污染、数据缺失或组间流失不均衡等现实问题。同时，需确保每组样本量不低于10,000笔，以保证统计检验的稳定性。

3.3 统计功效（Statistical Power）

统计功效是指当原假设为假时（即两组真实存在差异），实验能够正确拒绝原假设的概率。功效 = 1 - β，其中β为第二类错误（假阴性）的概率。在信用评分场景中，低功效意味着即使挑战者模型确实优于Champion，实验也可能得出“无显著差异”的错误结论。

影响统计功效的四个核心因素：

样本量（n）： 样本量越大，功效越高。功效与√n成正比。
效应量（Effect Size）： 两组间的真实差异越大，功效越高。MDE越小，所需样本量越大。
显著性水平（α）： α越大（如从0.01放宽到0.05），功效越高，但假阳性风险上升。
数据变异度： 指标方差越小，功效越高。信用评分中，拒绝率方差通常小于违约率方差。

3.4 显著性水平（Alpha）

显著性水平α是实验设计时预先设定的阈值，用于判断观测到的差异是否具有统计显著性。α代表第一类错误（Type I Error）的概率，即当Champion与挑战者模型实际无差异时，错误地得出“有显著差异”结论的风险。

在信用评分实验中，α的选取需权衡业务风险：

α取值	假阳性风险	适用场景	信用评分示例
0.10	10%	探索性实验、低风险策略微调	拒绝率阈值微调（±0.5%）
0.05	5%	标准模型迭代、常规Champion挑战者实验	新评分卡替换旧评分卡
0.01	1%	高风险决策、监管合规相关变更	核心风控模型升级、利率定价调整

常见误区： 不要将p值“四舍五入”到显著性水平附近。若预设α=0.05，则p=0.051应视为不显著，不应因“接近显著”而放宽标准。同时，避免在实验过程中根据结果动态调整α，这会导致多重比较问题。

3.5 最小可检测效应（MDE）

最小可检测效应（Minimum Detectable Effect, MDE）是指在给定α、功效和样本量的条件下，实验能够可靠检测到的两组间最小差异。MDE是实验设计中最具业务意义的参数——它直接回答“挑战者模型需要比Champion好多少，我们才能有把握地发现它”。

MDE的计算公式（二分类指标）：

MDE = (Z_α/2 + Z_β) × √( p₀(1-p₀)/n + p₁(1-p₁)/n )

近似简化（当p₀与p₁接近时）：
MDE ≈ (Z_α/2 + Z_β) × √( 2 × p₀(1-p₀) / n )

信用评分实验中MDE的典型设定：

拒绝率指标： MDE通常设为0.5%~2%（绝对值）。例如，Champion组拒绝率为15%，挑战者组需达到13.5%或16.5%才能被检测到。
违约率指标： MDE通常设为0.1%~0.5%（绝对值），因为违约率基数较低（通常<5%），且业务对违约率变化更敏感。
KS/AUC指标： MDE通常设为0.01~0.03（即1~3个百分点），因为模型区分力的提升通常较为平缓。

  设计策略： 在实验规划阶段，建议先确定业务可接受的最小提升幅度（即MDE），再反推所需样本量。例如，若业务要求挑战者模型的拒绝率至少降低1%才值得切换，则MDE=1%，据此计算样本量。切勿先定样本量再计算MDE，这可能导致实验对业务有意义的差异不敏感。

3.6 五大原则的协同关系

上述五大原则并非孤立存在，而是相互制约、共同决定实验设计的可行性。下表总结了它们之间的联动关系：

调整方向	样本量	统计功效	显著性水平α	MDE	业务影响
增大样本量	↑	↑	不变	↓（可检测更小差异）	成本增加，周期延长
放宽α（如0.05→0.10）	↓（所需样本减少）	↑	↑	↓	假阳性风险上升
降低功效要求（如0.80→0.70）	↓	↓	不变	↑（可检测差异变大）	漏检真实差异的风险上升
设定更小的MDE	↑↑（样本量大幅增加）	不变	不变	↓	能捕捉微小提升，但成本激增

在实际信用评分Champion挑战者实验中，建议按以下顺序确定设计参数：

确定业务目标： 明确实验要优化的核心指标（拒绝率/违约率/KS）及期望提升幅度（即MDE）。
设定统计标准： 固定α=0.05，功效=0.80作为行业标准基线。
计算样本量： 使用公式或统计软件（如Python的statsmodels、R的pwr包）计算每组所需样本量。
评估可行性： 若计算出的样本量超出可用数据量或时间窗口，则需与业务方协商放宽MDE或调整α。
执行随机化： 按3.1节原则完成样本分配，并记录分配日志以备审计。

Python计算示例： 使用statsmodels库快速计算样本量或MDE。

import statsmodels.stats.api as sms

# 参数设定
effect_size = 0.01  # MDE = 1%（绝对值）
alpha = 0.05
power = 0.80
p0 = 0.15  # Champion组基线拒绝率 15%

# 计算所需样本量（每组）
n = sms.NormalIndPower().solve_power(
    effect_size=sms.proportion_effectsize(p0, p0 + effect_size),
    nobs1=None,
    alpha=alpha,
    power=power,
    ratio=1.0,
    alternative='two-sided'
)
print(f"每组所需样本量: {int(round(n))}")

# 若已有样本量，反算MDE
n_existing = 10000
mde = sms.NormalIndPower().solve_power(
    effect_size=None,
    nobs1=n_existing,
    alpha=alpha,
    power=power,
    ratio=1.0,
    alternative='two-sided'
)
print(f"可检测的最小效应量: {mde:.4f}")

通过严格遵循上述五大设计原则，信用评分Champion挑战者实验将具备可靠的统计基础，为模型迭代决策提供坚实的数据支撑，避免因实验设计缺陷导致的错误判断与资源浪费。