4. 实验设计原则：随机化、对照原则、样本量计算、最小可检测效应

信用评分模型的 A/B 测试并非简单的“上线-观察-对比”，其结论的可信度完全取决于实验设计是否严谨。本章将深入剖析决定实验成败的四大核心原则：随机化、对照原则、样本量计算与最小可检测效应（MDE）。忽视其中任何一条，都可能导致模型评估失效，甚至将劣质模型误判为优质模型。

4.1 随机化：消除选择偏差的基石

随机化是指将实验单元（如用户、申请件）以纯随机的方式分配到实验组（新模型）和对照组（旧模型）。其核心目标是确保两组在实验开始前，除模型策略外，其他所有特征（如收入、年龄、历史违约率）的分布是统计上等价的。

下图展示了随机化在实验流程中的位置与作用：

4.2 对照原则：建立比较基准

没有对照，就没有比较。对照组的存在是为了隔离模型变更带来的真实效果，排除时间效应、市场波动、季节因素等外部干扰。在信用评分A/B测试中，对照组必须使用当前生产环境中的旧模型，而非空跑或随机决策。

4.3 样本量计算：确保实验有“力气”发现差异

样本量不足是导致A/B测试“假阴性”（即模型有效但统计不显著）的首要原因。样本量计算依赖于四个参数：显著性水平（α）、统计功效（1-β）、最小可检测效应（MDE）以及基线转化率。

在信用评分场景中，核心指标通常是“坏账率”或“逾期率”。以下是样本量估算的常用公式（基于两样本比例检验）：

n = ( (Z_α/2 + Z_β)² × (p₁×(1-p₁) + p₂×(1-p₂)) ) / (p₂ - p₁)²

其中：
  n      = 每组所需样本量
  Z_α/2  = 显著性水平对应的Z值（α=0.05时取1.96）
  Z_β    = 功效对应的Z值（功效=0.8时取0.84）
  p₁     = 对照组预期坏账率（基线）
  p₂     = 实验组预期坏账率（p₁ - MDE）

下表展示了不同参数组合下的样本量需求（假设基线坏账率为5%）：

4.4 最小可检测效应（MDE）：设定实验的“分辨率”

MDE是指在给定的样本量和显著性水平下，实验能够以一定功效（通常80%）检测到的最小真实效果量。MDE越小，实验越灵敏，但所需的样本量也越大。

在信用评分模型A/B测试中，MDE的设定需要平衡业务价值与实验成本：

• 过小的MDE（如0.1%）： 需要海量样本，实验周期过长，可能延误模型迭代节奏。
• 过大的MDE（如3%）： 容易漏掉有实际业务价值的模型提升，导致“假阴性”决策。

下图展示了MDE、样本量与统计功效之间的动态关系：

4.5 四大原则的协同应用

在信用评分模型A/B测试中，四大原则并非孤立存在，而是形成一个完整的决策链条：

1. 业务定标： 确定业务可接受的最小提升幅度（MDE）。
2. 样本规划： 根据MDE、基线指标、α和功效，计算所需样本量。
3. 流量分配： 通过随机化将样本分配到实验组和对照组。
4. 同期对照： 确保两组在实验期间接受完全一致的外部环境。