4. 实验设计原则：单一变量原则、样本量计算、最小可检测效应、实验周期确定

在风控策略的 A/B 测试中，实验设计的质量直接决定了结论的可靠性与可复用性。一个设计不当的实验，即使运行了数周，也可能得出误导性的结论，导致策略误判与资金损失。本节围绕四个核心设计原则展开，确保实验具备统计效力与业务可解释性。

4.1 单一变量原则

单一变量原则（One-Factor-at-a-Time, OFAT）要求实验组与对照组之间仅存在一个策略变量的差异。这是因果推断的基石：只有控制其他条件完全一致，才能将效果差异归因于该变量。

在风控策略实验中，单一变量通常指：

• 规则参数：如某条规则的通过阈值从 0.6 调整为 0.7。
• 模型版本：如从 v2.1 升级到 v2.2，其他规则不变。
• 策略流程：如调整规则执行顺序，但规则内容不变。
• 决策逻辑：如从“一票否决”改为“加权评分”，但规则集不变。

4.2 样本量计算

样本量不足会导致实验无法检测到真实存在的效果差异（统计功效不足）；样本量过大则浪费流量与时间。样本量计算的核心输入包括：显著性水平（α）、统计功效（1-β）、最小可检测效应（MDE）以及基线转化率。

对于风控策略中常见的二分类指标（如逾期率、通过率），样本量计算公式为：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
n      = 每组所需样本量
Z_α/2  = 显著性水平对应的 Z 值（α=0.05 时取 1.96）
Z_β    = 统计功效对应的 Z 值（β=0.2 时取 0.84）
p₁     = 对照组预期转化率（如通过率 0.85）
p₂     = 实验组预期转化率（p₁ + MDE）

4.3 最小可检测效应

最小可检测效应（Minimum Detectable Effect, MDE）是实验设计中最具业务含义的参数。它表示在给定样本量和统计设定下，实验能够以 80% 的概率检测到的最小真实效果差异。

MDE 与样本量呈反比关系：样本量越大，可检测的效应越小。在风控场景中，MDE 的设定需要平衡统计可行性与业务价值：

• 过小的 MDE（如 0.1%）：需要极大样本量，实验周期过长，可能错过策略迭代窗口。
• 过大的 MDE（如 5%）：容易检测，但可能忽略掉有实际业务价值的微小改善。
• 推荐做法：以业务容忍度或成本收益分析为基准，设定 MDE。例如，逾期率降低 0.3% 即可覆盖策略开发成本，则 MDE 设为 0.3%。

4.4 实验周期确定

实验周期需要同时满足统计充分性与业务完整性两个维度。仅达到样本量要求是不够的，还必须覆盖完整的行为周期，避免时间偏差。

确定实验周期的三个关键约束：

1. 样本量约束：根据 4.2 节计算所需样本量，结合日均流量估算最小天数。例如，需要 6,300 个样本，日均流量 500，则至少需要 13 天。
2. 周期完整性约束：必须覆盖至少一个完整的业务周期。对于信贷风控，通常需要覆盖完整的周（7 天）和完整的月（30 天），以消除星期效应和月末效应。
3. 结果观测窗口：风控策略的效果往往需要时间才能体现。例如，逾期率需要等待至少一个还款周期（如 30 天）才能准确观测。实验周期必须包含这个观测窗口。

4.5 四个原则的协同应用

在实际风控策略 A/B 测试中，四个原则需要协同考虑，缺一不可。以下是一个典型的设计流程：

1. 明确实验变量：确定本次实验只改变一个策略参数（单一变量原则）。
2. 设定 MDE：与业务方确认最小可检测效应，例如逾期率降低 0.5%。
3. 计算样本量：基于基线指标、MDE、α=0.05、功效=0.80，计算每组所需样本量。
4. 确定实验周期：取“样本量所需天数”与“完整业务周期（如 30 天）”的较大值。
5. 预留缓冲：在计算周期基础上增加 20% 的缓冲天数，应对流量波动或数据延迟。