实验设计原则：随机化、独立性、周期与干扰控制
A/B 测试在风控场景中的可信度，取决于实验设计是否严格遵循统计学基本原则。忽略其中任何一条，都可能导致效果误判、策略上线后回退甚至资损。本章围绕四条核心原则展开：随机化、样本独立性、实验周期确定、干扰因素控制（Novelty Effect / Primacy Effect）。
核心观点： 风控 A/B 测试不是“跑个流量看看结果”，而是通过设计消除系统性偏差，让实验组与对照组之间的唯一差异就是策略本身。
1. 随机化原则
随机化是 A/B 测试的基石。它确保每个实验单元（用户、设备、订单）在进入实验组或对照组时，概率相等且独立于任何已知或未知的混淆变量。
- 目的： 消除选择偏差，使两组在实验前“统计等价”。
- 风控场景特殊要求： 不能按“风险高低”或“历史逾期”直接分组，否则会引入系统性差异。
- 实现方式： 使用用户 ID 或设备 ID 的哈希取模、UUID 随机分配，或基于时间戳的伪随机序列。
| 分组方式 | 是否随机 | 风控场景风险 |
|---|---|---|
| 按用户 ID 哈希取模 | 是 | 低，稳定且可复现 |
| 按注册时间奇偶 | 否 | 高，新老用户行为差异大 |
| 按历史逾期次数 | 否 | 极高，直接引入偏差 |
| 纯随机数发生器 | 是 | 低，需保证种子一致 |
实践检查点： 在实验启动前，对两组的关键前验指标（如近 30 天逾期率、平均授信额度）做显著性检验（t 检验或卡方检验）。若 p < 0.05，说明随机化失败，需重新分流。
2. 样本独立性
样本独立性要求：一个实验单元的响应不受其他实验单元是否接受处理的影响。在风控场景中，这一点极易被违反。
- 网络效应（Network Effect）： 同一设备、同一 IP、同一家庭账户之间存在交互。例如，实验组用户逾期后，对照组用户可能因“共债风险”被连带影响。
- 干扰（Interference）： 风控策略调整可能改变用户行为，进而影响对照组用户的决策环境。
风控特例： 在反欺诈场景中，如果实验组对某类欺诈交易拦截成功，欺诈团伙可能转向对照组用户，导致对照组“被动变差”。此时两组不再独立，实验结论失效。
缓解方案：
- 使用 集群随机化（Cluster Randomization）：以设备簇、家庭、社交网络为单位进行分组。
- 在分析阶段使用 Huber-White 稳健标准误，或进行 置换检验（Permutation Test）。
3. 实验周期确定
实验周期过短，无法覆盖完整的行为周期；周期过长，则面临环境变化和成本压力。风控实验周期需考虑以下因素：
| 因素 | 说明 | 建议最低周期 |
|---|---|---|
| 业务周期 | 覆盖完整的放款-还款周期 | 至少 1 个完整账期（如 30 天） |
| 样本量收敛 | 达到统计功效所需的最小样本量 | 根据功效分析计算 |
| 季节性 | 避免节假日、促销期等异常时段 | 跨周或跨月运行 |
| 新奇效应衰减 | 用户对新策略的短期反应消退 | 至少 2 周 |
经验法则： 风控策略实验不建议短于 14 天。对于涉及信用评估或催收策略的实验，建议至少运行 1 个完整账期（30 天）再加 7 天缓冲期。
4. 避免干扰因素：Novelty Effect 与 Primacy Effect
用户行为会因“策略变化”本身而产生短期波动，而非策略的真实长期效果。这是风控实验中最容易被忽视的偏差来源。
- 新奇效应（Novelty Effect）： 用户对新策略感到新鲜或好奇，短期内行为异常（如更积极还款或更频繁借款）。
- 首因效应（Primacy Effect）： 用户对旧策略形成习惯，新策略初期因不适应而导致效果被低估。
控制方法：
- 延长实验周期： 至少运行 2–4 周，观察效果是否稳定。
- 分段分析： 按周或按日计算效果指标，绘制趋势线。若前两周效果与后两周差异显著，则存在干扰效应。
- 预注册（Pre-registration）： 在实验开始前明确分析计划，避免“看到结果再决定何时停止”。
- 使用“洗牌期”（Washout Period）： 在切换策略前，设置一段无实验干预的缓冲期。
风控案例： 某消费金融公司测试“还款提醒短信优化”。实验组前 3 天还款率提升 15%，但第 2 周起回落至 3%。若在第 5 天停止实验，会错误上线成本更高但效果有限的策略。最终结论：新奇效应导致初期虚高，策略实际提升仅 3%。
5. 原则综合检查清单
在每次风控 A/B 测试启动前，建议逐项核对以下清单：
| 检查项 | 原则 | 通过标准 |
|---|---|---|
| 分流是否基于随机机制？ | 随机化 | 使用 Hash/UUID，非规则性分组 |
| 两组前验指标是否无显著差异？ | 随机化 | p > 0.05（t 检验 / 卡方检验） |
| 是否存在网络效应或干扰？ | 独立性 | 已识别并采用集群随机化 |
| 实验周期是否覆盖完整业务周期？ | 周期确定 | ≥ 1 个账期 + 7 天缓冲 |
| 是否已排除新奇效应/首因效应？ | 干扰控制 | 分段趋势稳定，或已设置洗牌期 |
注意： 以上四条原则并非独立存在。例如，样本独立性被破坏时，随机化也无法保证组间可比性；实验周期过短时，新奇效应无法被识别。设计实验时需整体考量，而非逐条孤立检查。