4. 实验设计原则：随机化、控制变量、单一变量原则、样本分组方法

在催收策略的A/B测试中，实验设计的科学性直接决定了结论的可靠性与可复用性。一个设计不当的实验，即使样本量再大，也可能得出误导性结论，导致策略误判与资金损失。本章围绕四个核心设计原则展开：随机化、控制变量、单一变量原则以及样本分组方法（分流与分层）。

4.1 随机化：消除选择偏差的基石

随机化是指将实验单元（如客户、账户）以纯随机方式分配到实验组与对照组，确保两组在实验开始前，除待测策略外，其他所有特征（如逾期天数、历史还款率、地域分布）在统计上无显著差异。

• 目的：消除已知与未知的混杂变量影响，使组间差异仅归因于策略变化。
• 常见误区：按催收员手动分配、按账户尾号奇偶分配、按时间先后分配——这些均非真正的随机化，会引入系统性偏差。
• 实现方式：使用伪随机数生成器（如Python的random模块或SQL的RAND()）进行分配，并记录种子值以备复现。

4.2 控制变量：锁定实验环境

控制变量原则要求实验期间，除待测自变量（如催收话术、外呼时段）外，其他所有可能影响因变量（如还款率、接通率）的因素均应保持恒定或通过设计加以平衡。

4.3 单一变量原则：一次只改变一个因素

单一变量原则是控制变量的极端形式：一次实验只改变一个自变量，其他所有条件保持不变。这保证了实验结果的归因清晰，避免多因素交织导致无法解释。

• 正确做法：实验组使用“新话术A”，对照组使用“原话术”；两组外呼时段、催收员、外呼次数均相同。
• 错误做法：实验组同时使用“新话术A”+“下午外呼”，对照组使用“原话术”+“上午外呼”。若结果有差异，无法区分是话术还是时段的影响。
• 例外情况：多因素正交实验（如全因子设计）允许同时改变多个因素，但需要更复杂的统计模型（如ANOVA）进行交互效应分析，且样本量需求大幅增加。在催收场景中，建议优先采用单一变量设计。

4.4 样本分组方法：分流与分层

样本分组方法决定了实验组与对照组在关键特征上的均衡性。催收场景中，最常用的两种方法是简单分流与分层随机化。

4.4.1 简单分流（Simple Randomization）

将全体合格样本按预设比例（如50%:50%或70%:30%）直接随机分配。适用于样本量大、客户同质性高的场景。

• 优点：实现简单，计算开销小。
• 缺点：当样本量较小或关键特征分布不均时，可能出现组间失衡（如实验组逾期30天以上客户占比过高）。
• 适用场景：样本量 > 10,000，且客户画像相对均匀。

4.4.2 分层随机化（Stratified Randomization）

先按一个或多个关键分层变量（如逾期天数区间、历史还款等级、产品类型）将样本划分为互斥的层，然后在每个层内独立进行随机分配。这保证了每个层内实验组与对照组的比例一致。

• 优点：显著降低组间差异，提高统计功效，尤其适用于催收中“长尾”与“高价值”客户并存的情况。
• 缺点：需要事先确定分层变量，且层数过多可能导致某些层样本过少。
• 适用场景：样本量在1,000~10,000之间，或客户异质性明显（如同时包含M1、M2、M3+账户）。

4.5 分组方法选择决策树

在实际催收实验设计中，可参考以下决策逻辑选择分组方法：

1. 样本量是否 > 10,000？
   • 是 → 考虑简单分流（若客户同质）或分层随机化（若客户异质明显）。
   • 否 → 进入下一步。
2. 是否存在已知强影响分层变量？（如逾期天数、历史还款率）
   • 是 → 使用分层随机化，每层样本量建议 > 200。
   • 否 → 使用简单分流，但需进行事后均衡性检验（如卡方检验）。
3. 实验组与对照组样本量是否允许非等比例分配？
   • 是 → 可采用70%:30%或80%:20%分配，减少对照组样本浪费。
   • 否 → 保持50%:50%以最大化统计功效。

4.6 实验设计检查清单

在正式上线实验前，建议逐项确认以下要点：

• 随机化：分配机制是否可复现？是否避免了人为干预？
• 控制变量：实验期间是否有其他策略变更？是否冻结了IVR、短信模板等系统配置？
• 单一变量：实验组与对照组仅在一个维度上不同？是否误将多个改动打包？
• 样本分组：是否根据样本量与客户异质性选择了合适的分组方法？分层变量是否合理？
• 样本量：是否通过功效分析（Power Analysis）确定了最小所需样本量？
• 监控计划：是否设定了实验监控指标与提前终止规则（如负向效果超过阈值）？