4. 实验设计原则：单一变量原则、样本量确定、实验周期选择、避免干扰因素

A/B 测试不是简单的“分两组、看结果”。如果实验设计存在缺陷，即使统计方法再精确，结论也可能完全错误。额度策略的 A/B 测试尤其敏感——它直接影响用户的钱包感知和平台的风险敞口。本节围绕四个核心设计原则展开，确保实验结论可信、可复现、可落地。

4.1 单一变量原则：只改变一个因子

单一变量原则是 A/B 测试的基石。它的含义是：实验组与对照组之间，只允许一个策略因子不同，其他所有条件（客群、模型、额度上下限、利率、风控规则）必须完全一致。

4.2 样本量确定：统计功效与最小可检测效应

样本量不足会导致实验“假阴性”——策略有效但统计不显著；样本量过大则浪费流量、延长实验周期。样本量计算依赖三个参数：

• 基准转化率（Baseline Rate）： 对照组的核心指标（如授信通过率、支用率）
• 最小可检测效应（MDE, Minimum Detectable Effect）： 你认为有业务意义的最小提升幅度
• 统计功效（Power）： 通常设为 80%，即策略真实有效时，有 80% 的概率检测出来

常用样本量计算公式（两组独立比例检验）：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
Z_α/2 = 1.96（显著性水平 α=0.05，双尾）
Z_β   = 0.84（功效 80%）
p₁    = 对照组基准转化率
p₂    = 实验组预期转化率（p₁ + MDE）

4.3 实验周期选择：覆盖完整业务周期

实验周期太短会捕捉到“周内效应”或“月初效应”；周期太长则面临策略过时、客群漂移的风险。额度策略的周期选择需考虑以下因素：

• 用户行为周期： 至少覆盖 1 个完整的自然周（7 天），包含工作日与周末
• 账单与还款周期： 额度策略影响支用和还款行为，建议覆盖 1 个完整账单周期（通常 30 天）
• 新奇效应衰减期： 用户对新额度的“新鲜感”通常在 2-4 周内消退，实验需持续到效应稳定
• 季节性因素： 避开双十一、春节等极端消费时段，或将其作为分层变量

4.4 避免干扰因素：新奇效应与学习效应

即使实验设计符合前三个原则，用户心理和行为变化仍可能污染结果。两个最常见的干扰因素是新奇效应和学习效应。

4.4.1 新奇效应（Novelty Effect）

用户对新策略产生“新鲜感”而暂时改变行为，但这种改变不可持续。例如：用户看到额度提升后立即支用，但一个月后回归正常消费习惯。

• 表现： 实验初期效果显著，后期效果衰减甚至消失
• 检测方法： 绘制实验组与对照组的日度指标趋势图，观察效应是否随时间衰减
• 应对措施： 延长实验周期至新奇效应消退后；或使用“预注册+延迟分析”方法，只分析实验第 2 周以后的数据

4.4.2 学习效应（Learning Effect）

用户逐渐“学会”如何利用新策略，导致行为持续变化。例如：用户发现额度提升后频繁借还以积累信用，或发现额度规则后刻意优化申请行为。

• 表现： 实验组指标随时间持续上升或下降，没有稳定趋势
• 检测方法： 对比实验前半段与后半段的效应大小；或使用“交叉验证”方法，将实验组与对照组互换后观察
• 应对措施： 限制实验组用户接触策略信息的频率；或使用“盲测”设计，不让用户感知到策略变化

4.5 实验设计检查清单

在启动任何额度策略 A/B 测试之前，建议逐项核对以下清单：

1. 单一变量： 实验组与对照组是否只有额度策略不同？
2. 样本量： 是否根据 MDE 和基准转化率计算了最小样本量？
3. 实验周期： 是否覆盖了至少 1 个完整业务周期？
4. 新奇效应： 是否设置了“预热期”或“稳定期”过滤早期数据？
5. 学习效应： 是否限制了用户对策略信息的感知？
6. 随机分流： 分流是否基于用户 ID 的哈希值，且保证组间特征均衡？
7. 监控指标： 是否同时跟踪核心指标（支用率、逾期率）和辅助指标（登录频次、客服咨询量）？