3. 实验设计原则：随机化、对照原则、样本量估算、最小可检测效应(MDE)设定

在金融场景中，一个设计不良的A/B测试可能导致错误的产品决策、资金损失甚至监管风险。本章聚焦实验设计的四大核心支柱：随机化、对照原则、样本量估算与最小可检测效应(MDE)。这些原则是确保实验结果统计有效、业务可落地的基石。

3.1 随机化：消除选择偏差的基石

随机化是将实验单元（用户、账户、交易）随机分配到实验组与对照组的过程。其核心目标是确保两组在实验开始前，在所有可观测与不可观测的特征上统计均衡。

• 为什么重要： 避免选择偏差（如高活跃用户被系统性地分入实验组），防止混淆变量影响因果推断。
• 金融场景挑战： 用户分层复杂（如VIP与普通用户）、设备指纹、账户关联性。需使用用户ID哈希取模或分层随机化。
• 常见陷阱： 时间片轮换（非真正随机）、基于地理位置的自然分组（存在环境差异）。

3.2 对照原则：构建可信的基准线

对照组是实验的“反事实”基准。没有对照组，我们无法区分实验效果与自然波动（如市场行情、季节性效应）。

3.3 样本量估算：用统计力量说话

样本量不足会导致实验“假阴性”（无法检测到真实效果）；样本量过大则浪费流量与时间。估算公式基于假设检验的框架。

核心参数：

• 显著性水平 (α)： 通常设为0.05，即犯第一类错误（假阳性）的概率。
• 统计功效 (1-β)： 通常设为0.80，即正确检测到真实效果的概率。
• 最小可检测效应 (MDE)： 你希望检测到的最小效果量。
• 基线转化率/均值： 对照组指标的预期值。

简化公式（适用于二项分布指标，如点击率、转化率）：

n = (Z_α/2 + Z_β)² * [p1*(1-p1) + p2*(1-p2)] / (p2 - p1)²

其中：
- n = 每组所需样本量
- p1 = 对照组基线转化率
- p2 = 实验组预期转化率 (p1 + MDE)
- Z_α/2 = 1.96 (α=0.05)
- Z_β = 0.84 (β=0.20, 功效=0.80)

3.4 最小可检测效应 (MDE)：业务与统计的桥梁

MDE 是实验设计中最具业务含义的参数。它定义了在给定样本量和统计参数下，实验能够可靠检测到的最小效果量。

• 业务视角： MDE 应基于业务最小有意义效果 (MEI)。例如，提升0.1%的转化率可能无商业价值，但提升0.5%才值得上线。
• 统计视角： MDE 越小，所需样本量越大。在流量有限时，需要接受较大的 MDE。
• 金融特殊性： 对于风险指标（如坏账率），MDE 通常设置得比收益指标更小，因为风险容忍度低。

MDE、样本量与功效的关系矩阵：

3.5 实验设计流程总览

以下SVG图展示了从业务假设到实验启动的完整设计流程，强调四个原则的协同作用。

3.6 金融场景实战：参数设定示例

假设我们要测试一个新的信用卡分期推荐策略，目标是提升分期转化率，同时监控坏账率。

3.7 常见误区与避坑

• 误区1： 样本量估算后直接使用，未考虑用户留存与数据清洗导致的样本损耗。金融场景中，用户流失率可能高达20%，需在估算时预留余量。
• 误区2： 在多指标实验中，仅对主指标进行样本量估算，忽略了多重比较校正。当监控指标超过5个时，建议使用Bonferroni校正或FDR控制，这会增加所需样本量。
• 误区3： 随机化后未做均衡性检验。即使随机化，小概率事件仍可能导致两组在关键特征（如历史交易金额）上存在差异。建议使用标准化均值差 (SMD) 进行检验，SMD < 0.1 视为均衡。
• 误区4： 将MDE设定得过小，导致实验需要运行数月，期间业务环境已发生根本变化（如监管政策调整），实验结论失效。