4. 实验设计原则：随机化、控制组与实验组、样本量计算、最小可检测效应（MDE）

在保费定价模型的 A/B 测试中，实验设计是决定测试结果是否可信、可复用的核心环节。一个设计不当的实验，即使数据量再大，也可能得出误导性的结论，导致定价策略失误。本章围绕四个关键原则展开：随机化、控制组与实验组、样本量计算和最小可检测效应（MDE）。

4.1 随机化：消除选择偏差的基石

随机化是指将实验单元（如保单、用户、渠道）以纯随机方式分配到不同实验组中。其目的是确保各组在实验开始前，除实验变量（如定价模型）外，其他所有特征（如年龄、风险等级、历史赔付率）在统计上均衡。

4.2 控制组与实验组：对比的基准

控制组（对照组）是实验的“基准线”，它接受当前线上运行的定价模型（或旧模型）。实验组则接受新的定价模型。通过比较两组在关键指标（如赔付率、续保率、保费收入）上的差异，来评估新模型的效果。

4.3 样本量计算：实验的“统计马力”

样本量决定了实验能否可靠地检测出真实存在的差异。样本量过小，实验可能“假阴性”（即新模型有效但统计不显著）；样本量过大，则浪费流量和时间，且可能检测出无实际意义的微小差异。

样本量计算通常基于以下参数：

• 显著性水平（α）：通常取 0.05，即犯“假阳性”错误的概率为 5%。
• 统计功效（1-β）：通常取 0.80，即当真实差异存在时，有 80% 的概率能检测出来。
• 最小可检测效应（MDE）：你希望检测到的最小效果量（见 4.4 节）。
• 基线指标值：如当前控制组的赔付率或转化率。
• 指标方差：指标本身的波动性，方差越大，所需样本量越大。

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
  n      = 每组所需样本量
  Z_α/2  = 对应显著性水平 α 的 Z 值（α=0.05 时，Z≈1.96）
  Z_β    = 对应功效 1-β 的 Z 值（β=0.20 时，Z≈0.84）
  p₁     = 控制组的基线转化率/赔付率
  p₂     = 实验组的预期转化率/赔付率
  (p₂-p₁)= 最小可检测效应（MDE）

示例：假设当前控制组的赔付率为 10%（p₁=0.10），希望检测到赔付率降低 1 个百分点（即 MDE=0.01，p₂=0.09），α=0.05，功效=0.80，则每组所需样本量约为：

n = (1.96 + 0.84)² × [0.10×0.90 + 0.09×0.91] / (0.01)²
  = (2.80)² × [0.09 + 0.0819] / 0.0001
  = 7.84 × 0.1719 / 0.0001
  ≈ 13,477 个保单/组

这意味着每组至少需要约 13,477 个保单，两组共约 27,000 个保单，才能以 80% 的概率检测到 1 个百分点的赔付率变化。

4.4 最小可检测效应（MDE）：实验的“分辨率”

MDE 是指在给定样本量和统计参数下，实验能够可靠检测到的最小效果量。它直接决定了实验的“分辨率”——MDE 越小，实验越灵敏，但所需样本量也越大。

在保费定价场景中，MDE 的设定需要平衡业务意义与实验成本：

• 业务意义：MDE 应小于或等于业务上认为“值得投入”的最小效果量。例如，如果新模型只能降低 0.1% 的赔付率，但上线成本很高，则这个效果可能没有实际意义。
• 实验成本：MDE 越小，所需样本量越大，实验周期越长，可能影响业务节奏。
• 常见取值：在保险定价 A/B 测试中，MDE 通常设定在 0.5% ~ 2% 的绝对变化（如赔付率从 10% 变为 9.5% 或 8%），或 5% ~ 20% 的相对变化。

4.5 综合实验设计检查清单

在实际启动 A/B 测试前，建议使用以下清单进行自查：