4. 实验设计原则：随机化、样本量计算、最小可检测效应、统计功效分析
在保险精算A/B测试中，实验设计的质量直接决定结论的可靠性。一个设计不良的实验可能因混杂偏差、样本不足或功效过低而得出误导性结论，导致模型规则误判与业务损失。本章围绕四个核心设计原则展开：随机化、样本量计算、最小可检测效应与统计功效分析。
4.1 随机化：消除选择偏差的基石
随机化是将实验单元（保单、用户、理赔案件）随机分配到对照组与实验组的核心机制。其目的是使两组在所有潜在混杂因素（如年龄、风险等级、历史赔付）上达到统计平衡，从而将观察到的差异归因于模型规则变更本身。
精算场景要点： 在保险模型规则命中测试中，随机化必须基于保单级或用户级唯一标识，避免按“机构/渠道”整群随机化带来的组间非均衡。建议使用分层随机化（如按险种、风险评分分层）以提升敏感度。
4.1.1 随机化方法对比
| 方法 | 适用场景 | 优势 | 劣势 |
|---|---|---|---|
| 简单随机化 | 样本量大、无强分层变量 | 实现简单，理论无偏 | 小样本下组间可能失衡 |
| 分层随机化 | 存在已知强影响分层变量 | 降低组间变异，提升功效 | 需预先定义分层边界 |
| 区组随机化 | 时间趋势明显（如月度承保周期） | 控制时间混杂 | 区组大小选择需谨慎 |
| 自适应随机化 | 伦理或业务需动态调整分配比 | 灵活应对实时数据 | 统计推断复杂 |
4.2 样本量计算：从公式到精算实践
样本量不足会导致实验无法检测到真实存在的效应；样本量过大则浪费资源并可能捕获统计显著但业务无意义的微小差异。精算A/B测试的样本量计算需同时考虑指标类型（连续型/二值型）与检验方向（单侧/双侧）。
4.2.1 二值指标样本量公式
对于“规则命中率”这类二值指标，常用公式为：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²其中：
- n：每组所需样本量
- Z_α/2：显著性水平α对应的标准正态分位数（双侧检验）
- Z_β：1-β对应的标准正态分位数（β为第二类错误概率）
- p₁：对照组预期命中率
- p₂：实验组预期命中率
精算经验值： 在车险理赔规则命中测试中，对照组命中率p₁通常取历史基线值（如0.15），最小可检测效应常设为绝对变化2~5个百分点。若p₁=0.15，p₂=0.18，α=0.05，β=0.20（功效80%），则每组约需4,700个样本。
4.2.2 连续指标样本量公式
对于“平均赔付金额”等连续指标：
n = 2 × (Z_α/2 + Z_β)² × σ² / δ²其中σ为组内标准差，δ为最小可检测差异。
4.3 最小可检测效应（MDE）
最小可检测效应是指在给定样本量与显著性水平下，实验能够以一定功效检测到的最小真实差异。MDE是样本量计算的逆问题，也是实验设计阶段业务与统计团队沟通的桥梁。
4.3.1 MDE与样本量的关系
| 样本量（每组） | MDE（绝对百分点，p₁=0.15） | 功效（假设真实差异=2%） |
|---|---|---|
| 1,000 | 4.5% | 32% |
| 3,000 | 2.6% | 58% |
| 5,000 | 2.0% | 80% |
| 10,000 | 1.4% | 96% |
常见陷阱： 不要将MDE设得比业务实际可接受的最小效应还小。例如，若规则命中率提升0.1%在业务上无操作价值，则不应追求检测如此微小的效应，否则会不必要地扩大样本量。
4.4 统计功效分析
统计功效（Power = 1 - β）是当真实效应存在时，实验能够正确拒绝原假设的概率。精算领域通常要求功效达到80%或90%。功效受四个因素影响：效应大小、样本量、显著性水平、数据变异度。
4.4.1 功效与各参数的关系
- 效应大小↑ → 功效↑：真实差异越大，越容易被检测
- 样本量↑ → 功效↑：更多数据提供更精确的估计
- 显著性水平α↑ → 功效↑：放宽显著性标准（如从0.01到0.05）会提升功效，但增加假阳性风险
- 数据变异度σ↑ → 功效↓：高变异数据需要更大样本才能达到相同功效
4.4.2 功效曲线解读
下图展示了在固定α=0.05、p₁=0.15条件下，不同样本量对应的功效随真实效应大小变化的曲线。精算师可据此判断当前实验设计是否具备足够的检测能力。
4.5 四原则联动：实验设计决策流程
在实际精算A/B测试中，四个原则并非孤立存在，而是形成一个迭代决策闭环。下图展示了从业务假设到最终实验方案的设计流程。
4.6 精算实战检查清单
在启动模型规则命中A/B测试前，请逐项确认以下设计要素：
| 检查项 | 精算具体要求 | 完成状态 |
|---|---|---|
| 随机化单元 | 保单号/用户ID，非机构/渠道 | □ |
| 分层变量 | 险种、风险评分、历史赔付等级 | □ |
| 样本量计算 | 基于历史基线p₁与业务MDE | □ |
| 功效目标 | ≥80%（关键指标建议≥90%） | □ |
| MDE确认 | 与业务方对齐最小有意义效应 | □ |
| 多重比较校正 | 若同时检验多个指标，需校正α | □ |
精算提示： 在保险业务中，由于赔付数据常呈长尾分布，建议在样本量计算时对连续指标（如赔付金额）使用对数变换后的标准差，或采用非参数方法（如Bootstrap功效分析）作为验证。