3. A/B测试核心概念：假设检验、原假设与备择假设、第一类与第二类错误、统计功效

在保费定价模型的A/B测试中，我们并非简单比较两组数据的均值大小，而是需要通过严格的统计推断来判断观察到的差异是否真实存在，还是仅仅由随机波动引起。这一推断过程的核心就是假设检验。理解假设检验及其衍生概念，是设计、执行和解读A/B测试结果的基石。

3.1 假设检验：从“猜想”到“验证”

假设检验是一种利用样本数据来评估关于总体参数（如平均保费、转化率、赔付率）的某种主张是否成立的统计方法。其基本逻辑是：先提出一个假设，然后计算在假设成立的前提下，观察到当前样本结果（或更极端结果）的概率。如果这个概率非常小，我们就认为原假设不成立，从而拒绝它。

3.2 原假设与备择假设：一对“对手”

在每次假设检验中，我们都会设定两个互斥的假设：

• 原假设 (H₀)： 通常代表“无差异”或“现状”。在A/B测试中，它通常声明新模型（B组）与旧模型（A组）在关键指标上没有显著差异。例如：H₀: μ_B - μ_A = 0（平均赔付率无差异）。
• 备择假设 (H₁ 或 Hₐ)： 与原假设相对立，代表我们真正想要证明的结论。它通常声明存在显著差异。例如：H₁: μ_B - μ_A ≠ 0（平均赔付率有差异，双尾检验）；或 H₁: μ_B - μ_A < 0（新模型赔付率更低，单尾检验）。

3.3 第一类错误与第二类错误：决策的代价

由于我们基于样本推断总体，决策不可能100%正确。我们可能犯两种错误：

• 第一类错误 (α, 假阳性)： 原假设为真，但我们错误地拒绝了它。在A/B测试中，就是“新模型实际上没有效果，但我们却认为它有效”。这会导致我们错误地上线一个无效甚至有害的模型，造成资源浪费或利润损失。
• 第二类错误 (β, 假阴性)： 原假设为假，但我们未能拒绝它。在A/B测试中，就是“新模型实际上有效果，但我们却没有检测出来”。这会导致我们错失一个优化机会，让竞争对手抢先。

3.4 统计功效：发现真相的能力

统计功效 (Power) 是假设检验中一个至关重要的概念，它定义为：当备择假设为真时，我们能够正确拒绝原假设的概率。用公式表示为：Power = 1 - β。

统计功效衡量的是我们的测试“发现真实效果”的能力。一个功效不足的测试，即使新模型真的有效，也很可能得出“无显著差异”的错误结论（即犯第二类错误）。

3.5 核心参数关系总结

以下表格总结了影响假设检验决策的四个关键参数及其相互关系：

3.6 实战中的权衡

在保费定价模型A/B测试中，我们需要在α、β和样本量之间做出权衡：

• 降低α（如从0.05降至0.01）： 更严格地控制假阳性，但会增大β，降低统计功效，需要更大的样本量来补偿。
• 提高统计功效（如从80%提升至95%）： 更可靠地发现真实效果，但需要显著增加样本量或接受更大的α。
• 检测更小的效果量： 如果业务上认为赔付率降低1%就值得上线，那么需要非常大的样本量才能达到足够的统计功效。