2. 精算A/B测试的核心概念：假设检验、P值、统计显著性、置信区间、效应量
在保险精算领域，A/B测试并非简单的“比大小”。要科学地判断两个方案（如新旧费率、不同核保规则）的差异是否真实可靠，必须依赖一套严谨的统计推断框架。本章将逐一拆解五个核心概念，它们构成了精算A/B测试的决策基石。
2.1 假设检验：从“无罪推定”到“统计判决”
假设检验是统计推断的起点，其逻辑类似于法庭审判中的“无罪推定”。我们首先设定两个对立的假设，然后根据样本数据决定拒绝哪一个。
- 原假设（H₀）： 通常代表“无差异”或“现状”。例如，新费率方案与旧方案在赔付率上没有差异。在精算中，H₀ 往往是保守的、需要被挑战的假设。
- 备择假设（H₁）： 代表“存在差异”或“有效果”。例如，新费率方案能显著降低赔付率。这是我们希望证明的结论。
H₀：折扣组与对照组出险频率相同。
H₁：折扣组出险频率低于对照组。
检验过程就是基于样本数据计算一个检验统计量，如果该统计量落在“小概率事件”区域（即原假设为真时几乎不可能发生），我们就拒绝 H₀，接受 H₁。
2.2 P值：衡量证据强度的“概率标尺”
P值（P-value）是假设检验中最直观的决策工具。它定义为：在原假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。
- P值很小（如 < 0.05）： 意味着如果H₀为真，我们几乎不可能看到这样的数据。因此，我们有理由怀疑H₀的真实性，从而拒绝它。
- P值较大（如 > 0.05）： 意味着当前数据与H₀的预期并不矛盾，我们没有足够证据拒绝H₀。
2.3 统计显著性：设定决策的“阈值”
统计显著性水平（α）是我们预先设定的一个阈值，用于判断P值是否足够小。它是我们愿意犯“第一类错误”（假阳性，即错误地拒绝真实的H₀）的最大风险。
| 显著性水平 α | 含义 | 精算应用场景 |
|---|---|---|
| 0.10 | 允许10%的假阳性风险 | 探索性分析、低风险运营优化 |
| 0.05 | 行业标准，允许5%的假阳性风险 | 大多数A/B测试、费率调整验证 |
| 0.01 | 允许1%的假阳性风险 | 监管报送、重大准备金变更、高赔付风险决策 |
当 P值 < α 时，我们称结果具有统计显著性。但请注意，统计显著不等于业务显著。
2.4 置信区间：估计效应的“范围”而非“点”
P值只能告诉我们“是否有差异”，而置信区间（Confidence Interval, CI）则能告诉我们“差异有多大”。它是一个包含总体真实参数（如赔付率差异）的数值范围，并附带一个置信水平（如95%）。
- 95%置信区间： 如果我们重复抽样100次并构建100个区间，其中大约95个区间会包含真实的总体参数。
- 精算价值： 区间宽度反映了估计的精度。区间越窄，说明我们对效应量的把握越大。
2.5 效应量：衡量差异的“实际大小”
效应量（Effect Size）是量化处理效应强度的指标，它不受样本量影响。在精算中，一个统计显著的结果可能只是因为样本量巨大，而实际效应微乎其微。效应量帮助我们判断业务价值。
| 指标 | 公式/定义 | 精算示例 |
|---|---|---|
| Cohen's d | (均值差) / 合并标准差 | 两组平均赔付金额的标准化差异 |
| 相对风险 (RR) | 处理组事件率 / 对照组事件率 | 新核保规则下理赔发生率的比值 |
| 绝对风险差 (ARD) | 处理组事件率 - 对照组事件率 | 新方案使赔付率下降了多少个百分点 |
2.6 核心概念关系图
下图展示了从设定假设到做出业务决策的完整逻辑链路，以及各概念之间的依赖关系。
2.7 精算A/B测试中的两类错误
在假设检验中，我们无法做到100%正确。理解两类错误及其在精算中的代价至关重要。
| 决策结果 | H₀为真（无差异） | H₁为真（有差异） |
|---|---|---|
| 拒绝 H₀ | 第一类错误 (α) 假阳性：错误上线无效方案，造成资源浪费 |
正确决策 (1-β) 统计功效：成功识别有效方案 |
| 未拒绝 H₀ | 正确决策 (1-α) 置信水平：正确维持现状 |
第二类错误 (β) 假阴性：错过有效方案，丧失盈利机会 |
2.8 统计功效：避免“假阴性”的能力
统计功效（Power = 1 - β）是指在H₁为真时，我们能够正确拒绝H₀的概率。它直接决定了A/B测试发现真实效应的能力。
- 影响因素： 样本量、效应量、显著性水平α、数据变异度。
- 精算标准： 通常要求功效达到80%或以上。这意味着如果真实效应存在，我们有80%的把握在测试中发现它。
掌握这五个核心概念，精算师就能从“凭感觉决策”升级为“基于统计证据决策”，为后续的测试设计、执行与复盘打下坚实的理论基础。