2. 统计学基础回顾：假设检验

在风控A/B测试中，我们无法直接知道策略的真实效果，只能通过样本数据来推断总体。假设检验正是这套推断的“裁判系统”——它帮助我们判断观察到的差异是真实存在的，还是仅仅由随机波动造成的。

2.1 原假设与备择假设

假设检验的第一步是建立一对互斥的假设：

原假设是我们试图推翻的“默认立场”。在风控场景中，除非有足够证据，否则我们不会轻易上线新策略——这就是“无罪推定”的统计版本。

2.2 P值：证据的量化标尺

P值是在原假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。它衡量的是“巧合”的可能性。

• P值小（如 0.01）：在原假设成立时，出现当前结果的概率极低，说明数据与原假设不兼容，倾向于拒绝 H₀。
• P值大（如 0.50）：在原假设成立时，出现当前结果很常见，没有足够证据拒绝 H₀。

2.3 显著性水平（α）：决策的阈值

显著性水平 α 是我们预先设定的“拒绝门槛”，通常取 0.05 或 0.01。

决策规则：
如果 P值 ≤ α，拒绝 H₀，认为差异具有统计显著性。
如果 P值 > α，不拒绝 H₀，认为差异不显著。

2.4 置信区间：效果的范围估计

置信区间给出了参数真实值可能落入的范围，同时附带了置信水平（如 95%）。它比单一的P值提供了更多信息——不仅告诉我们“是否有效”，还告诉我们“效果有多大”。

• 95% 置信区间：如果重复抽样100次并计算区间，大约有95个区间会包含真实的总体参数。
• 风控应用：假设新策略使逾期率降低 0.3%，95% 置信区间为 [0.1%, 0.5%]。这意味着我们有95%的把握认为真实降低幅度在0.1%到0.5%之间。

2.5 统计功效：发现真实效果的能力

统计功效（Power）是当备择假设为真时，正确拒绝原假设的概率。简单说，就是“当策略真的有效时，我们能够发现它的能力”。

统计功效受四个因素影响：

2.6 假设检验的完整步骤

1. 建立假设：明确 H₀ 和 H₁，确定单侧或双侧检验。
2. 设定显著性水平：通常 α = 0.05。
3. 选择检验方法：根据数据类型选择 t 检验、z 检验、卡方检验等。
4. 计算检验统计量：基于样本数据计算。
5. 计算 P 值：或与临界值比较。
6. 做出决策：P ≤ α 拒绝 H₀，否则不拒绝。
7. 报告结果：包含 P 值、置信区间、效应量。