4. 假设检验与统计显著性：原假设与备择假设、P值、置信区间、统计功效（Power）、第一类与第二类错误
在风控A/B测试中，假设检验是判断实验效果是否真实存在的核心工具。它帮助我们区分“观测到的差异是真实策略效果”还是“随机波动导致的假象”。本节将系统梳理假设检验的五大核心概念及其在风控场景中的具体应用。
4.1 原假设与备择假设
假设检验的第一步是建立一对互斥的假设：
- 原假设（H₀）：通常代表“无效果”或“无差异”的保守立场。在风控实验中，H₀ 通常表述为“新策略与旧策略在关键指标上无显著差异”。
- 备择假设（H₁）：代表“有效果”或“有差异”的研究立场。H₁ 可以是双尾（新策略与旧策略不同）或单尾（新策略优于旧策略）。
风控场景示例：
H₀：新风控模型与旧模型的逾期率相同（Δ ≤ 0）
H₁：新风控模型使逾期率显著低于旧模型（Δ < 0）
H₀：新风控模型与旧模型的逾期率相同（Δ ≤ 0）
H₁：新风控模型使逾期率显著低于旧模型（Δ < 0）
4.2 P值：证据强度的度量
P值是在原假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。P值越小，说明样本数据与原假设的兼容性越差，越有理由拒绝H₀。
| P值范围 | 统计显著性 | 风控决策参考 |
|---|---|---|
| P < 0.01 | 高度显著 | 强证据支持新策略有效，可考虑全量上线 |
| 0.01 ≤ P < 0.05 | 显著 | 中等证据，建议扩大样本或延长实验周期验证 |
| 0.05 ≤ P < 0.10 | 边缘显著 | 弱证据，需结合业务成本与风险容忍度审慎判断 |
| P ≥ 0.10 | 不显著 | 无充分证据拒绝H₀，维持现有策略 |
⚠️ 常见误区：P值不是“H₀为真的概率”，也不是“效果大小”。P值仅反映数据与H₀的不兼容程度，不能直接解释为策略成功的概率。
4.3 置信区间：效果大小的范围估计
置信区间（Confidence Interval, CI）给出了参数真实值可能落入的范围，同时反映了估计的精度。95%置信区间的含义是：重复抽样100次，大约有95个区间会包含真实的参数值。
在风控A/B测试中，置信区间比P值提供更多信息：
- 区间不包含0：等价于P < 0.05，差异具有统计显著性。
- 区间宽度：反映估计精度，宽度越窄说明样本量越充足、估计越可靠。
- 区间下限：在风控中尤为重要，例如“逾期率降低的95% CI下限为0.3%”，意味着最保守估计也能降低0.3%。
4.4 第一类错误与第二类错误
假设检验存在两种决策错误，理解它们对风控实验设计至关重要：
| 错误类型 | 定义 | 符号 | 风控后果 |
|---|---|---|---|
| 第一类错误（α） | 错误地拒绝真实H₀（假阳性） | α（显著性水平） | 上线无效策略，造成资源浪费或风险上升 |
| 第二类错误（β） | 错误地接受虚假H₀（假阴性） | β | 错过有效策略，丧失优化机会 |
💡 风控权衡：在欺诈检测场景中，通常更严格地控制第一类错误（α=0.01），因为误判正常用户为欺诈（假阳性）会直接损害用户体验和业务收入。而在模型迭代场景中，可适当放宽α至0.05，以更快捕捉到有效策略。
4.5 统计功效（Power）
统计功效 = 1 - β，表示当备择假设为真时，正确拒绝原假设的概率。高功效意味着实验有足够的能力检测到真实存在的效果。
影响统计功效的四大因素：
- 样本量（n）：样本越大，功效越高。风控实验中，样本量不足是功效低下的首要原因。
- 效应量（Effect Size）：真实差异越大，越容易被检测到。风控中微小但稳定的改善（如逾期率降低0.1%）需要极大样本。
- 显著性水平（α）：α越小（如0.01），功效越低，因为拒绝H₀的门槛更高。
- 数据变异（σ）：指标波动越大，功效越低。风控指标（如逾期率）通常变异较小，有利于检测。
4.6 风控实验中的样本量计算
在实验设计阶段，需要根据预期效应量和功效要求计算最小样本量。以下是风控场景中常用的样本量计算公式（两组独立比例检验）：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²
其中：
Z_α/2：显著性水平对应的Z值（α=0.05时取1.96）
Z_β：功效对应的Z值（Power=0.80时取0.84）
p₁：对照组预期转化率/逾期率
p₂：实验组预期转化率/逾期率
风控计算示例：
当前逾期率 p₁=2.0%，预期降低至 p₂=1.7%（效应量0.3%），α=0.05，Power=0.80
n = (1.96 + 0.84)² × [0.02×0.98 + 0.017×0.983] / (0.003)² ≈ 11,500（每组）
结论：每组至少需要11,500个样本，总样本量约23,000。
当前逾期率 p₁=2.0%，预期降低至 p₂=1.7%（效应量0.3%），α=0.05，Power=0.80
n = (1.96 + 0.84)² × [0.02×0.98 + 0.017×0.983] / (0.003)² ≈ 11,500（每组）
结论：每组至少需要11,500个样本，总样本量约23,000。
4.7 多重比较问题与校正
在风控A/B测试中，经常同时评估多个指标（逾期率、通过率、欺诈率等）或多个细分群体。多重比较会膨胀第一类错误率：
- Bonferroni校正：将α除以比较次数。例如同时检验5个指标，α调整为0.05/5=0.01。方法保守，容易增加第二类错误。
- FDR（False Discovery Rate）控制：如Benjamini-Hochberg方法，在控制错误发现率的同时保留更多统计功效，适合风控中探索性分析。
- 先验分层：在实验设计阶段明确主要指标和次要指标，仅对主要指标进行正式假设检验，次要指标作为参考。
💡 最佳实践：在风控实验中，建议预先指定1-2个核心指标（如逾期率、坏账率）作为主要检验对象，其他指标（如通过率、响应时间）作为辅助观察，避免盲目多重比较。