3. 实验假设与指标设计
在支付风控A/B测试中，实验假设是验证策略有效性的逻辑起点，而指标设计则是量化评估的标尺。本节将系统阐述零假设与备择假设的设定方法，并围绕核心指标与辅助指标构建完整的评估体系。
3.1 零假设与备择假设
假设检验是A/B测试的统计基础。在支付风控场景中，我们通常关注新策略是否在控制风险的同时提升了用户体验或业务收益。
| 假设类型 | 符号 | 定义 | 支付风控示例 |
|---|---|---|---|
| 零假设 | H₀ | 新策略与旧策略在关键指标上无显著差异 | 新模型通过率 ≤ 旧模型通过率 |
| 备择假设 | H₁ | 新策略在关键指标上存在显著差异（单向或双向） | 新模型通过率 > 旧模型通过率 |
设计原则：备择假设应直接对应业务目标。若目标是提升通过率而不显著增加欺诈损失，则采用单侧检验；若需同时验证通过率提升且误杀率下降，则考虑复合假设或分指标独立检验。
3.2 核心指标
核心指标是判断实验成败的决策依据，必须与风控策略的直接效果强相关。支付风控A/B测试通常关注以下三个核心指标：
3.2.1 通过率（Pass Rate）
- 定义：通过风控校验的交易笔数 / 总交易笔数 × 100%
- 业务含义：反映策略对正常用户的拦截程度。通过率过低意味着误伤严重，影响用户体验和交易转化。
- 预期方向：新策略应保持或提升通过率，同时不增加欺诈风险。
3.2.2 误杀率（False Positive Rate, FPR）
- 定义：被错误拦截的正常交易笔数 / 实际正常交易总笔数 × 100%
- 业务含义：衡量策略对合法交易的误伤程度。误杀率每降低1%，可能挽回数百万的GMV损失。
- 预期方向：新策略应显著降低误杀率。
3.2.3 欺诈损失率（Fraud Loss Rate）
- 定义：确认欺诈交易金额 / 总交易金额 × 100% 或 确认欺诈交易笔数 / 总交易笔数 × 100%
- 业务含义：直接反映风控策略的防损效果。是风控团队的核心KPI。
- 预期方向：新策略应保持欺诈损失率不显著上升，或控制在业务容忍阈值内。
指标权衡：通过率与欺诈损失率通常呈负相关。一个优秀的策略应在不显著增加欺诈损失的前提下，最大化通过率或最小化误杀率。建议在实验前设定最小可检测效应（MDE），确保样本量足以捕捉有业务意义的差异。
3.3 辅助指标
辅助指标用于解释核心指标变化的原因，并评估策略的系统影响。它们不直接决定实验胜负，但能提供重要的上下文信息。
| 辅助指标 | 定义 | 监控目的 | 异常阈值参考 |
|---|---|---|---|
| 响应时间 | 风控引擎从接收请求到返回决策的耗时（P50/P99） | 确保新策略不会引入过高的计算延迟，影响支付体验 | P99 < 500ms，P50 < 100ms |
| 用户投诉率 | 因风控拦截导致的用户投诉笔数 / 总交易笔数 | 反映策略对用户感知的负面影响，辅助判断误杀率是否被低估 | 投诉率上升超过20%需触发人工审查 |
3.4 指标关系与评估框架
下图展示了核心指标与辅助指标在A/B测试评估中的逻辑关系：
3.5 指标设计检查清单
在正式启动实验前，建议使用以下清单对指标设计进行复核：
- 可衡量性：每个指标是否有明确的统计口径和计算逻辑？
- 业务对齐：核心指标是否直接反映实验目标（如提升通过率、降低误杀）？
- 敏感性：指标是否能在实验周期内捕捉到有意义的差异？
- 抗干扰性：辅助指标是否能帮助排除外部因素（如节假日流量波动）的干扰？
- 阈值预设：是否已设定核心指标的最小可检测效应和统计显著性水平（通常α=0.05，β=0.2）？
常见陷阱：仅关注通过率而忽略欺诈损失率，可能导致策略过于宽松，造成实际资金损失。建议将欺诈损失率不显著上升作为实验通过的硬性约束条件，而非仅作为观察指标。