4. 风控A/B测试的指标设计：核心指标、辅助指标与代理指标
在风控策略的A/B测试中，指标设计是决定实验成败的关键环节。与增长或产品实验不同，风控实验需要同时平衡风险控制与用户体验，因此指标体系必须分层设计。本章将系统讲解核心指标、辅助指标与代理指标的选择逻辑与使用场景。
4.1 核心指标：直接衡量策略效果
核心指标是评估风控策略是否达到业务目标的直接度量，通常与资金损失或风险暴露直接相关。在信贷风控场景中，三个最核心的指标是：通过率、逾期率和欺诈率。
| 指标名称 | 定义 | 业务含义 | 实验中的注意事项 |
|---|---|---|---|
| 通过率 | 通过风控策略的申请量 / 总申请量 | 反映策略的宽松程度与业务增长空间 | 需结合逾期率看，避免为提升通过率而过度放松风险 |
| 逾期率 | 逾期一定天数的订单数 / 通过订单总数 | 反映策略对信用风险的识别能力 | 需定义明确的逾期口径（如M1、M3），且观察窗口要足够长 |
| 欺诈率 | 被标记为欺诈的订单数 / 通过订单总数 | 反映策略对欺诈行为的拦截效果 | 欺诈标签通常有滞后性，需考虑人工审核或催收确认的周期 |
实践要点：核心指标必须同时关注“量”与“质”。例如，实验组通过率提升5%，但逾期率也上升了3%，则策略可能得不偿失。建议将通过率×（1 - 逾期率）作为复合指标进行监控。
4.2 辅助指标：评估策略的副作用
辅助指标用于衡量风控策略对用户体验和系统性能的间接影响。即使核心指标表现优异，如果辅助指标严重恶化，策略也可能无法上线。
- 响应时间：从用户提交申请到收到审批结果的平均耗时。风控策略中新增的规则或模型如果计算复杂度过高，会显著增加响应时间，导致用户流失。
- 用户申诉率：被拒绝用户中发起申诉的比例。高申诉率可能意味着策略存在误杀，需要人工复核或规则调优。
- 人工审核率：触发人工审核流程的订单比例。策略越严格，人工审核率可能越高，带来运营成本上升。
常见陷阱：不要只关注核心指标而忽略辅助指标。例如，某策略将欺诈率从2%降至0.5%，但响应时间从1秒增加到10秒，导致用户大量流失，最终业务收入反而下降。辅助指标是策略能否落地的“安全阀”。
4.3 代理指标：在数据不足时的替代方案
在风控A/B测试中，有时无法直接观测到核心指标（如逾期率需要等待3-6个月），此时需要使用代理指标进行短期评估。代理指标必须与核心指标存在强相关性，且能够被快速测量。
代理指标选择原则：
- 相关性：代理指标与核心指标的相关系数应大于0.7。
- 时效性：代理指标可在实验结束后1-3天内获取。
- 可解释性：代理指标的变化方向应与核心指标一致。
常见的代理指标示例：
| 核心指标 | 代理指标 | 使用场景 |
|---|---|---|
| 逾期率（M3+） | 首期逾期率（DPD1-7） | 短期信贷产品，首期逾期与长期逾期高度相关 |
| 欺诈率 | 设备关联风险分、IP异常率 | 实时风控场景，欺诈标签滞后时使用 |
| 通过率 | 规则命中率、模型分数分布偏移 | 策略调整后，快速评估对用户筛选的影响 |
4.4 指标选择流程与SVG架构图
在实际风控A/B测试中，指标选择应遵循以下流程：
- 明确实验目标：是降低逾期、拦截欺诈，还是提升通过率？
- 确定核心指标：根据目标选择1-2个直接度量指标。
- 补充辅助指标：评估策略对用户体验和系统性能的影响。
- 设计代理指标：如果核心指标有滞后性，提前定义代理指标。
- 设定决策阈值：明确核心指标和辅助指标的“通过/不通过”标准。
4.5 指标设计的常见误区与避坑指南
在实际项目中，指标设计环节容易出现以下问题：
- 指标过多：同时监控10+个指标，导致实验结论模糊，无法判断策略是否有效。建议核心指标≤2个，辅助指标≤3个。
- 代理指标未验证：直接使用代理指标替代核心指标，但两者相关性不足，导致错误结论。代理指标必须通过历史数据验证。
- 忽略指标之间的冲突：例如通过率提升的同时逾期率也上升，需要设定复合决策标准（如：通过率提升≥3%且逾期率上升≤0.5%）。
- 观察窗口不足：逾期率等指标需要足够长的观察周期，过早下结论可能导致策略误判。
最佳实践：在实验设计阶段，建议使用指标矩阵进行决策。例如：
| 实验组 vs 对照组 | 通过率 | 逾期率 | 决策 |
|---|---|---|---|
| 情况A | ↑ 5% | ↓ 1% | 上线 |
| 情况B | ↑ 5% | ↑ 2% | 拒绝 |
| 情况C | ↓ 2% | ↓ 3% | 需人工评估 |
4.6 指标体系的动态调整
风控策略的A/B测试不是一次性工作。随着业务发展和风险环境变化，指标体系也需要动态调整：
- 业务初期：重点关注通过率和欺诈率，快速验证策略有效性。
- 业务稳定期：增加逾期率、用户申诉率等指标，平衡风险与体验。
- 业务扩张期：引入响应时间、系统负载等辅助指标，确保策略可规模化。