3. 效果评估指标体系
实时风控网关的评估不能仅依赖单一指标。本章构建一套完整的指标体系，从准确性、覆盖度、效率三个维度量化网关效果，为后续回放对比提供量化基准。
3.1 核心评估指标定义
以下表格汇总了实时风控网关最关键的 7 项指标，涵盖分类性能与性能开销。
| 指标名称 | 公式 | 核心含义 | 理想方向 |
|---|---|---|---|
| 准确率 (Accuracy) | (TP+TN) / (TP+TN+FP+FN) | 所有判断中正确的比例 | ↑ 高 |
| 精确率 (Precision) | TP / (TP+FP) | 拦截的请求中真实风险的比例 | ↑ 高 |
| 召回率 (Recall) | TP / (TP+FN) | 真实风险中被成功拦截的比例 | ↑ 高 |
| F1-score | 2 * (P*R) / (P+R) | 精确率与召回率的调和平均 | ↑ 高 |
| 误杀率 (False Positive Rate) | FP / (FP+TN) | 正常请求被错误拦截的比例 | ↓ 低 |
| 漏过率 (False Negative Rate) | FN / (TP+FN) | 真实风险未被拦截的比例 | ↓ 低 |
| 平均决策耗时 | Σ(决策耗时) / N | 单次请求从入网关到出结果的耗时 | ↓ 低 |
实践提示：在风控场景中，误杀率和漏过率往往比准确率更具业务指导意义。一个 99% 准确率的网关，如果误杀率高达 5%，对高并发电商业务可能意味着每天数万笔正常订单被拒。
3.2 指标关系与权衡
精确率与召回率存在天然的反向关系。提高拦截阈值会提升精确率（拦截更准），但会降低召回率（放过更多风险）。F1-score 通过调和平均给出一个综合平衡点。
- 高精确率 + 低召回率：适合资金转账等对误杀极度敏感的场景。
- 低精确率 + 高召回率：适合注册、登录等宁可错杀不可放过的场景。
- 误杀率 vs 漏过率：两者之和并非固定，取决于模型区分度。
3.3 平均决策耗时分解
实时风控网关的延迟直接影响用户体验。平均决策耗时可进一步拆解为以下阶段：
- 特征提取耗时：从请求中提取 IP、设备指纹、行为序列等特征。
- 规则/模型推理耗时：执行规则引擎或调用模型进行评分。
- 策略决策耗时：根据评分和策略树输出最终动作（放行/拦截/人工审核）。
- 结果回写耗时：将决策结果写入日志或缓存。
性能基线参考：在 99 分位（P99）下，实时风控网关的端到端耗时通常要求控制在 50ms 以内，其中模型推理占比不应超过 60%。
3.4 指标使用场景对照
不同业务场景对指标的关注重点不同。下表给出典型场景的指标优先级：
| 业务场景 | 首要指标 | 次要指标 | 容忍范围 |
|---|---|---|---|
| 支付交易 | 漏过率 | 精确率 | 漏过率 < 0.1% |
| 账户注册 | 召回率 | 误杀率 | 误杀率 < 2% |
| 内容发布 | 精确率 | F1-score | 精确率 > 95% |
| 营销活动 | 平均决策耗时 | 准确率 | 耗时 < 30ms |
避坑提醒：不要单独使用准确率评估风控网关。在样本不平衡（正常请求占 99%）的情况下，一个“全部放行”的网关也能达到 99% 准确率，但漏过率高达 100%，完全失效。