4、实验指标设计：风控场景核心指标与北极星指标
在实时风控网关的 A/B 测试中，指标设计直接决定实验结论的有效性。风控场景具有“攻防对抗”特性，单一指标无法反映模型真实效果，必须构建分层指标体系，并最终收敛到北极星指标。
4.1 风控场景核心指标
核心指标直接度量风控模型的技术性能，是实验对比的基础。以下四个指标构成风控 A/B 测试的“仪表盘”：
| 指标名称 | 定义 | 计算公式 | 理想方向 |
|---|---|---|---|
| 拦截率 | 模型判定为风险并阻断的请求占总请求的比例 | 拦截量 / 总请求量 × 100% | 高（但需结合误杀率） |
| 误杀率 | 被错误拦截的正常请求占所有正常请求的比例 | 误拦截量 / 正常请求总量 × 100% | 低 |
| 通过率 | 模型判定为正常并放行的请求占总请求的比例 | 放行量 / 总请求量 × 100% | 适中（过高可能漏过风险） |
| 响应时间 | 风控网关从接收请求到返回决策结果的耗时 | P50 / P99 延迟（毫秒） | 低（P99 < 50ms） |
避坑提示： 拦截率与通过率之和为 100%，但误杀率与拦截率无直接算术关系。误杀率的分母是“真实正常请求”，而拦截率的分母是“总请求”。切勿将两者混淆计算。
4.2 业务指标：从技术效果到商业价值
核心指标反映模型“做对了没有”，业务指标则回答“对业务有没有好处”。风控实验必须同时观测以下两个业务指标：
- 转化率： 用户完成核心目标（如支付成功、注册完成）的比例。风控模型过严会误杀正常用户，导致转化率下降。
- 客诉率： 因风控拦截而发起客服投诉的用户数占所有被拦截用户的比例。客诉率上升通常意味着误杀严重或拦截策略不透明。
案例： 某支付场景实验，新模型拦截率提升 5%，但转化率下降 2%，客诉率上升 15%。此时不能简单判定新模型“更好”，需要结合业务损失综合评估。
4.3 指标拆解：从北极星到可观测子指标
北极星指标是风控实验的最终决策依据，通常定义为“在保证业务健康的前提下，最大化风险拦截效果”。为使其可度量、可拆解，需要按以下结构进行指标拆解：
4.4 北极星指标定义与决策逻辑
在实时风控网关场景中，北极星指标通常定义为：
北极星指标 = 拦截率 × α - 误杀率 × β - 客诉率 × γ + 转化率 × δ
其中：
α、β、γ、δ 为业务权重系数，由业务方与风控方共同确定
权重系数需在实验前固定，实验期间不允许调整
重要： 北极星指标不是简单的算术组合，而是业务决策的“裁判”。当两个实验组在核心指标上各有优劣时，北极星指标提供唯一的排序依据。例如：A 组拦截率高但误杀率也高，B 组拦截率略低但误杀率极低，此时北极星指标决定哪个方案胜出。
4.5 指标设计检查清单
在启动 A/B 测试前，请逐项确认以下检查点：
- 完整性： 是否同时包含核心指标与业务指标？
- 可观测性： 每个指标是否能在实验周期内稳定采集？
- 无偏性： 指标是否会被实验分组本身影响（如分流不均导致转化率偏差）？
- 时效性： 响应时间指标是否区分 P50 和 P99？P99 更能反映极端延迟。
- 一致性： 北极星指标的权重系数是否在实验前冻结？
实战建议： 在实验看板中，将核心指标与业务指标分左右两栏展示，左侧为技术指标（拦截率、误杀率、通过率、响应时间），右侧为业务指标（转化率、客诉率），底部显示北极星指标的综合得分。这种布局便于快速定位问题。