3. 评估体系总览：评估目标、评估维度与流程框架

反欺诈图谱的评估不是一次性的“通过/不通过”测试，而是一个贯穿模型开发、上线、迭代全生命周期的系统工程。本章从顶层视角构建评估体系，明确“为什么评估、评估什么、怎么评估”三个核心问题，为后续各维度的深入实战奠定框架基础。

3.1 评估目标：从业务价值到技术验证

反欺诈图谱的评估目标可归纳为三个层次，层层递进：

3.2 评估四大维度：准确性、覆盖率、时效性、可解释性

我们将评估维度抽象为四个核心支柱，它们共同构成反欺诈图谱的“健康仪表盘”。

3.2.1 准确性（Accuracy）

衡量图谱识别结果与真实欺诈标签的一致程度。这是评估的基石，包含：

• 节点/边准确性：实体识别是否正确、关系是否真实。
• 推理准确性：基于图谱的规则或模型输出是否命中真实欺诈。
• 误报率（FPR）：将正常行为误判为欺诈的比例，直接影响用户体验。

3.2.2 覆盖率（Coverage）

衡量图谱对欺诈风险的发现广度。高覆盖率意味着图谱能捕捉到更多隐蔽、新型的欺诈模式。

• 实体覆盖率：图谱中关联的实体占全量业务实体的比例。
• 风险覆盖率：图谱能检测到的欺诈类型占已知欺诈类型的比例。
• 冷启动覆盖率：对新用户、新设备、新场景的覆盖能力。

3.2.3 时效性（Timeliness）

衡量从欺诈事件发生到图谱完成识别并输出结果的时间差。在实时反欺诈场景中，时效性往往比准确性更关键。

• 数据新鲜度：图谱数据与业务数据的时间差（秒级/分钟级/小时级）。
• 查询响应时间：单次图谱查询的P99延迟。
• 模型更新周期：图谱特征或规则更新的频率。

3.2.4 可解释性（Explainability）

衡量图谱输出结果是否能够被业务人员、审核人员或监管机构理解与信任。

• 路径可解释：能否展示从“风险实体”到“目标实体”的关联路径。
• 规则可解释：触发告警的具体规则或模式是否清晰。
• 可视化可解释：图谱子图是否直观、易于人工研判。

3.3 评估流程框架：从数据准备到持续监控

一个完整的评估流程包含五个阶段，形成闭环。以下框架适用于离线评估与在线评估两种场景。

3.4 评估体系落地要点

在实际项目中，评估体系的落地需要关注以下三个关键点：

1. 指标优先级排序：根据业务场景确定各维度的权重。例如，实时支付反欺诈场景下，时效性权重最高；而合规审查场景下，可解释性权重最高。
2. 基线对比机制：每次评估必须与历史版本或基准模型进行对比，避免“自说自话”。建议建立统一的评估基线库。
3. 评估自动化：将评估流程（数据准备→指标计算→报告生成）脚本化、自动化，支持定期（如每日/每周）自动跑批，减少人工干预。