4. 准确性评估（上）：实体识别准确率、关系抽取准确率、属性填充正确率
准确性是金融知识图谱回放效果评估的核心维度，直接决定图谱能否支撑风控、投研、监管报送等关键业务。本章聚焦三类基础指标的数学定义、计算逻辑与金融场景适配方法。
4.1 实体识别准确率（NER Precision / Recall / F1）
实体识别（Named Entity Recognition, NER）是从非结构化文本中抽取预定义类型（如公司名、人名、产品名、金额、日期）的实体边界与类别。评估时采用严格匹配与宽松匹配两种粒度。
4.1.1 核心指标定义
| 指标 | 公式 | 金融场景含义 |
|---|---|---|
| Precision（精确率） | TP / (TP + FP) | 抽取出的实体中，真正正确的比例。过高 FP 会导致图谱中混入噪声实体，误导关联查询。 |
| Recall（召回率） | TP / (TP + FN) | 真实存在的实体中，被成功抽取的比例。过低 FN 会遗漏关键实体，造成图谱不完整。 |
| F1-Score | 2 × (P × R) / (P + R) | 精确率与召回率的调和平均，综合反映实体识别质量。 |
金融场景提示： 在年报、公告、研报中，实体类型往往高度集中（如公司名、金额、日期）。建议按实体类型分别计算指标，避免高频类型掩盖低频类型的低质量。
4.1.2 实体识别评估流程
- 构建黄金标准（Gold Standard）： 由金融领域专家对回放文本进行实体标注，确保边界与类型准确。
- 对齐预测与标准： 按“实体文本 + 起始偏移 + 类型”三元组进行严格匹配；也可按“实体文本 + 类型”进行宽松匹配。
- 统计 TP / FP / FN：
- TP： 预测实体与黄金标准完全一致。
- FP： 预测实体在黄金标准中不存在或类型错误。
- FN： 黄金标准中的实体未被预测到。
- 计算指标： 按上述公式逐类型计算 Precision、Recall、F1，并汇总宏观平均（Macro-Avg）与微观平均（Micro-Avg）。
案例： 某金融 NER 模型在 100 条测试文本中预测出 120 个实体，黄金标准中有 100 个实体。经对齐，TP=80，FP=40，FN=20。则 Precision=80/(80+40)=0.667，Recall=80/(80+20)=0.800，F1=0.727。该模型召回尚可但精确率偏低，需重点降低 FP。
4.2 关系抽取准确率
关系抽取（Relation Extraction, RE）识别实体对之间的语义关系，如“<公司A> 投资 <公司B>”、“<产品X> 属于 <公司Y>”。关系抽取的准确性直接影响知识图谱的语义连通性。
4.2.1 评估指标
| 指标 | 定义 | 金融场景关注点 |
|---|---|---|
| 关系精确率 | 正确抽取的关系数 / 所有抽取的关系数 | 避免错误关系导致图谱推理路径断裂或误导。 |
| 关系召回率 | 正确抽取的关系数 / 黄金标准中的关系总数 | 确保关键业务关系（如担保、关联交易）不被遗漏。 |
| 关系 F1 | 2 × (P × R) / (P + R) | 综合衡量关系抽取的平衡性。 |
4.2.2 评估注意事项
- 实体对齐前提： 关系评估前需确保参与关系的实体已被正确识别。若实体识别错误，关系评估结果会失真。
- 关系类型粒度： 金融领域关系类型通常较细（如“控股”、“参股”、“担保”、“质押”），建议按关系类型分别评估。
- 方向敏感性： 关系具有方向性（如“A 投资 B”与“B 投资 A”不同），评估时需严格区分方向。
常见陷阱： 在金融文本中，同一实体对可能同时存在多种关系（如“A 是 B 的股东”和“A 是 B 的董事”）。评估时需确保关系类型不混淆，避免将“股东”关系误判为“董事”关系。
4.3 属性填充正确率
属性填充（Attribute Filling）为实体补充结构化属性值，如为“公司”实体填充“注册资本”、“成立日期”、“行业分类”等。属性填充正确率衡量属性值抽取的准确性。
4.3.1 评估方法
| 评估维度 | 计算方式 | 示例（公司实体） |
|---|---|---|
| 属性值精确率 | 正确填充的属性值数 / 所有填充的属性值数 | 预测注册资本“1亿元”，黄金标准“1.2亿元”→ 错误 |
| 属性值召回率 | 正确填充的属性值数 / 黄金标准中应填充的属性值总数 | 黄金标准要求填充5个属性，模型只填充了3个正确值→ 召回率60% |
| 属性填充覆盖率 | 已填充属性的实体数 / 应填充属性的实体总数 | 100个公司实体中，80个成功填充了注册资本→ 覆盖率80% |
4.3.2 属性填充评估流程
- 定义属性模板： 为每种实体类型定义需要填充的属性列表（如公司实体：注册资本、成立日期、注册地址、法定代表人、行业分类）。
- 构建黄金标准： 从权威数据源（如工商登记信息、年报）获取属性真实值。
- 逐属性对齐： 将模型填充的属性值与黄金标准进行精确匹配（数值需归一化后比较，如“1亿元”与“100,000,000元”视为一致）。
- 计算指标： 按属性类型分别计算精确率、召回率，并汇总整体正确率。
数值归一化示例： 金融文本中金额表述多样，如“1.2亿”、“120,000,000”、“1.2亿元”。评估前需统一转换为标准数值格式（如 120000000），避免因格式差异导致误判。
4.4 综合评估建议
- 分层评估： 先评估实体识别，再评估关系抽取，最后评估属性填充。前序环节的错误会累积到后续环节。
- 按类型细分： 金融实体类型多样（公司、人物、产品、事件、金额、日期），建议按类型分别计算指标，定位薄弱环节。
- 设定阈值： 根据业务场景设定可接受的最低指标（如实体识别 F1 ≥ 0.85，关系抽取 F1 ≥ 0.75，属性填充正确率 ≥ 0.90）。
- 人工抽检： 定期对评估结果进行人工抽检，确保黄金标准质量，避免因标注错误导致评估失真。
工具推荐： 可使用
seqeval（Python 库）进行实体识别评估，使用自定义脚本进行关系与属性评估。评估结果建议以 JSON 格式持久化，便于后续对比分析。