4. 可信度评测体系
在金融RAG系统中，幻觉检测不能停留在“看起来对不对”的直觉判断，而必须建立一套可复现、可审计、可量化的可信度评测体系。本节围绕四个核心问题展开：评什么、怎么算、谁来评、合规底线在哪里。评测体系的目标不是追求单一分数，而是形成对系统输出可信度的多维画像，支撑上线决策与持续迭代。
一、核心原理：可信度是多维约束下的综合判断
金融场景对RAG输出的要求远高于通用问答。一个回答即使语言流畅、事实正确，若引用了过期监管条款、遗漏风险揭示、或给出未经授权的投资建议，仍然不可信。因此，可信度评测应同时覆盖事实性、忠实性、完整性、时效性、合规性五个维度。事实性关注内容是否与客观事实一致；忠实性关注回答是否忠实于检索到的证据；完整性关注关键信息是否遗漏；时效性关注引用法规与数据是否在有效期内；合规性关注是否触碰金融监管红线。
二、方法流程：从维度到指标再到评测执行
评测体系的设计遵循“维度→指标→数据→执行→报告”的链路。首先将每个维度拆解为可观测指标，再为指标设计人工与自动评测方法，最后汇总为可信度报告。以下是一个可落地的指标清单：
| 维度 | 核心指标 | 自动评估方法 | 人工评估重点 |
|---|---|---|---|
| 事实性 | 事实错误率、幻觉率 | 基于知识库的实体/数值比对 | 复杂推理链的事实核查 |
| 忠实性 | 引用支持度、无依据断言比例 | NLI蕴含判断、引用溯源 | 证据与结论的因果一致性 |
| 完整性 | 关键要素覆盖率 | 关键点抽取与匹配 | 风险提示、免责声明的完整性 |
| 时效性 | 过期引用率 | 法规版本号与生效日期校验 | 新旧条款适用场景判断 |
| 合规性 | 违规表述命中率 | 敏感词与规则引擎 | 投资建议、承诺收益等语义判断 |
自动评估适合高频、规则明确、可批量执行的场景，例如数值比对、法规版本校验、敏感词命中。人工评估适合语义复杂、需要专业判断的场景，例如投资建议边界、风险揭示充分性。实践中通常采用“自动初筛+人工复核”的混合模式，自动评估负责召回可疑样本，人工评估负责确认与定级。
# 自动评估示例：法规时效性校验
def check_regulation_freshness(cited_doc, current_date):
effective = cited_doc.get("effective_date")
abolished = cited_doc.get("abolished_date")
if abolished and abolished <= current_date:
return "expired", 0.0
if effective and effective > current_date:
return "not_yet_effective", 0.0
return "valid", 1.0
三、案例/场景：混合评测在金融问答中的落地
某券商智能投顾RAG系统上线前，评测团队抽取了500条真实用户问题，覆盖产品咨询、法规解读、风险提示三类场景。自动评估先运行规则引擎与NLI模型，标记出87条高风险样本；人工评估由3名金融合规专家独立打分，采用5分制并计算一致性。结果显示：自动评估在“过期引用”上召回率高，但在“投资建议边界”上误报较多，因为模型难以区分“客观描述产品风险”与“变相承诺收益”。最终团队调整策略：自动评估阈值放宽，人工评估聚焦语义边界，整体评测效率提升约40%。
四、误区/复盘：评测体系常见的四个陷阱
- 唯分数论：将可信度压缩为单一分数，忽略合规一票否决。正确做法是设置红线项，违规直接判定不可用，不参与加权平均。
- 自动评估过度自信：用NLI模型替代人工判断投资建议边界，导致大量漏报。自动评估应定位为召回工具，而非最终裁决。
- 评测集与真实分布脱节：仅用构造样本评测，未覆盖长尾问题。应定期从线上日志采样，保持评测集与真实场景同分布。
- 忽略时效性：法规更新后未同步评测集，导致过期引用被误判为正确。需建立法规版本库与评测集联动更新机制。
综上，可信度评测体系的核心在于：维度覆盖风险、指标可观测、自动与人工各司其职、合规红线独立于分数之外。只有将评测嵌入研发与运营闭环，才能让RAG系统在金融场景中真正可信。