3. 评测体系概览
金融智能体的评测不是给模型“打个总分”，而是围绕业务风险与任务目标建立一套可复现、可归因、可对比的度量体系。一个完整的评测体系通常由三层构成：评测维度回答“从哪些角度考察”，评测指标回答“用什么数值刻画表现”，基准数据集回答“在什么样本上考察”。三者缺一不可，否则评测结论要么无法解释，要么无法复现。
一、核心原理：五维评测框架
金融场景对智能体的要求远高于通用问答，核心可归纳为五个维度：
- 准确性（Accuracy）：答案与事实、计算结果、监管口径是否一致。金融领域对数值精度、单位、时间口径极其敏感，1%的偏差可能直接导致投资建议失效。
- 鲁棒性（Robustness）：面对输入扰动、缺失字段、对抗性提问、多轮上下文漂移时，输出是否稳定。例如把“年化收益率”改成“年化收益”，或注入无关噪声，观察结论是否漂移。
- 可解释性（Explainability）：能否给出推理链路、引用来源、计算过程。金融合规要求“可追溯”，黑箱结论难以通过审计。
- 合规性（Compliance）：是否触发适当性管理、反洗钱、信息披露、投资建议边界等红线。合规性通常是一票否决项。
- 效率（Efficiency）：首字延迟、端到端时延、单次调用成本、并发吞吐。高频交易、实时风控场景对时延要求可达毫秒级。
五个维度并非等权。在投顾场景中合规性权重最高；在量化研究场景中准确性与效率优先；在客户服务场景中鲁棒性与可解释性更关键。评测前必须先确定权重策略。
二、评测指标与计算方式
每个维度都需要落到可计算的指标上。下表给出常用指标及其适用场景：
| 维度 | 典型指标 | 计算要点 | 适用场景 |
|---|---|---|---|
| 准确性 | EM、F1、数值误差率、事实一致率 | 数值题用相对误差；文本题用语义匹配或人工标注 | 财报问答、指标计算 |
| 鲁棒性 | 扰动通过率、方差、最差子集得分 | 对同一问题做同义改写、噪声注入后对比 | 客服、舆情分析 |
| 可解释性 | 引用命中率、推理链完整度、人工评分 | 检查是否给出数据来源与中间步骤 | 投研报告、合规审查 |
| 合规性 | 违规率、拒答准确率、红线触发率 | 构造诱导性提问，统计越界比例 | 投顾、营销文案 |
| 效率 | P50/P95时延、成本、QPS | 压测与真实流量采样结合 | 实时风控、交易助手 |
指标设计要避免两个常见错误：一是用单一总分掩盖维度短板，例如准确率90%但合规违规率5%，总分再高也不可用；二是指标与业务目标脱节，例如用BLEU衡量金融数值问答，几乎无意义。
三、基准数据集介绍
基准数据集是评测的“考卷”。金融领域常用数据集可分为三类：
- 通用金融知识类：如FiQA、FinQA，覆盖财报、市场概念问答，适合考察准确性与可解释性。
- 数值推理类：如TAT-QA、ConvFinQA，要求从表格与文本中抽取数据并计算，重点考察数值误差率与推理链。
- 合规与安全类：多为机构自建，包含诱导性提问、适当性测试、反洗钱场景，用于合规性一票否决测试。
使用基准数据集时需注意：公开数据集往往与本地业务分布不一致，建议采用“公开集预筛 + 业务集终评”的两段式策略。业务集应从真实日志中采样，并做脱敏与标注。
# 评测配置示例（YAML）
eval:
dimensions:
accuracy: {weight: 0.30, metrics: [em, numeric_error]}
robustness: {weight: 0.20, metrics: [perturb_pass_rate]}
explainability: {weight: 0.15, metrics: [citation_hit]}
compliance: {weight: 0.25, metrics: [violation_rate], veto: true}
efficiency: {weight: 0.10, metrics: [p95_latency, cost_per_call]}
datasets:
- name: finqa_sample
path: data/finqa_500.jsonl
- name: compliance_redline
path: data/redline_200.jsonl
thresholds:
violation_rate_max: 0.01
p95_latency_ms_max: 3000
四、案例与误区复盘
某团队曾用公开FinQA数据集评测投顾智能体，准确率达到88%，但上线后一周内出现多起适当性投诉。复盘发现：公开集几乎不包含“风险等级不匹配”的合规样本，导致合规维度未被有效覆盖。后续他们补充了200条红线样本，违规率从“未测”变为可量化，并触发了一票否决。
常见误区：把基准数据集得分等同于生产可用性；忽略维度权重与一票否决项；只测单轮、不测多轮上下文；只测平均分、不看最差子集。评测体系的价值在于暴露失败，而非证明成功。
落地时建议把评测体系固化为流水线：每次模型或提示词变更，自动跑一遍五维评测，输出维度雷达图与失败样本清单。只有把“评测—诊断—修复—回归”闭环跑通，评测体系才真正产生工程价值。