2. 金融文本任务概览
金融文本模型评估的第一步，不是急着算指标，而是先厘清“任务到底是什么”。同一个句子，在情感分析里是判断情绪极性，在事件抽取里是识别事件触发词与要素，在合规审查里则可能变成风险条款的判定。任务定义不同，标注规范、输出结构、评估口径都会随之改变。本节围绕六类典型金融文本任务，梳理其定义、输出形态与评估难点，为后续的错误分析建立统一坐标系。
一、六类核心任务的定义与输出形态
金融文本任务通常可归为六类：情感分析、事件抽取、关系抽取、问答、摘要、合规审查。它们的输入都是金融文本，但输出粒度差异很大，从单一标签到结构化三元组，再到生成式长文本，评估方式也完全不同。
| 任务 | 典型输入 | 输出形态 | 核心评估难点 |
|---|---|---|---|
| 情感分析 | 研报、公告、股评、新闻 | 极性标签 / 强度分值 / 方面级情感 | 领域极性漂移、隐式情感、方面与极性错配 |
| 事件抽取 | 公告、新闻、监管通报 | 触发词 + 事件类型 + 论元角色 | 事件边界模糊、论元嵌套、跨句事件 |
| 关系抽取 | 公司公告、股权披露、新闻 | 实体对 + 关系类型 | 关系方向、隐式关系、实体指代消解 |
| 问答 | 财报、招股书、监管问答 | 答案片段 / 数值 / 是否判断 | 数值推理、多跳检索、答案边界 |
| 摘要 | 长公告、年报、会议纪要 | 抽取式 / 生成式摘要 | 事实一致性、数值保真、冗余与遗漏 |
| 合规审查 | 合同、营销材料、披露文件 | 风险标签 / 条款定位 / 违规类型 | 规则动态变化、长尾风险、误报代价高 |
从表中可以看出，任务越靠后，输出越开放，评估越依赖人工判断与业务规则。情感分析和关系抽取可以较容易地计算准确率、召回率，而摘要和合规审查往往需要结合事实一致性、风险覆盖率和人工复核成本来综合评估。
二、评估难点的来源：语言、领域与业务三重叠加
金融文本的评估难点并非单一来源，而是语言特性、领域知识和业务约束三重叠加的结果。理解这一点，才能避免把评估问题简单归因于“模型不够好”。
- 语言层面：金融文本存在大量缩写、指代、否定和条件句。例如“不低于”“除非……否则”会直接反转情感或合规判定。
- 领域层面：同一词在不同金融子领域极性不同。“风险”在风控报告中是中性术语，在股评中可能偏负面。
- 业务层面：合规审查的漏报代价远高于误报，评估指标需要非对称设计，不能只看F1。
评估提示：在定义任务时，先明确“错误代价矩阵”。同样是分类错误，把“违规”判成“合规”和把“合规”判成“违规”，业务影响可能相差一个数量级。
三、从任务到评估流程：一个可复用的分析框架
面对一个新任务，建议按以下流程建立评估方案，而不是直接套用通用指标。
- 明确输出结构：是标签、片段、三元组还是自由文本？结构决定可计算指标。
- 定义标注规范：给出正例、负例和边界案例，尤其是嵌套和跨句情况。
- 选择主指标与辅助指标：主指标对齐业务目标，辅助指标用于诊断。
- 建立错误分类体系：按语言、领域、业务三层归因，便于后续错误分析。
- 设计抽样复核：对生成式任务和合规任务，必须保留人工复核环节。
以事件抽取为例，若只计算触发词识别的F1，会掩盖论元角色错配的问题。更合理的做法是分别评估触发词、事件类型和论元角色，并单独统计跨句事件的召回率。
# 事件抽取分层评估示例
trigger_f1 = 0.86
event_type_f1 = 0.81
argument_f1 = 0.73
cross_sentence_recall = 0.42
# 诊断结论：论元与跨句事件是主要短板
四、案例与误区复盘
某团队在研报情感分析任务上报告了0.92的准确率，但上线后业务方反馈“负面预警经常漏报”。复盘发现，标注规范把“下调评级”统一标为负面，但模型学到了“下调”这个词的表面极性，忽略了“下调至中性”与“下调至卖出”的强度差异。问题不在模型容量，而在任务定义阶段没有区分极性与强度。
常见误区：把“任务定义”当成一句话描述，而不是一套可执行的标注与评估契约。任务定义不清，后续所有指标都不可信。
另一个典型误区是混用不同任务的指标。例如用摘要的ROUGE去评估问答，或用分类的准确率去评估合规审查。指标与任务不匹配，会导致评估结果看似漂亮，却无法指导优化。
五、任务全景与评估关注点
下图将六类任务按“输出结构化程度”和“评估人工依赖度”两个维度展开，帮助快速定位每类任务在评估体系中的位置。
从图中可以看到，情感分析和关系抽取位于左下区域，结构化程度较高、人工依赖较低，适合自动化指标；摘要和合规审查位于右上区域，输出开放、人工依赖高，必须结合抽样复核和业务规则。事件抽取和问答处于中间地带，需要分层评估。