4. 金融文本数据特性
在金融文本模型评估中，模型结构往往不是决定成败的第一因素，数据特性才是。金融文本来自公告、研报、新闻、社交媒体、监管文件、电话会议记录、交易日志等多类来源，天然带有多源异构、时序敏感、专业术语密集、噪声标注、类别不平衡与数据泄漏风险六大特性。理解这些特性，才能设计出可信的评估方案与错误分析路径。
一、核心原理：六大特性如何影响模型评估
多源异构意味着同一事件在不同来源中的表述、粒度、可信度差异巨大。例如上市公司公告用词严谨、结构固定；社交媒体则口语化、情绪化、碎片化。若评估集只覆盖单一来源，模型在真实业务中的泛化能力会被高估。
时序敏感是金融文本最容易被忽视的特性。金融预测任务中，训练集、验证集、测试集必须按时间切分，而不能随机切分。随机切分会让未来信息泄漏到过去，导致离线指标虚高。评估时必须明确：模型在时间点 t 只能看到 t 之前的信息。
专业术语方面，金融领域存在大量缩写、同义词、隐喻和监管用语，如“缩表”“戴维斯双击”“商誉减值”“非标资产”。通用分词器和预训练模型容易切错或理解偏差，评估时需要专门构造术语密集型测试子集。
噪声标注在金融文本中尤为普遍。情感标注常因标注者专业背景不同而分歧；事件类型标注可能因公告表述模糊而边界不清。评估时不能只看总体准确率，还要看标注一致性，如 Cohen's Kappa 或 Krippendorff's Alpha。
类别不平衡体现在违约、欺诈、重大风险事件等正例极少。若测试集正例只有几十条，准确率再高也没有意义。评估应重点关注召回率、F1、AUC-PR，并报告置信区间。
数据泄漏风险包括：同一文档的重复样本跨集合出现、未来公告被误放入训练集、标签由未来信息构造、实体链接使用了全量知识库等。评估前必须做泄漏审计。
二、方法流程：面向金融文本的评估数据构建
建议按以下流程构建评估集，避免“先训后测”的随意性：
- 来源分层：按公告、研报、新闻、社交媒体、监管文件分层抽样，确保每层都有足够样本。
- 时间切分：以业务预测时点为界，训练集早于验证集早于测试集，禁止随机打乱。
- 术语覆盖：统计术语密度，构造高术语密度子集，单独评估。
- 标注质检：双人标注，计算 Kappa，对分歧样本进行仲裁。
- 不平衡处理：保留原始分布，同时报告重采样后的指标，避免误导。
- 泄漏审计：检查文档指纹、实体链接、标签构造是否引入未来信息。
三、案例/场景：一条公告引发的评估偏差
某团队用随机切分评估“公告情感分类”模型，准确率 92%。上线后却发现对负面公告召回率极低。复盘发现：测试集中大量样本与训练集来自同一公司同一事件的重复公告，且部分未来公告被误放入训练集。重新按时间切分并去重后，准确率降至 78%，负面召回率仅 54%。这说明数据泄漏与类别不平衡会共同制造虚假繁荣。
另一个场景是研报摘要抽取。通用模型在“营收”“净利润”等常见术语上表现良好，但在“非经常性损益”“扣非净利润”“经营性现金流净额”等专业术语上错误率显著上升。错误分析显示，分词器将这些术语切碎，导致实体边界识别失败。解决方式是加入金融词典与领域继续预训练，并在评估集中单独统计术语密集子集。
| 数据特性 | 典型表现 | 评估风险 | 应对动作 |
|---|---|---|---|
| 多源异构 | 公告严谨、社媒口语化 | 单一来源评估高估泛化 | 分来源分层测试 |
| 时序敏感 | 未来公告混入训练集 | 离线指标虚高 | 按时间切分与泄漏审计 |
| 专业术语 | 术语被切碎、语义偏移 | 术语密集样本错误集中 | 术语子集单独评估 |
| 噪声标注 | 标注者分歧大 | 指标波动不可解释 | Kappa 检验与仲裁 |
| 类别不平衡 | 正例极少 | 准确率失去意义 | F1、AUC-PR、召回率 |
| 数据泄漏 | 重复样本跨集合 | 评估结果不可信 | 指纹去重与时间隔离 |
四、误区/复盘：常见错误与修正
误区二：只看准确率。修正：在不平衡场景下，准确率会被多数类主导，应报告 F1、AUC-PR 与召回率。
误区三：忽略标注噪声。修正：先算标注一致性，再谈模型上限；低一致性类别应合并或剔除。
误区四：把多源数据混在一起评估。修正：分来源报告指标，观察模型在哪些来源上失效。
误区五：不做泄漏审计。修正：用文档指纹、时间戳、实体链接检查训练集是否“偷看”了测试集。
错误分析时，建议按以下维度切片：来源、时间窗口、术语密度、类别、标注一致性。每个切片都计算指标与样本量，避免小样本波动被误读。对于金融文本，可解释的错误归因比单一指标更重要，因为业务方需要知道模型在什么条件下不可靠。
# 示例：按时间切分并检查泄漏
import pandas as pd
df = pd.read_csv("financial_text.csv", parse_dates=["publish_time"])
df = df.sort_values("publish_time")
train = df[df["publish_time"] < "2023-01-01"]
valid = df[(df["publish_time"] >= "2023-01-01") & (df["publish_time"] < "2023-07-01")]
test = df[df["publish_time"] >= "2023-07-01"]
# 文档指纹去重，防止重复样本跨集合
df["fingerprint"] = df["text"].str[:200].str.strip()
overlap = set(train["fingerprint"]) & set(test["fingerprint"])
print("泄漏重叠样本数：", len(overlap))
综上，金融文本模型评估必须把数据特性放在第一位。只有先处理好多源异构、时序敏感、专业术语、噪声标注、类别不平衡与数据泄漏，模型指标才具有业务参考价值。后续的错误分析，也应围绕这六大特性展开切片与归因。