2. 金融文本基础

做金融文本相似度与公告去重，第一步不是写算法，而是把“文本对象”本身看清楚。金融公告不是普通新闻，它有强监管格式、固定披露字段、法律措辞和明确的时间语义。如果直接拿通用文本相似度模型去比对，很容易把“同一事件的进展公告”误判为重复，也可能把“模板化表述”当成高相似而漏掉真正的实质差异。本节从公告类型、文本结构、术语体系、数据来源与合规边界五个角度，建立后续去重任务的基础认知。

一、核心原理：公告的“类型—结构—语义”三层模型

金融公告的相似性判断，本质上要同时看三层信息：类型层决定可比性，结构层决定字段对齐方式，语义层决定是否真正重复。类型不同，即使文字高度相似也不应合并；结构不同，字段抽取规则就要调整；语义不同，则要区分“模板重复”和“事件重复”。

例如，两家公司都发布“关于召开股东大会的通知”，标题和正文模板几乎一致，但主体、时间、议案不同，这属于模板相似而非事件重复。相反，同一公司先发“业绩预告”，再发“业绩预告修正公告”，两者标题不同，却可能指向同一事件的更新版本，需要建立“事件链”关系而非简单去重。

二、方法流程：从公告类型到可比文本

实际工程中，建议按以下流程把原始公告转成“可比文本单元”：

1. 类型识别：先判断是定期报告、临时公告、发行文件还是监管问询回复。类型决定后续是否允许跨类比较。
2. 结构切分：按标题、正文、附表、签章、附件链接切块，识别“声明性段落”和“实质性段落”。
3. 术语归一：把“本公司/公司/发行人”统一为主体指代，把“元/万元/亿元”统一为数值单位。
4. 事件抽取：抽取主体、事件类型、时间、金额、比例、交易对手等关键槽位。
5. 相似度计算：先做类型与结构过滤，再在语义层计算文本相似度与槽位一致性。
6. 去重决策：输出“完全重复”“更新关系”“模板相似”“独立公告”四类标签。

三、案例/场景：业绩预告与修正公告的去重

某上市公司先后发布两份公告：第一份是《2024年半年度业绩预告》，第二份是《2024年半年度业绩预告修正公告》。两份公告标题不同，但正文都包含“预计净利润”“上年同期”“变动原因”等字段。若只做标题相似度，二者相似度很低；若只做全文相似度，又可能因为模板句过多而误判为高相似。

更合理的做法是：先识别二者属于同一事件链（业绩预告—修正），再对齐关键槽位。若修正公告中的“预计净利润区间”与预告不同，则标记为“更新关系”，保留两份但建立版本链；若区间完全一致且仅措辞调整，则可标记为“重复披露”。

四、数据来源与合规注意事项

金融公告数据通常来自交易所披露平台、巨潮资讯、公司官网投资者关系栏目以及第三方金融数据服务商。不同来源在字段完整性、更新时效、历史回溯深度上差异明显。工程上建议保留来源标识、抓取时间、原始URL、公告ID四类元数据，便于后续追溯与去重版本管理。

{
  "source": "cninfo",
  "announcement_id": "2024-045",
  "title": "2024年半年度业绩预告",
  "publish_time": "2024-07-15 19:30:00",
  "url": "https://example.com/ann/2024-045",
  "crawl_time": "2024-07-15 20:05:12",
  "doc_type": "临时公告",
  "event_type": "业绩预告"
}