1. 课程导入

在金融信息处理场景中，同一份公告往往会在交易所网站、公司官网、财经门户、数据终端和内部数据库中反复出现。它们可能标题略有差异、正文被截断、附件被拆分，甚至经过转载后增加了免责声明或格式噪声。如果直接按“标题相同”或“全文哈希相同”去重，会漏掉大量实质重复内容；如果简单按关键词匹配，又会把真正不同的公告误判为重复。本课程要解决的核心问题，就是让机器像有经验的金融信息分析师一样，判断两段金融文本是否在“实质内容”上相同或高度相似，并据此完成公告去重、聚类和增量入库。

一、学习目标：从“能看懂”到“能落地”

完成本课程后，你应当能够独立完成以下任务：

• 理解金融文本的特殊性：识别公告、研报、新闻、监管函件在结构、术语、格式和时效性上的差异。
• 掌握相似度计算的核心方法：从字符级、词级、句级到语义级，理解不同方法的适用边界。
• 构建公告去重流水线：完成文本清洗、标准化、特征提取、相似度计算、阈值判定和结果合并。
• 评估与调优：使用准确率、召回率、F1 和人工抽检，定位误判与漏判原因。
• 工程化落地：将算法封装为可配置、可监控、可增量运行的服务模块。

二、核心概念：相似度、重复与去重的边界

金融文本相似度，衡量的是两段文本在字符、词汇、句法或语义层面的接近程度。公告去重，则是基于相似度结果，把指向同一信息实体的文本归并为一组，只保留一条主记录或建立映射关系。两者关系密切，但不等同：相似度高不一定就是重复，重复也不一定要求全文完全一致。

需要特别强调的是，金融公告的“重复”通常分为三种：完全重复、近似重复和实质重复。完全重复是字节级一致；近似重复是格式、标题、附件名不同但正文基本一致；实质重复是表述不同但指向同一事件、同一主体、同一报告期。课程后续会分别给出判定策略。

三、整体框架：从原始文本到去重结果

本课程采用“数据—特征—算法—评估—工程”五层框架。数据层负责多源采集与标注；特征层完成清洗、标准化和表示；算法层组合规则、统计和语义模型；评估层用指标和抽检控制质量；工程层解决增量、并发、存储和监控问题。

上图展示了从数据到工程的完整链路。实际项目中，算法层往往不是单一模型，而是“规则兜底 + 统计召回 + 语义精排”的组合。例如，先用标题指纹快速召回候选对，再用正文 TF-IDF 或向量相似度打分，最后对边界样本进行人工复核。

四、案例与场景：为什么金融公告去重不能只靠哈希

假设某上市公司发布《2024年半年度业绩预告》，交易所版本标题为“XX股份：2024年半年度业绩预告”，财经门户转载时改为“XX股份上半年净利预计大幅增长”，正文增加了“本文仅供参考，不构成投资建议”。若用 MD5 哈希，两条记录完全不同；若用标题关键词匹配，“业绩预告”与“净利预计大幅增长”也可能匹配失败。但它们在业务上指向同一份公告，应当归并。

另一个典型场景是同一公告的分批披露：公司先发布摘要，再发布全文，附件中包含审计报告。摘要与全文的正文相似度可能只有 60%，但标题、报告期、公司代码完全一致。此时需要引入结构化字段作为强约束，避免仅凭正文相似度误判。

五、常见误区与复盘方向

• 误区一：相似度越高越好。阈值过高会漏掉近似重复，阈值过低会把同行业不同公司的相似公告合并。应结合业务召回率和准确率要求设定阈值。
• 误区二：只做全文相似度。公告标题、正文、附件、表格承担不同信息，应分字段计算并加权融合。
• 误区三：忽略时间窗口。同一公司不同年份的年度报告标题高度相似，但内容不同。必须加入报告期或披露时间约束。
• 误区四：去重后丢失来源。去重不是删除，而是建立主记录与来源映射，保留追溯能力，便于审计和纠错。
• 误区五：没有评估集。仅靠肉眼观察无法持续优化。应构建带标注的公告对数据集，定期计算指标并复盘误判案例。

六、实战价值：从信息治理到业务决策

公告去重的直接价值是降低存储与计算成本，避免重复信息干扰检索和推荐。更深层的价值在于：提升舆情监控的准确性，避免同一事件被重复计数；支撑事件驱动策略，确保同一公告只触发一次信号；改善知识库质量，让问答和检索系统返回唯一、可信的答案。对于金融数据团队而言，一套稳定的相似度与去重能力，是数据治理和智能应用的基础设施。

本课程后续将围绕文本清洗、分词与术语处理、相似度算法、阈值调优、增量去重、评估体系和工程部署逐步展开。本章作为导入，重点建立全局认知：先明确“重复”的业务定义，再选择“相似”的计算方法，最后用工程手段保证结果稳定、可解释、可追溯。