2. 金融数据源概览

做金融新闻与公告的增量采集，第一步不是写爬虫，而是把“数据源地图”画清楚。不同来源的更新频率、结构形态、权威程度、反爬强度差异极大，直接决定了采集策略、解析方式和增量判定逻辑。本节从数据源的分类入手，逐一拆解四类核心来源的特点，并给出可落地的选型与组合思路。

一、核心原理：为什么必须先做数据源分类

增量采集的本质是“只取新增、不重复取旧”。而“新增”的判定标准，完全依赖于数据源本身的发布机制。交易所公告有明确的公告编号和发布时间戳，天然适合做增量；财经媒体的滚动新闻只有页面上的相对时间，需要额外推断；监管机构网站往往按栏目归档，更新粒度粗但权威性最高；公司官网的投资者关系页面则常常没有统一规范，结构千差万别。

因此，数据源分类的核心维度可以归纳为四个：权威性（是否为一手信息）、时效性（发布到可采集的延迟）、结构化程度（是否提供结构化接口或固定模板）、采集难度（反爬、验证码、动态渲染）。这四个维度共同决定了后续的采集优先级和技术方案。

二、四类数据源逐一拆解

1. 交易所公告：增量采集的“黄金标准”

上交所、深交所、港交所、纳斯达克等交易所的公告披露平台，是上市公司信息的法定发布渠道。其最大优势在于：每条公告都有唯一编号、明确的发布时间、固定的栏目分类，且通常提供分页列表接口。增量采集时，只需记录上一次采集到的最大公告ID或时间戳，下次请求时按时间倒序拉取即可精准识别新增。

典型采集入口如巨潮资讯网、交易所官网的“信息披露”栏目。需要注意的是，部分交易所对高频请求有频率限制，建议设置合理的请求间隔，并优先使用官方提供的RSS或数据接口。

2. 监管机构网站：权威但更新粒度粗

证监会、银保监会、央行、外汇局等监管机构的网站，发布的是政策法规、行政处罚、行政许可等宏观或合规类信息。这类数据源的权威性最高，但更新频率低、栏目结构复杂，且很多页面是静态HTML，没有统一的分页接口。

增量策略上，更适合按“栏目+日期”做全量比对，而非依赖时间戳。例如，对“行政处罚决定”栏目，可以每周抓取一次列表页，与本地已存记录做差集运算，识别新增条目。

3. 主流财经媒体：时效性强但结构松散

财新、华尔街见闻、新浪财经、东方财富等媒体，优势是速度快、覆盖面广，但页面结构经常改版，且大量使用JavaScript动态渲染。增量采集的难点在于：列表页的“发布时间”可能是相对时间（如“3分钟前”），需要转换为绝对时间；同一新闻可能被多个栏目重复发布，需要去重。

建议对媒体源采用“列表页轮询+详情页解析”的两级策略，并在本地维护一个URL指纹库，用URL或标题哈希做去重。对于动态渲染页面，可考虑使用无头浏览器或逆向其数据接口。

4. 公司官网：一手信息但规范度最低

上市公司官网的“投资者关系”栏目，通常会发布业绩快报、投资者调研纪要、股东大会通知等。这类信息有时比交易所公告更早出现，但格式极不统一：有的用PDF，有的用图片，有的直接是HTML表格。

采集这类源，建议先做“站点模板识别”，针对不同公司的官网编写适配规则。增量判定可以结合文件修改时间或页面上的发布日期，但需要人工抽检校准。

三、方法流程：数据源选型与组合策略

实际项目中，很少只依赖单一数据源。一个稳健的增量采集系统，通常采用“交易所公告为主、监管网站为辅、财经媒体为补充、公司官网为兜底”的组合策略。具体流程如下：

1. 建立数据源清单：列出所有目标源，标注其类型、入口URL、更新频率、结构化程度。
2. 分级设定采集频率：交易所公告可每5分钟轮询一次；监管网站每天一次；财经媒体每10分钟一次；公司官网每天一次。
3. 统一增量标识：为每个源定义增量判定字段，如公告ID、发布时间、URL哈希。
4. 去重与合并：跨源去重，同一事件以交易所公告为准，媒体信息作为补充。
5. 异常监控：对采集失败、解析失败、增量突增突降设置告警。

四、案例与场景：一次财报季的采集实战

假设我们要在财报季采集某上市公司的最新公告。交易所公告平台在上午8:00发布了《2024年半年度报告》，我们的采集器在8:05轮询时发现公告ID比上次记录的大，立即抓取详情页并解析出标题、发布时间、PDF链接。同时，财经媒体在8:03发布了快讯，但内容只是摘要。系统通过标题相似度匹配，将媒体快讯标记为“重复事件”，只保留交易所公告作为主记录。监管机构网站当天下午发布了行业新规，采集器按日比对列表页，识别出新增条目并入库。公司官网的IR页面在8:10上传了业绩说明会PPT，采集器通过文件修改时间识别为新增，作为补充材料关联到同一事件下。

这个场景说明：不同源的增量信号不同，必须分别处理，再在应用层做关联。

五、误区与复盘

• 误区一：所有源都用时间戳做增量。 媒体源的相对时间、公司官网的缺失时间，都会导致漏采或重复采。应针对每个源设计独立的增量判定逻辑。
• 误区二：忽视反爬策略。 交易所和监管网站通常有频率限制，财经媒体可能有验证码。建议使用代理池、请求间隔随机化，并优先寻找官方API。
• 误区三：不做跨源去重。 同一事件在多个源出现，会导致下游分析重复计数。应建立事件级去重机制。
• 误区四：只采集不监控。 源站改版、接口失效是常态。必须对采集成功率、增量数量做日常监控，及时发现异常。

六、数据源特点速查清单

掌握这四类数据源的特点与增量判定方法，是构建稳定采集管道的基础。下一阶段，我们将进入具体的采集工具选型与代码实现环节。