2. 热点题材的数据来源与采集

要统计热点题材的生命周期，第一步不是画图，而是把“题材热度”变成可计算的数据。热点题材本质上是市场注意力在时间上的聚集与消散，因此我们需要从多个侧面去观测这种注意力：媒体在报道什么、投资者在讨论什么、资金在买卖什么、公众在搜索什么。单一来源往往只能反映一个切面，多源交叉才能支撑后续的“启动—发酵—高潮—退潮”阶段划分。

四类核心数据源及其观测含义

财经新闻是题材的“官方叙事层”。它通常由专业媒体生产，包含政策发布、行业事件、公司公告解读等内容，时效性略滞后于社交平台，但权威性高、噪声低。采集时关注标题、发布时间、正文摘要、涉及个股或行业标签、情感倾向。新闻源适合识别题材的“政策驱动”与“事件驱动”起点，例如某类产业规划出台后相关报道密度骤增，往往对应题材启动信号。

社交媒体是题材的“情绪扩散层”。股吧、微博、雪球、短视频评论区等平台聚集了大量散户讨论，信息传播快、情绪浓度高，但噪声与谣言也多。采集重点是发帖量、互动量（点赞、评论、转发）、关键词共现、情绪极性。社交媒体数据适合刻画题材的“发酵速度”和“拥挤度”，当讨论量在短时间内陡增且情绪高度一致时，往往意味着题材进入高潮区，也提示反转风险。

行情数据是题材的“资金验证层”。新闻和讨论再热，若没有成交量和价格配合，题材难以形成持续行情。行情数据包括个股及板块的日线/分钟线价格、成交量、成交额、换手率、涨跌幅、资金流向等。它用于验证热度是否被真实资金承接，也是构建题材指数（如按成分股等权或市值加权合成）的基础数据。

搜索指数是题材的“公众关注层”。以百度指数、微信指数为代表的搜索数据，反映的是更广泛人群的主动信息需求，通常领先或同步于行情发酵，且不易被单一平台操纵。采集时按关键词获取日度指数值，注意关键词选择要覆盖题材的核心概念词与同义词，避免遗漏。

采集方法与工具选择

不同来源的采集方式差异明显。财经新闻可通过媒体RSS、新闻聚合API或定向爬虫获取，关键是设定“题材关键词表”与时间窗口，按天增量抓取，并保留原始链接与发布时间以便回溯。社交媒体采集优先使用平台开放接口，若接口受限则采用合规爬虫，必须处理限频、登录态与反爬策略，同时做好去重（同一帖子多次抓取）与清洗（表情、广告、水军文本）。行情数据一般通过行情终端导出或数据接口获取，注意复权方式统一（前复权或后复权只能选一种并全程保持一致），否则跨期比较会失真。搜索指数通过指数平台接口或页面采集，按日度粒度获取，关键词需覆盖核心概念词与常见同义词，合并后再做归一化。

工程上建议把采集层做成“调度—抓取—落库”三段：调度器按固定频率触发任务，抓取器负责请求与解析，落库时统一写入带来源标识和时间戳的原始表。原始表不做任何加工，所有清洗与标准化在后续环节完成，这样一旦发现口径问题可以重新加工而不必重采。

数据质量评估：四个必须检查的维度

完整性：检查每个来源在目标时间区间内的缺失率。例如搜索指数在节假日可能停更，社交媒体在深夜发帖量天然偏低，这些属于“结构性缺失”，不能简单当作零值填补，应标记为缺失并在建模时区别处理。

准确性：新闻与社交文本需过滤谣言、广告与重复转载；行情数据需识别停牌、涨跌停导致的成交量异常；搜索指数需排除关键词歧义（如题材词同时是日常用语）带来的噪声。

一致性：多源数据的时间口径要对齐。新闻按发布时间、社交按发帖时间、行情按交易日、搜索指数按自然日，四者粒度不同，需统一到“交易日”或“自然日”一种基准上，并明确说明所选基准。

时效性：评估各来源的发布延迟。行情数据延迟最低，搜索指数通常T+1，新闻与社交介于两者之间。若用延迟高的数据去判断“当日”题材状态，会产生前视偏差，必须在回测中按实际可得时间对齐。

完成采集与质量评估后，四类数据应被整理成统一的长表结构：每行记录“题材、日期、来源、指标名、指标值”。这张表是后续构建题材热度指数、划分生命周期阶段的唯一输入，其质量直接决定阶段判断的可靠性。