4. 数据准备与清洗

题材启动期的异动扩散分析，本质上是在“多源数据对齐”的前提下寻找扩散路径。行情数据回答“谁先动、谁跟涨”，板块分类回答“它属于哪条线”，资金流向回答“谁在真金白银地买”，新闻舆情回答“为什么动、扩散到哪一步”。四类数据的时间粒度、更新频率、编码体系各不相同，如果直接拼接，很容易出现“涨停了但板块归属是旧的”“新闻发布时间晚于股价反应”这类错位，导致扩散特征被误判。本节围绕采集要点与预处理方法展开，重点讲清楚每类数据该采什么、采到什么粒度、以及如何清洗成可对齐的分析底表。

一、四类数据的采集要点

个股行情数据是分析的主干。采集字段至少包括：交易日期、股票代码、开盘/最高/最低/收盘价、前收盘价、成交量、成交额、换手率、涨跌幅、振幅，以及是否涨停、涨停开板次数、首次涨停时间。其中“首次涨停时间”和“开板次数”对判断启动期扩散节奏尤为关键——早盘快速封板与尾盘偷袭封板，代表的资金意图完全不同。行情数据建议采集日频与前复权口径两套，前复权用于计算区间涨幅，原始价格用于还原涨停价。若做盘中扩散观察，还需采集分钟级或逐笔快照，但要注意快照数据量大，应按标的池过滤后再落库。

板块分类数据是扩散分析的骨架。需要采集三层：一是行业分类（如申万一级/二级），相对稳定，用于区分大方向；二是概念板块（如“人工智能”“固态电池”），这是题材扩散的主要载体，但成分股变动频繁，必须采集带生效日期的成分股快照，而不是只存当前成分；三是自定义题材标签，用于补充市场临时形成的炒作主线。采集时要记录每个板块的成分股列表、纳入日期、剔除日期和数据来源，避免用今天的成分股去回测三个月前的扩散关系，这是最常见的未来函数陷阱。

资金流向数据用于验证扩散的“含金量”。采集字段包括：主力净流入额、超大单/大单/中单/小单净额、龙虎榜买卖席位、融资余额变化。不同数据商的“主力”口径不一致，必须在采集时固定一家口径并记录定义，不能混用。龙虎榜数据要注意区分“上榜原因”（如日涨幅偏离值达7%、连续三日偏离值累计达20%），不同上榜原因对应的资金性质差异很大。

新闻舆情数据用于解释扩散的触发与催化。采集字段包括：发布时间（精确到秒）、标题、正文摘要、来源媒体、关联股票或概念、情感倾向。采集要点是保留原始发布时间而非入库时间，并尽量采集盘前、盘中、盘后三个时段的分布。舆情数据噪声大，同一事件会被大量媒体重复转载，需要在采集阶段就记录转载源，便于后续去重。

二、预处理的关键动作

1. 行情清洗：先处理“不可比”问题。停牌日必须显式标记而不是删除，否则计算“连续N日涨幅”时会把停牌前后的交易日错误相连。涨跌幅应以交易所公布的前收盘价重算，避免数据商字段口径差异。涨停判断要区分“一字板”“T字板”“换手板”，可用“最高价=最低价=涨停价”判一字板，用“最低价<涨停价且收盘=涨停价”判换手板。示例：某股前收盘10.00元，主板涨停价11.00元，若当日最低价10.60元、收盘11.00元，则记为换手板，开板次数至少1次。

2. 板块展开：把宽表变长表。原始板块数据常是“板块—成分股列表”的宽表，需展开为“股票代码—板块名称—生效日期—失效日期”的长表。这样在任意交易日都能通过日期区间筛选出当日有效成分。对于一只股票同时属于多个概念的情况，保留全部归属，不要强行归入唯一板块，因为扩散分析恰恰需要观察资金在多个概念间的迁移。

3. 资金口径统一与异常处理。不同数据商对“超大单”的金额门槛定义不同（如单笔50万以上或100万以上），必须固定一家并在字段说明中记录。资金净流入存在极端值，可采用分位数截尾（如按板块内1%和99%分位缩尾），避免个别大额交易扭曲扩散强度指标。

4. 舆情去重与时间归位。同一新闻常被数十家媒体转载，可按“标题相似度+发布时间窗口（如2小时内）”聚类，保留最早一条作为事件源，其余标记为转载。时间归位规则要明确：盘前（9:15前）新闻归入当日，盘中新闻归入当日，盘后（15:00后）新闻归入下一交易日，这样舆情与行情反应的方向才一致。情感倾向可用关键词规则初筛，但需人工抽检校准，不宜直接作为强结论。

三、对齐与质量校验

四类数据最终以“股票代码+交易日”为主键合并。合并后必须做三项校验：一是覆盖率校验，检查每个交易日有行情但无板块归属的股票比例，过高说明板块映射缺失；二是时间一致性校验，抽查若干涨停股，确认其舆情首发时间不晚于首次涨停时间，若大量出现“新闻晚于涨停”，说明时间归位规则有误；三是逻辑校验，如“涨停股当日主力净流入为负”的比例，若异常偏高需回查资金口径。完成校验后，底表即可进入扩散特征计算，后续的启动先后、扩散宽度、资金跟随等指标都建立在这张干净底表之上。