2. 政策文本的获取与结构化处理

研究政策催化题材，第一步不是判断政策“好不好”，而是把政策文本变成可检索、可比较、可计算的结构化数据。政策文本天然是非结构化的：一份国务院文件可能包含多个发文主体、十余项政策工具、分阶段的目标时限，以及“鼓励”“支持”“严禁”等力度差异明显的表述。如果直接凭阅读印象判断题材强度，既无法横向比较，也无法回溯验证。本节围绕“从哪里拿、怎么清洗、抽什么要素、如何表示”四个环节展开，目标是形成一条可复用的政策文本处理链路。

一、政策文件来源：分层选取，保证权威性与覆盖面

政策文件来源应按权威层级和覆盖范围分层组织。第一层是中央层面：中国政府网（www.gov.cn）的政策文件库、国务院公报、国家发改委、工信部、财政部等部委官网，以及“十四五”规划、中央经济工作会议通稿等纲领性文件。第二层是部委配套文件，通常是中央文件落地后的实施细则、管理办法、试点通知，这类文件对题材的催化往往更直接。第三层是地方层面：省级政府门户网站、地方发改委与行业主管部门网站，用于观察政策扩散节奏和区域落地力度。第四层是辅助来源：交易所与行业协会的政策解读、权威媒体报道，仅作为线索发现和交叉验证，不作为要素抽取的原始依据。

来源选择要遵循两条原则：一是原文优先，解读文章不能替代原文；二是可追溯，每条记录必须保留原文链接、发布日期、发文字号和抓取时间。实际采集中，建议以“栏目页列表 + 详情页正文”的方式组织，先抓取列表页获得标题、链接、日期，再逐条抓取详情页正文，避免遗漏或重复。

二、爬取与清洗：把网页变成干净文本

爬取阶段的核心是稳定与合规。对政府网站应控制请求频率（例如每次请求间隔 1～2 秒），设置合理的 User-Agent，优先使用栏目页的静态列表；对动态渲染页面可使用浏览器自动化工具。抓取字段至少包括：标题、发文机关、发文字号、发布日期、正文、原文链接、来源栏目。

清洗阶段要解决四类噪声：导航栏与页脚、正文中的附件说明与表格、全角半角混排、以及换行与空白。一个可用的清洗流程是：解析 HTML 后定位正文容器（常见为 div.article、div.content 或 #UCAP-CONTENT 一类容器），剔除 script/style 标签，将 <br> 与段落标签转换为换行，统一全角标点为半角或反之，压缩连续空白，最后按“一、二、三”“（一）（二）”等标题模式切分为段落。清洗后应保留段落序号，便于后续定位要素出处。

# 清洗后的段落示例（保留段落序号）
P1  为加快推动新能源汽车产业高质量发展，现提出以下意见。
P2  一、总体要求
P3  （一）到2027年，新能源汽车新车销售量达到汽车新车销售总量的45%左右。
P4  （二）支持地方因地制宜开展公共领域车辆全面电动化试点。
P5  二、重点任务
P6  （三）加快突破固态电池、车规级芯片等关键核心技术。

三、关键要素抽取：发文主体、工具、力度、时限

要素抽取是把政策文本转成研究变量的关键一步。建议固定四个维度：

• 发文主体：记录发文机关及其层级（党中央/国务院、部委、省级、地市级），多部门联合发文时全部记录，并标注牵头部门。主体层级决定政策的权威性和执行约束力。
• 政策工具：按供给型、需求型、环境型三类划分。供给型包括研发补贴、专项资金、人才支持；需求型包括政府采购、示范应用、消费补贴；环境型包括规划目标、标准规范、税收优惠、金融支持、监管约束。
• 政策力度：用可操作的等级表示。例如 1 级为“鼓励/支持/引导”，2 级为“加快/推动/重点”，3 级为“全面/强制/严禁/考核”。力度词需结合句式判断，避免把“鼓励有条件的地方”误判为强约束。
• 时限：抽取目标年份、阶段节点（如“到2027年”“2025年底前”）、有效期与废止日期。时限决定题材催化的时间窗口和兑现节奏。

抽取方式上，规则匹配适合发文字号、日期、主体名称等格式固定的字段；政策工具和力度则更适合“关键词词典 + 人工校验”。例如工具词典中“补贴、补助、专项资金”映射供给型，“试点、示范、推广”映射需求型，“标准、规范、准入、税收”映射环境型。每份文件抽取完成后，应保留原文片段作为证据字段，便于复核。

四、文本结构化表示：从段落走向可计算记录

结构化表示的目标是让每份政策成为一条可比较的记录。推荐采用“文件—段落—要素”三层结构：文件层记录元数据，段落层保留原文与序号，要素层记录四类要素及其证据片段。这样既能做单文件分析，也能做跨文件的工具分布统计和力度时序比较。

下面用一个简化的结构化记录示例说明字段组织方式（数据为教学示例，非真实统计结果）：

在表示方法上，若后续要做量化研究，可将工具、力度、时限编码为数值向量，形成“政策强度 = 层级权重 × 力度等级 × 工具覆盖数”一类的可调指标；若侧重文本分析，则可用“主体—工具—对象—时限”的四元组表示，便于构建政策知识图谱。两种表示并不冲突，关键是字段定义在全样本中保持一致，编码规则形成文档并版本化管理。

需要强调的是，结构化不是一次性工作。政策会修订、废止、被新文件替代，因此记录中应包含“状态”字段（现行有效/已废止/被修订），并定期回爬更新。编码规则一旦调整，应对历史样本重新编码或保留版本号，避免新旧口径混用导致统计失真。

完成上述四步后，政策文本就从“一篇篇文章”变成了“一张可查询、可统计、可回溯的表”。后续判断政策催化题材的影响路径时，无论是看发文层级带来的权威性、工具组合带来的受益环节，还是时限节点带来的兑现节奏，都可以直接在这张结构化数据上展开，而不是停留在主观印象层面。