3. 热点题材的识别与标注

在热点题材生命周期统计分析中,第一步不是统计,而是把“热点”从海量文本中稳定地识别出来,并转成可计算、可复核的标签。识别解决“机器认为什么可能是热点”,标注解决“人确认它是什么热点、属于哪个题材、处在什么阶段”。两者缺一不可:只靠算法会引入噪声和漂移,只靠人工则无法覆盖规模。本节围绕关键词、文本聚类、情感分析三类识别方法展开,并给出可落地的人工标注流程与标注规范。

一、三类识别方法的分工与实现要点

关键词识别是最直接的一层。做法是先构建题材词典,再对文本做匹配与加权。词典不是简单罗列词,而应包含“题材名—核心词—关联词—排除词”四类条目。例如“低空经济”题材,核心词可含“eVTOL、通航、无人机物流”,关联词含“空域管理、适航审定”,排除词用于剔除“无人机航拍”这类消费电子语境。匹配时对标题、正文、评论赋不同权重(示例:标题 3、正文 1、评论 0.5),再按日聚合得到题材热度分。关键词法的优点是解释性强、可审计,缺点是依赖词典维护,对新词、谐音、缩写不敏感,因此需要配合新词发现(如按日统计突增的未登录词)定期回流词典。

文本聚类用于发现词典未覆盖的潜在题材。常用流程是:分词去停用词→向量化(TF-IDF 或句向量)→聚类(如 K-Means 或层次聚类)→对每个簇抽取代表词与代表文档。工程上更实用的是“先粗后细”:先用关键词把已知题材的文本分流,剩余文本再聚类,簇内文档数超过阈值(示例:单日 ≥30 篇且连续 2 日增长)即作为候选新题材提交人工研判。聚类结果必须保留簇内代表文档,否则标注人员无法判断簇的真实含义。

情感分析不直接定义热点,而是刻画热点的“温度与方向”。同一题材下,正面情绪占比高、情绪强度上升,往往对应题材发酵期;负面情绪集中爆发,则可能是风险事件驱动的短期热点。实现上可用情感词典打分或预训练模型输出正/中/负概率,再按题材聚合为“情绪均值 + 负面占比 + 情绪变化率”三个指标。需要注意,财经与产业文本中的反讽、引用、否定句式容易误判,因此情感分只作为辅助信号,不单独作为热点判定依据。

热点识别 → 候选生成 → 人工标注 → 质检回流 原始文本 新闻 / 公告 / 研报 社交评论 关键词匹配 词典 + 权重聚合 文本聚类 向量化 + 簇代表词 情感分析 正/中/负 + 变化率 候选热点池 题材名 / 热度分 情绪指标 / 代表文档 触发来源标记 人工标注(双人独立) ① 是否构成热点 ② 归属题材与子题材 ③ 生命周期阶段 ④ 驱动类型与置信度 一致性质检 Cohen's Kappa ≥ 0.75 不一致样本进入仲裁 词典与规则回流 新词 / 排除词 / 阈值 说明:虚线为规则回流路径;候选池保留触发来源,便于追溯误报与漏报

二、人工标注流程:从候选到标签

候选池生成后进入人工标注。建议采用“双人独立标注 + 一致性质检 + 仲裁”的流程,而不是单人直接定稿。具体步骤如下:

  1. 任务分派:按日期与题材切分批次,每批不超过 200 条候选,避免标注疲劳导致标准漂移。
  2. 独立标注:两名标注员在互不可见的情况下,对每条候选填写四个字段——是否构成热点(是/否/待定)、归属题材与子题材、生命周期阶段(萌芽/发酵/高潮/退潮)、驱动类型(政策/技术/事件/资金)及置信度(1–5)。
  3. 一致性计算:以“是否构成热点”和“归属题材”为主字段计算 Cohen's Kappa。示例阈值:Kappa ≥ 0.75 视为可接受;0.6–0.75 需复盘规范;低于 0.6 则暂停标注、重新对齐标准。
  4. 仲裁:不一致样本交由第三人(通常是规范制定者)裁定,裁定理由写入标注日志,作为规范迭代的素材。
  5. 回流:把仲裁中发现的漏词、误词、阈值问题回写到词典与规则,形成闭环。
标注界面应同时展示“代表文档原文片段 + 触发来源 + 热度分曲线”,让标注员看到上下文而非孤立标题,可显著降低误判。

三、标注规范:把判断标准写成可执行条款

标注规范的核心是把模糊判断转成可核对的条件。以下是一份可直接参考的规范要点(示例,可按实际业务调整):

字段取值判定规则(示例)
是否构成热点是 / 否 / 待定同一题材 3 日内相关文档 ≥ 20 篇,且至少 2 个独立信源,且热度分较前 7 日均值上升 ≥ 50%
归属题材一级题材 + 子题材以核心词命中为主;一稿多题材时按“主要驱动事件”归主题材,其余记关联题材
生命周期阶段萌芽 / 发酵 / 高潮 / 退潮萌芽:文档少但增速快;发酵:连续放量且情绪转正;高潮:热度分处近 30 日高位且负面占比抬升;退潮:连续 3 日回落
驱动类型政策 / 技术 / 事件 / 资金以首篇高权重文档的触发因素为准,多因素时选主导项
置信度1–55:证据充分且信源权威;3:证据一般;1:仅单篇弱信号

规范中还应明确“排除情形”,例如:纯广告软文、与题材仅字面重合的消费场景、无新增信息的重复转载,均不计入热点文档。排除条款越具体,标注一致性越高。

四、一个可复现的判定示例

假设某日“固态电池”题材候选池记录如下(示例数据,非实测):当日相关文档 46 篇,前 7 日均值 18 篇,热度分由 21 升至 58,正面情绪占比 0.62,负面占比 0.11,首篇高权重文档为某部委发布的技术路线图征求意见稿。按上表规则:文档量 46 ≥ 20、信源覆盖 5 家、热度分涨幅约 176% ≥ 50%,判定“构成热点”;驱动类型记为“政策”;因连续放量且情绪转正,阶段记为“发酵”,置信度 5。若另一候选仅有 9 篇文档且全部来自同一自媒体,则判“否”,并在日志中记录“信源单一”。

情感分析结果只作辅助:当负面占比骤升但文档量未达阈值时,应标“待定”并转人工复核,避免把单条负面事件误判为题材级热点。

把识别、标注、质检、回流串成闭环后,后续的生命周期统计才有可靠输入:每个题材每天都带有可追溯的标签、阶段与置信度,统计结果才能解释“为什么这个题材被算作热点”,也才能在复盘时定位是词典漏词、聚类误合并,还是标注标准本身需要修订。