第3章 敏感词库

敏感词库是内容审核的第一道防线。一个科学、动态的敏感词库能够拦截绝大多数违规内容，同时降低误伤。本章将系统讲解敏感词的四大分类、词库搭建流程以及持续更新策略。

3.1 敏感词分类详解

根据国家法律法规及平台社区准则，敏感词通常划分为以下四大类。每一类都需要建立独立的词库分支，并配置不同的处置策略。

3.2 敏感词库的建立

建立敏感词库需要经历四个阶段：采集 → 清洗 → 分级 → 入库。以下是一个标准流程：

1. 采集：从历史违规数据、监管通报、行业词库、舆情热点中提取候选词。
2. 清洗：去除重复、无意义字符、正常词汇（如“麻醉”可能涉及医疗与毒品双重语境）。
3. 分级：根据严重程度分为 S/A/B 三级（S 级：绝对禁止；A 级：高风险；B 级：低风险需复核）。
4. 入库：录入词库管理系统，并关联处置动作（拦截/替换/人工审核）。

3.3 敏感词库的更新机制

静态词库无法应对不断变化的违规变体。必须建立常态化更新机制：

• 日常更新：审核员标记新发现的变体词（如谐音、拆字、拼音缩写），每日汇总。
• 热点驱动：重大舆情事件发生后，24 小时内补充相关敏感词。
• 季度复盘：每季度清理低频词、调整分级、合并重复条目。
• AI 辅助：利用机器学习识别语义相近的变体，自动生成候选词。

3.4 词库管理示例（JSON 结构）

实际工程中，敏感词库通常以结构化数据存储。以下是一个简化的分级词库示例：

{
  "version": "2025.03",
  "category": "政治",
  "level": "S",
  "words": [
    "领导人负面称呼1",
    "分裂口号_exact",
    "敏感事件#变体"
  ],
  "action": "block"
}

建议使用 精确匹配 + 正则 + 语义模型 三层过滤，降低漏网与误伤。