4. NLP 基础
负面媒体筛查的本质，是从海量非结构化文本中判断“谁、因为什么事、被怎样描述”。如果只靠关键词匹配，系统会把“张三无罪释放”误判为风险，也会漏掉“该集团创始人因涉嫌洗钱被调查”这类没有直接命中黑名单词的句子。NLP 基础能力正是把原始文本转成可计算、可推理结构的四把工具：分词、命名实体识别、词性标注和句法分析。它们不是四个孤立任务，而是一条逐层加深的理解流水线。
一、核心原理：四层语言结构，对应四类筛查问题
分词解决“边界”问题。中文没有天然空格，涉嫌洗钱 若被切成 涉嫌、洗、钱，后续实体和关系都会失真。命名实体识别（NER）解决“对象”问题，把 张三、某国际银行、2023年5月 标注为人名、机构名、时间。词性标注（POS）解决“角色”问题，区分 调查 是动词还是名词，判断 被 引导的被动结构。句法分析解决“关系”问题，确定“谁对谁做了什么”，从而把“张三起诉李四”与“李四起诉张三”区分开。
二、方法流程：从原始新闻到风险候选
一条典型流水线如下：
- 文本预处理：清洗 HTML、统一全半角、去除广告与免责声明。
- 分词与词性标注：使用领域词典增强，加入“洗钱、制裁、腐败、欺诈”等风险词。
- 命名实体识别：识别人名、机构、地点、时间、金额、法规条款。
- 句法分析：抽取主谓宾、被动结构、否定与条件修饰。
- 风险判定：将实体与负面事件模板匹配，输出候选并打分。
以句子“某集团创始人张三因涉嫌洗钱于2023年5月被警方调查”为例，分词后得到 某集团/创始人/张三/因/涉嫌/洗钱/于/2023年5月/被/警方/调查；NER 标注 张三=人名、某集团=机构、2023年5月=时间；POS 标注 涉嫌=动词、调查=动词被动；句法分析得到核心关系 警方—调查—张三，并识别 因涉嫌洗钱 为原因状语。最终系统输出：风险主体=张三，风险类型=洗钱，事件状态=被调查，时间=2023年5月。
输入: 某集团创始人张三因涉嫌洗钱于2023年5月被警方调查
分词: 某集团 / 创始人 / 张三 / 因 / 涉嫌 / 洗钱 / 于 / 2023年5月 / 被 / 警方 / 调查
NER : 张三[PER] 某集团[ORG] 2023年5月[TIME]
POS : 涉嫌[V] 洗钱[V] 调查[V] 被[P]
句法: 警方 --调查--> 张三 ; 原因状语: 涉嫌洗钱 ; 时间: 2023年5月
输出: {主体:张三, 风险:洗钱, 状态:被调查, 时间:2023年5月}
三、案例与场景：四类能力如何协同降误报
场景一：同名消歧。新闻中“张三”可能是企业家，也可能是演员。NER 结合机构、地点、时间上下文，可判断该张三是否与目标客户匹配。场景二：否定与传闻识别。“张三否认洗钱指控”与“张三承认洗钱”关键词高度相似，但句法分析中的否定标记和谓词方向完全不同，前者不应直接升级为风险。场景三：被动与主动区分。“张三起诉某银行”与“某银行起诉张三”，实体相同、关系相反，句法分析是唯一可靠区分手段。场景四：长句压缩。财经新闻常含多层从句，句法树可定位主句主干，避免把背景描述误当风险事实。
| NLP 能力 | 解决的筛查问题 | 典型输出 | 缺失时的风险 |
|---|---|---|---|
| 分词 | 词边界与风险词识别 | 词序列 | 风险词被切碎，漏报 |
| 命名实体识别 | 主体、机构、时间、金额 | 实体标签 | 无法定位风险主体 |
| 词性标注 | 动作、否定、被动 | 词性标签 | 把否认当承认 |
| 句法分析 | 谁对谁做了什么 | 依存关系/句法树 | 主客体颠倒，误报 |
四、误区与复盘：基础能力不等于简单堆叠
复盘时应重点检查三类错误：边界错误（分词导致实体断裂）、角色错误（主客体或主动被动颠倒）、极性错误（否定、传闻、条件未识别）。建议在标注集上分别评估四层指标：分词 F1、NER F1、POS 准确率、句法依存准确率，并观察它们对最终筛查精确率与召回率的边际贡献。只有把四层能力串成可解释的流水线，负面媒体筛查才能从“关键词告警”升级为“语义级风险证据”。