📚 课程目录第2章 NLP基础回顾

2. NLP基础回顾

在事件信号抽取与事件驱动策略中，NLP基础环节决定了后续信号质量的上限。很多策略回测失效，并非模型不够复杂，而是最底层的分词、词性、实体、句法和语义表示出现了偏差。本节将系统回顾这五个核心环节，并给出常用工具与实战注意事项。

一、核心原理：五层语言处理栈

自然语言处理在事件抽取场景下，通常按由浅入深的顺序构建处理栈。每一层都为下一层提供结构化输入，越往上语义越抽象，但对底层错误的放大效应也越明显。

分词：将连续文本切分为最小语义单元。中文没有天然空格，分词粒度直接影响实体边界与事件触发词识别。
词性标注：为每个词赋予名词、动词、形容词等标签。事件触发词多为动词或动名词，词性可显著缩小候选范围。
命名实体识别：识别人名、机构、时间、金额、产品等实体。事件主体与客体往往由实体构成。
句法分析：分析主谓宾、修饰、依存关系。用于判断“谁对谁做了什么”，是事件角色分配的关键。
语义表示：将词、句映射为向量或结构化语义。用于相似事件聚类、跨文档指代与信号泛化。

  事件信号抽取的本质，是在这五层之上再增加“事件类型、触发词、论元角色、时间、极性”五个维度。底层任何一层出错，都会向上传播为错误信号。

二、方法流程与常用工具

下面以一条中文财经新闻为例，展示从原始文本到语义表示的完整处理链路。示例文本为：“2024年3月，宁德时代宣布与特斯拉签订新的电池供应协议，金额约50亿元。”

# 以 HanLP / LTP / jieba 为例的典型调用链
import jieba.posseg as pseg
from ltp import LTP

text = "2024年3月，宁德时代宣布与特斯拉签订新的电池供应协议，金额约50亿元。"

# 1. 分词 + 词性
for word, flag in pseg.cut(text):
    print(word, flag)

# 2. 命名实体识别（LTP示例）
ltp = LTP()
seg, hidden = ltp.seg([text])
ner = ltp.ner(hidden)
print(ner)

# 3. 依存句法分析
dep = ltp.dep(hidden)
print(dep)

# 4. 语义向量（以 sentence-transformers 为例）
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
vec = model.encode(text)
print(vec.shape)

常用工具可按语言与场景选择：中文分词常用 jieba、HanLP、LTP、THULAC；词性标注多与分词工具绑定；命名实体识别可用 LTP、HanLP、BERT-CRF 微调模型；句法分析可用 LTP、Stanford CoreNLP、spaCy（英文）；语义表示可用 Word2Vec、BERT、Sentence-BERT、text2vec 等。

处理层	典型输出	常用工具	事件抽取中的作用
分词	词序列	jieba、HanLP、LTP	确定触发词与实体边界
词性标注	词+词性	jieba.posseg、LTP	筛选动词类触发词
命名实体识别	实体+类型	LTP、HanLP、BERT-CRF	填充事件主体、客体、金额
句法分析	依存树/短语树	LTP、Stanford CoreNLP	判定主谓宾与角色归属
语义表示	向量/语义结构	BERT、Sentence-BERT	事件聚类与信号泛化

三、案例场景：一条新闻如何变成事件信号

仍以上述新闻为例。分词后得到“宁德时代 / 宣布 / 与 / 特斯拉 / 签订 / 新的 / 电池 / 供应 / 协议 / 金额 / 约 / 50亿元”。词性标注识别出“宣布”“签订”为动词，作为触发词候选。命名实体识别标注“宁德时代”“特斯拉”为机构，“2024年3月”为时间，“50亿元”为金额。句法分析确定“宁德时代”为主语，“签订”为谓语，“协议”为宾语，“与特斯拉”为介词修饰。最终事件信号可结构化为：

{
  "event_type": "签订供应协议",
  "trigger": "签订",
  "subject": "宁德时代",
  "object": "特斯拉",
  "time": "2024-03",
  "amount": "50亿元",
  "polarity": "positive"
}

该结构化信号可直接进入策略层，例如对供应链相关标的产生正向事件驱动。若分词把“宁德时代”切成“宁德 / 时代”，实体识别就会失败，后续角色分配全部错位。

四、误区与复盘

常见误区一：分词粒度一刀切。通用分词器在金融、医药、军工领域常把专有名词切碎。应使用领域词典或自定义词典，并针对事件触发词做保护。

常见误区二：忽视词性多义。“收购”既可能是动词触发词，也可能出现在“收购传闻”中作为名词修饰。仅靠词性过滤会引入噪声，需结合句法位置判断。

复盘建议：建立“底层错误 → 信号错误 → 策略回撤”的归因表。每次信号异常，先回溯分词与实体边界，再检查句法角色，最后才怀疑模型。多数问题出在前两层。

语义表示环节还需注意：通用预训练向量对“签订协议”“达成合作”“签署合同”可能距离较远，建议在事件语料上做微调或使用对比学习，使同类事件向量聚集。否则事件聚类会把同一类信号拆散，导致策略信号稀疏。

综上，分词、词性、实体、句法、语义表示五层环环相扣。在事件驱动策略中，应把前四层视为“信号生产线”的质量控制点，把语义表示视为“信号泛化器”。只有底层扎实，上层的事件类型判定与论元抽取才具备稳定性和可解释性。