📚 课程目录第3章命名实体识别基础

3. 命名实体识别基础

在金融文本处理中，命名实体识别（Named Entity Recognition，NER）是最基础也最关键的一步。它的目标是从非结构化文本中定位并分类出具有特定意义的实体片段。例如，从“华泰证券于2023年3月发布公告，拟以12.5亿元收购某城商行股权”这句话中，我们需要识别出“华泰证券”是机构、“2023年3月”是时间、“12.5亿元”是金额、“某城商行”是机构。只有先完成这一步，后续的关系抽取、事件抽取、知识图谱构建和风控决策才有可靠输入。

一、NER任务定义：从文本到实体边界与类别

NER本质上是一个序列标注问题。给定一个字符序列 x = (x1, x2, ..., xn)，模型需要输出与每个字符对应的标签序列 y = (y1, y2, ..., yn)，从而确定实体的边界和类别。形式化地说，NER要回答两个问题：实体从哪里开始、到哪里结束，以及这个实体属于哪一类。

在金融场景中，NER的输入通常是一句公告、一段研报、一条新闻或一份财报附注。输出则是一组实体提及（mention），每个提及包含起止位置、实体文本和实体类别。例如：

输入：贵州茅台2023年净利润同比增长19.16%
输出：
  (贵州茅台, 0, 4, 公司)
  (2023年, 4, 9, 时间)
  (19.16%, 18, 24, 百分比)

这里的位置通常采用字符级索引，便于与中文分词解耦。金融文本中常出现长实体、嵌套实体和简称，例如“中国工商银行股份有限公司”与“工行”指向同一机构，这对边界识别提出了更高要求。

二、金融实体类别：通用类别与领域扩展

通用NER通常包括人名（PER）、地名（LOC）、机构名（ORG）和时间（TIME）。金融领域在此基础上需要扩展大量专有类别。下表列出了金融NER中常见的实体类别及其示例：

实体类别	标签示例	金融文本示例
公司/机构	ORG	中信证券、招商银行、上交所
人物	PER	易会满、巴菲特、某上市公司董事长
金额	MONEY	12.5亿元、3000万美元、净利润5.2亿
百分比	PERCENT	19.16%、同比增长3.5个百分点
时间/日期	TIME	2023年3月、一季度、上周五
金融产品	PRODUCT	沪深300ETF、国债逆回购、可转债
指标/术语	INDICATOR	市盈率、ROE、不良贷款率
监管机构	REGULATOR	证监会、银保监会、央行

类别设计没有唯一标准，取决于下游任务。若用于舆情监控，可增加“风险事件”类别；若用于投研，可增加“行业”“评级”等类别。类别越多，标注成本越高，模型也越容易混淆，因此需要在覆盖度和可区分性之间权衡。

三、序列标注体系：BIO、BIOES与BIOESO

要把实体边界转化为可训练的标签，最常用的是BIO体系。B表示实体开始（Begin），I表示实体内部（Inside），O表示非实体（Outside）。例如“华泰证券”可标注为 B-ORG I-ORG I-ORG I-ORG。BIO的优点是简单，缺点是相邻同类实体容易粘连，例如“华泰证券中信证券”可能被误判为一个实体。

BIOES在BIO基础上增加了E（End）和S（Single），分别表示实体结束和单字符实体。这样每个实体都有明确的起止标记，边界更清晰。BIOES的标签集更大，但能显著减少边界错误。下表对比了三种体系对同一句话的标注差异：

文本：华泰证券收购中信证券

BIO：
  华 B-ORG  泰 I-ORG  证 I-ORG  券 I-ORG
  收 O      购 O
  中 B-ORG  信 I-ORG  证 I-ORG  券 I-ORG

BIOES：
  华 B-ORG  泰 I-ORG  证 I-ORG  券 E-ORG
  收 O      购 O
  中 B-ORG  信 I-ORG  证 I-ORG  券 E-ORG

BIOESO（增加O细分，如O-背景、O-停用）：
  华 B-ORG  泰 I-ORG  证 I-ORG  券 E-ORG
  收 O-动词  购 O-动词
  中 B-ORG  信 I-ORG  证 I-ORG  券 E-ORG

在实际工程中，BIOES通常是首选，因为它在解码时可以直接根据B和E配对，减少非法标签序列。BIOESO则适用于需要区分非实体类型的场景，但会进一步增加标签数量，需谨慎使用。

实践建议：如果实体边界错误是主要问题，优先使用BIOES；如果标签数量已经很大，可先用BIO快速验证，再逐步升级到BIOES。

四、评价指标：精确率、召回率与F1

NER的评价不能只看准确率，因为非实体O标签通常占绝大多数，准确率会被O拉高。更合理的指标是精确率（Precision）、召回率（Recall）和F1值。精确率衡量预测出的实体中有多少是正确的，召回率衡量真实实体中有多少被找出来，F1是两者的调和平均。

Precision = TP / (TP + FP)
Recall    = TP / (TP + FN)
F1        = 2 * P * R / (P + R)

在NER中，TP的判定通常要求实体边界和类别完全一致。例如真实实体是“华泰证券/ORG”，预测为“华泰/ORG”，则算作FP和FN，而不是TP。这种严格匹配能真实反映模型可用性。金融场景中，金额和百分比的小数点、单位、千分位符号都可能导致边界不一致，因此预处理和标注规范必须统一。

常见误区：只报告整体F1，不分类别分析。金融NER中“公司”和“机构”容易混淆，“金额”和“百分比”边界相近，必须按类别输出P/R/F1，才能定位问题。

五、案例复盘：从标注到评估的完整链路

假设我们要构建一个金融公告NER模型，流程如下：

确定实体类别：公司、人物、金额、百分比、时间、产品、指标、监管机构。
制定标注规范：明确“公司简称”是否单独标注，“亿元”是否包含在金额内。
选择标注体系：采用BIOES，标签集为 B-ORG, I-ORG, E-ORG, S-ORG, B-MONEY, ...。
训练模型并解码：使用BiLSTM-CRF或BERT-CRF，CRF层保证标签序列合法。
评估与复盘：按类别计算P/R/F1，重点检查边界错误和类别混淆。

在一次实际复盘中，我们发现“金额”类别的召回率偏低，原因是“12.5亿元”被预测为“12.5亿”和“元”两个片段。检查标注规范后发现，标注员对“元”是否属于金额存在分歧。统一规范后，召回率从78%提升到91%。这说明NER不仅是模型问题，更是数据规范和评估体系问题。

总结来看，NER任务定义决定了我们要预测什么，实体类别决定了标签空间，BIO/BIOES决定了标签如何组织，评价指标决定了我们如何判断好坏。四者环环相扣，任何一环设计不当，都会在金融文本的复杂场景中放大误差。掌握这些基础，才能进入后续的模型选型与实战调优。