📚 课程目录第1章实体识别概述

一、实体识别概述：从“找词”到“懂语义”

大家好，欢迎来到《实体识别技术实战精讲》。我是这门课的主讲，一个在 NLP 领域摸爬滚打了七八年的老工程师。今天咱们先聊聊最基础的问题——命名实体识别到底是什么？

说白了，命名实体识别（NER）就是让机器从一段文字里，把那些有特定含义的“专有名词”给揪出来。比如“苹果公司发布了新款 iPhone”，机器得知道“苹果公司”是个组织，“iPhone”是个产品。听起来简单？嗯，这里面的坑可不少。

命名实体识别，英文叫 Named Entity Recognition，简称 NER。它的任务很明确：识别文本中具有特定意义的实体，并分类到预定义的类别中。

常见的实体类型包括：

我刚开始做 NER 的时候，总觉得这玩意儿不就是个“词性标注”的升级版吗？后来才发现，实体识别的难点在于“边界”和“歧义”。举个例子，“南京市长江大桥”——到底是“南京市/长江大桥”还是“南京市长/江大桥”？机器要是没点上下文理解能力，很容易闹笑话。

核心要点：NER 不是简单的“找词”，而是“理解语义”。同一个词在不同语境下可能是不同实体，甚至不是实体。

你可能会问：学这个有啥用？我告诉你，NER 是很多 NLP 任务的“地基”。没有它，很多上层应用根本跑不起来。

信息抽取是 NER 最直接的应用。比如从一堆新闻里提取“公司名”、“人名”、“事件时间”，然后自动生成摘要或报表。我在做金融舆情监控项目时，每天要处理上万条新闻，全靠 NER 把关键实体抽出来，才能做后续的情感分析和风险预警。

问答系统里，NER 负责定位问题中的“关键实体”。比如用户问“北京今天的天气怎么样？”，系统得先识别出“北京”是地点，“今天”是时间，然后才能去查天气数据。我见过不少问答系统翻车，就是因为 NER 没做好，把“北京”识别成了人名——嗯，这确实有点尴尬。

知识图谱的构建，更是离不开 NER。你得先识别出实体，才能去建立实体之间的关系。比如“马云创立了阿里巴巴”，NER 抽取出“马云”（人）和“阿里巴巴”（组织），然后关系抽取模块才能判断出“创立”这个关系。没有 NER，知识图谱就是个空架子。

NER 的方法论，大致经历了三个阶段。我按时间线给大家捋一捋，这样你就能理解为什么现在大家都在用深度学习。

早期 NER 全靠人工写规则。比如“如果词以‘有限公司’结尾，则标记为组织实体”。这种方法在特定领域很有效，比如医疗文本里的“某某医院”。但缺点也很明显：规则写不完，而且维护成本极高。

我记得刚入行时，接手过一个老项目，光规则文件就有 2000 多行。每次新增一个实体类型，就得改半天规则，还容易引发连锁反应。后来我学乖了——规则方法只适合做“兜底”或“后处理”，不能当主力。

我的建议：如果你现在还在用纯规则做 NER，赶紧转型。规则可以作为补充，但别指望它解决所有问题。

后来大家开始用机器学习，最经典的就是 CRF（条件随机场）。CRF 把 NER 看作一个序列标注问题，通过特征工程（比如词性、前后词、词形等）来训练模型。

CRF 的优势在于：能利用上下文信息，而且能保证标签的全局最优。比如“B-PER”后面不能接“I-ORG”，这种约束 CRF 天然就能处理。

但传统 ML 方法有个硬伤——特征工程太累人了。你得手工设计几十上百个特征，而且特征的好坏直接决定模型上限。我在做中文 NER 时，光“词边界特征”就折腾了好几周。

现在的主流，毫无疑问是深度学习。最经典的架构是 BiLSTM + CRF，后来又被 BERT + CRF 取代。深度学习的好处是：不需要手工特征，模型自己学。

BERT 这类预训练模型，通过海量语料学到了丰富的语义知识。你只需要在它基础上加个 CRF 层，就能达到很高的准确率。我最近做的几个项目，直接用 BERT + CRF，F1 值轻松到 95% 以上。

当然，深度学习也不是万能的。它需要大量标注数据，而且模型推理速度慢。如果你做的是实时性要求高的系统，可能还得考虑蒸馏或量化。

避坑指南：我曾经在一个项目中盲目上 BERT，结果模型太大，线上延迟飙到 500ms。后来换成 ALBERT + CRF，延迟降到 50ms，效果只差了 0.5%。所以，选模型一定要考虑实际部署环境。

下面这张图，是我自己整理的 NER 技术演进路线。你可以直观地看到，从规则到深度学习，核心变化是“人工参与越来越少，模型能力越来越强”。

好了，第一讲的内容就到这里。我们聊了 NER 的定义、应用场景，以及三种主流方法。你可能会觉得内容有点多，但别急——后面的章节会逐一深入每个技术细节。