4. 分词与词性标注

企业名称归一化与实体解析的第一步，不是比对，而是“切得对”。中文没有天然空格，企业名称又高度混合了地名、字号、行业、组织形式、括号、英文、数字与符号，通用分词器直接套用往往会把“华兴”切成“华/兴”，把“阿里巴巴”切成“阿里/巴巴”，把“中国石油化工股份有限公司”切成碎片。切分一旦错误，后续的词性标注、后缀识别、相似度计算和实体对齐都会连锁失真。因此，本章聚焦企业名称场景下的分词与词性标注，核心目标是：让切分结果与工商登记语义结构对齐，而不是与通用语言习惯对齐。

核心原理：企业名称的“四段式”语义结构

根据《企业名称登记管理规定》，规范企业名称通常由四个部分依次构成：行政区划、字号、行业或经营特点、组织形式。例如“深圳市腾讯计算机系统有限公司”可拆为：深圳市（行政区划）+ 腾讯（字号）+ 计算机系统（行业）+ 有限公司（组织形式）。这一结构是分词策略的“先验知识”。

通用分词器依赖统计语言模型，追求的是“词”的通用性；而企业名称分词追求的是“段”的语义性。二者目标不同，因此需要引入领域词典、后缀规则和未登录词识别机制，形成“规则+词典+统计”的混合切分方案。

方法流程：从原始名称到带标注的槽位序列

1. 预处理：全半角转换、括号统一、去除多余空白、英文大小写归一。
2. 行政区划识别：用省市区县词典做最长匹配，优先切出“广东省”“深圳市”“南山区”等。
3. 组织形式识别：从名称尾部反向匹配“有限公司”“股份有限公司”“集团有限公司”“合伙企业”“个体工商户”等后缀。
4. 字号与行业切分：在去掉行政区划和组织形式后，对中间部分用领域词典+统计模型切分，区分字号与行业。
5. 词性标注：为每个片段打上自定义标签，如 LOC（行政区划）、BRAND（字号）、IND（行业）、ORG（组织形式）。
6. 未登录词处理：对词典未覆盖的字号或行业词，用字符级模型或n-gram边界识别兜底。

领域词典构建：三类词典缺一不可

企业名称分词的质量，七成取决于词典。建议构建三类词典：

• 行政区划词典：覆盖省、市、区、县、镇、街道，支持层级最长匹配，避免“南京”被切成“南/京”。
• 组织形式词典：收录“有限公司”“股份有限公司”“有限责任公司”“集团有限公司”“合伙企业”“个人独资企业”“个体工商户”“分公司”“办事处”等，按长度倒序匹配。
• 行业与字号词典：行业词如“科技”“网络”“生物”“医药”“建筑工程”“餐饮管理”；字号词则需从历史数据中挖掘高频品牌词，如“腾讯”“华为”“字节跳动”。

后缀与组织形式识别：反向最长匹配最有效

组织形式位于名称末尾，且模式相对固定，因此采用“从右向左、最长优先”的匹配策略效果最好。例如对“中国石油化工股份有限公司”，从尾部匹配到“股份有限公司”后，剩余部分再处理。需要注意嵌套情况：“集团有限公司”应优先于“有限公司”匹配，否则会切出错误的“集团有限”+“公司”。

# 组织形式后缀匹配示例（伪代码）
suffixes = sorted(ORG_SUFFIXES, key=len, reverse=True)
def match_org_suffix(name):
    for suf in suffixes:
        if name.endswith(suf):
            return name[:-len(suf)], suf
    return name, None

# 输入：中国石油化工股份有限公司
# 输出：("中国石油化工", "股份有限公司")

未登录词处理：字号是最大的挑战

未登录词主要出现在字号部分。字号可能是新品牌、人名、音译词、生僻字组合，甚至是英文或数字混合。常见处理策略包括：

• 字符级边界模型：用BiLSTM-CRF或BERT做字符序列标注，识别字号边界。
• 互信息与邻接熵：从大规模企业名称语料中统计字符共现，发现新词。
• 规则兜底：若字号与行业之间无明显词典边界，可依据“行业词通常在后、字号通常在前”的位置先验切分。
• 人工审核队列：对低置信度切分结果进入人工复核，持续回流更新词典。

案例与场景：一次完整的切分与标注

以“上海浦东发展银行股份有限公司”为例：先反向匹配到“股份有限公司”，剩余“上海浦东发展银行”；再正向匹配行政区划“上海”，剩余“浦东发展银行”；行业词典命中“银行”，剩余“浦东发展”作为字号。最终得到四个槽位，词性标注为 LOC/BRAND/IND/ORG。

复盘：切分质量如何评估

建议从三个指标评估：槽位准确率（四段是否切对）、字号完整率（字号是否被切碎）、后缀召回率（组织形式是否漏识别）。实践中，字号完整率最容易出问题，应作为重点监控指标。若发现大量字号被切碎，优先检查词典是否缺失该品牌词，以及是否误用了通用分词模型。