文本预处理技术：分词、去停用词、词干提取、词形还原、文本清洗、大小写转换、标点处理

文本预处理是NLP流水线的第一道工序，也是决定模型性能上限的关键环节。原始文本数据往往包含噪声、冗余和不规则表达，如果直接送入模型，不仅会稀释有效特征，还会导致词表膨胀、计算开销增大，甚至引入语义偏差。本章系统讲解六类核心预处理技术——文本清洗、大小写转换、标点处理、分词、去停用词、词干提取与词形还原，并给出各自的操作流程、适用场景和工程实践中的注意事项。

上图展示了文本预处理的分层流水线结构。实际工程中，各步骤的顺序并非固定，但通常遵循"先清洗、后规范化、再分词、最后词形处理"的总体原则。下面逐一展开每个环节的核心原理与操作细节。

3.1 文本清洗：去除噪声的第一步

核心原理：文本清洗的目标是移除与语义无关的噪声内容，包括HTML标签、URL链接、邮箱地址、特殊控制字符、不可见字符、乱码以及非目标语言字符等。这些噪声会干扰分词器的正常工作，并导致词表出现大量无意义的"伪词"。

操作流程：

1. 编码统一：将所有文本转为UTF-8编码，避免中文乱码问题。
2. HTML标签去除：使用正则表达式或专用库（如BeautifulSoup）移除<p>、<div>等标签。
3. URL与邮箱过滤：匹配并替换为占位符或直接删除。
4. 控制字符清理：去除\x00-\x1f等不可见控制字符。
5. 非目标语言过滤：中文任务中可保留英文单词，但需去除阿拉伯文、韩文等无关字符。

3.2 大小写转换与标点处理

核心原理：大小写转换的目的是降低词表复杂度——"Apple"和"apple"在大多数NLP任务中应视为同一词。标点处理则有两种策略：一是直接去除，适用于词袋模型或TF-IDF；二是保留为独立，适用于需要捕捉句法结构的任务（如BERT的WordPiece分词会保留标点）。

策略	操作方式	适用场景	注意事项
全量小写	text.lower()	情感分析、主题分类	会丢失专有名词信息（如"US"和"us"）
保留首字母大写	仅句首大写，其余小写	命名实体识别	需要额外规则判断句边界
标点去除	正则替换[^\w\s]	短文本分类、关键词提取	连字符词（如"state-of-the-art"）会被拆散
标点保留	分词器自动处理	预训练模型微调	词表会增大，但模型能学习标点语义

3.3 分词技术：中英文的差异与选择

核心原理：分词是将连续文本切分为最小语义单元的过程。英文天然以空格分隔，但需处理缩写（"don't"）、连字符（"well-known"）等特殊情况；中文没有天然分隔符，必须依赖算法或词典进行切分。

主流分词方法对比：

• 基于词典的最大匹配法：正向最大匹配、逆向最大匹配、双向匹配。速度快，但无法处理未登录词。
• 基于统计的HMM/CRF：将分词视为序列标注问题，能识别部分新词，但需要标注语料。
• 基于深度学习的BiLSTM+CRF：效果最好，但训练成本高，适合专业领域。
• 子词分词（BPE/WordPiece/SentencePiece）：将词拆分为更细粒度的子词单元，解决OOV问题，是预训练模型的标准做法。

# 中文分词示例（Jieba）
import jieba
text = "自然语言处理是人工智能的重要方向"
tokens = jieba.lcut(text)
# 输出：['自然语言', '处理', '是', '人工智能', '的', '重要', '方向']

# 英文子词分词示例（HuggingFace Tokenizer）
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize("unhappiness")
# 输出：['un', '##happi', '##ness']

3.4 去停用词：过滤高频噪声

核心原理：停用词是那些在几乎所有文档中都高频出现、但对语义区分贡献极小的词，如中文的"的、了、是、在"，英文的"the、a、is、are"。去除停用词可以显著降低特征维度，提升模型训练效率。

构建停用词表的方法：

1. 通用词表：使用公开的停用词库（如哈工大停用词表、NLTK英文停用词表）。
2. 统计方法：计算文档频率（DF），将出现在超过80%文档中的词加入停用词表。
3. 任务定制：在电商评论中，"好评"可能不是停用词；但在新闻分类中，它可能是噪声。

3.5 词干提取与词形还原

核心原理：两者都用于将词的变体统一为规范形式，但实现方式不同。词干提取（Stemming）通过规则粗暴地去除词缀，如"running"→"run"，"flies"→"fli"；词形还原（Lemmatization）则基于词典和词性标注，将词还原为词典原形，如"better"→"good"，"went"→"go"。

维度	词干提取（Porter/Snowball）	词形还原（WordNet/Spacy）
输出形式	可能不是合法单词	一定是词典中的原形
是否需要词性标注	不需要	需要（如动词/名词区分）
处理速度	快（规则匹配）	慢（需查词典）
语义保真度	较低（可能过度归并）	较高（保留语义）
适用场景	信息检索、大规模文本聚类	机器翻译、语义分析、问答系统

# 词干提取示例（NLTK）
from nltk.stem import PorterStemmer
stemmer = PorterStemmer()
print(stemmer.stem("running"))   # run
print(stemmer.stem("happiness")) # happi

# 词形还原示例（Spacy）
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("The cats were running quickly")
for  in doc:
    print(.text, "→", .lemma_)
# cats → cat, running → run, quickly → quickly

3.6 预处理流程的工程化实践

完整流程清单：

1. 原始数据采集与编码检测：确认文本编码格式（UTF-8/GBK），统一转码。
2. 文本清洗：去除HTML、URL、控制字符、非目标语言字符。
3. 大小写转换：根据任务决定全量小写或保留专有名词。
4. 标点处理：去除或保留，需考虑连字符、缩写等边界情况。
5. 分词：中文用Jieba/THULAC，英文用空格+标点切分，预训练模型用子词分词。
6. 去停用词：使用通用词表+领域定制词表。
7. 词形处理：信息检索用词干提取，语义任务用词形还原。
8. 质量控制：抽样检查预处理结果，统计词表大小、OOV比例、平均句长等指标。