2. 合同文本预处理：PDF/Word/扫描件解析、OCR技术选型、文本清洗与段落分割

在采购合同条款抽取流程中，文本预处理是决定后续规则匹配与深度学习模型效果的基础环节。真实业务场景中，合同来源格式多样（PDF、Word、扫描件），且常包含页眉页脚、水印、表格嵌套等噪声。本节将系统讲解从原始文档到结构化文本的完整预处理链路。

2.1 多格式文档解析策略

不同格式的合同需要采用差异化的解析工具。下表对比了主流格式的解析方案与适用场景：

2.2 OCR技术选型与对比

扫描件合同（如传真件、盖章扫描版）必须经过OCR才能进入后续流程。当前主流方案包括开源引擎与云服务，选型需平衡识别精度、速度与部署成本。

2.3 文本清洗与噪声过滤

解析后的原始文本常包含大量非条款内容，必须经过系统性清洗。清洗流程通常按以下步骤执行：

1. 页眉页脚去除：基于位置信息（页面顶部/底部固定区域）或正则匹配（如“第X页 / 共Y页”、“机密”等模式）删除。
2. 特殊字符过滤：移除控制字符、不可见Unicode、多余空格与制表符。
3. 水印与批注剥离：识别固定透明度文本或括号内批注（如“[甲方留存]”）并剔除。
4. 表格结构还原：将OCR识别的表格文本按行列重组，避免单元格内容断裂。
5. 编码统一：强制转换为UTF-8，修复常见乱码（如“é” → “é”）。

import re
import unicodedata

def clean_contract_text(raw_text: str) -> str:
    # 1. 移除控制字符（保留换行和制表符）
    text = re.sub(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]', '', raw_text)
    # 2. 统一换行符
    text = text.replace('\r\n', '\n').replace('\r', '\n')
    # 3. 去除页眉页脚模式（示例：匹配“第X页”）
    text = re.sub(r'第\s*\d+\s*页\s*[／/]\s*共\s*\d+\s*页', '', text)
    # 4. 合并多余空行
    text = re.sub(r'\n{3,}', '\n\n', text)
    # 5. Unicode规范化
    text = unicodedata.normalize('NFKC', text)
    return text.strip()

2.4 段落分割与语义边界识别

清洗后的文本需要分割为语义完整的段落，作为后续条款抽取的基本单元。单纯依赖空行分割在合同中往往失效，因为合同条款常以编号或缩进作为段落标记。

下图展示了基于规则与统计特征结合的段落分割流程：

2.5 段落分割代码示例

以下代码实现了基于编号模式与空行间距的混合分割策略：

import re

def segment_contract(text: str, min_para_len: int = 20) -> list:
    # 强分割模式：条款编号
    clause_pattern = r'(?m)^\s*(第[一二三四五六七八九十百千]+条|第\d+条|\d+[\.、])\s+'
    # 先按编号分割
    segments = re.split(clause_pattern, text)
    # 重组：将编号与正文合并
    merged = []
    for i in range(0, len(segments)-1, 2):
        merged.append(segments[i] + segments[i+1])
    if len(segments) % 2 == 1:
        merged.append(segments[-1])
    # 过滤过短段落（通常为页眉残留）
    merged = [seg.strip() for seg in merged if len(seg.strip()) >= min_para_len]
    return merged

# 示例用法
sample = """第一条 合同标的
甲方同意购买，乙方同意出售以下货物...
第二条 付款方式
买方应在收到发票后30日内支付...
第三条 交货期限
卖方应于2025年6月1日前完成交货..."""
paragraphs = segment_contract(sample)
for idx, para in enumerate(paragraphs, 1):
    print(f"段落{idx}: {para[:30]}...")

2.6 预处理质量评估指标

为量化预处理效果，建议在标注数据集上计算以下指标：