4. 数据预处理：为实体解析准备高质量数据

数据预处理是实体解析流程中最为耗时但至关重要的环节。原始数据通常包含缺失值、格式不一致、重复记录和字段错位等问题，这些问题会直接导致实体解析的准确率下降。本章将系统讲解数据清洗、标准化、去重和字段对齐四大核心技术，为后续的实体匹配与关系构建奠定坚实基础。

4.1 数据清洗：消除噪声与异常

数据清洗的目标是识别并修正数据中的错误、不一致和异常值。常见的数据质量问题包括：

4.2 数据标准化：统一表达形式

标准化是将不同来源的数据转换为统一的格式和编码，确保同一实体在不同数据源中具有一致的表示。标准化通常涵盖以下维度：

• 文本标准化：统一大小写、去除多余空格、全半角转换、繁体简体转换。
• 日期标准化：将“2024/01/15”、“15-Jan-2024”、“2024年1月15日”统一为ISO 8601格式（YYYY-MM-DD）。
• 地址标准化：将“北京市海淀区中关村大街1号”拆分为省、市、区、街道、门牌号等结构化字段。
• 编码标准化：统一使用国家标准编码（如统一社会信用代码、身份证号校验）或内部编码体系。

# 日期标准化示例（Python）
import re
from datetime import datetime

def standardize_date(date_str):
    # 常见日期格式匹配
    patterns = [
        (r'(\d{4})[-/](\d{1,2})[-/](\d{1,2})', '%Y-%m-%d'),
        (r'(\d{1,2})[-/](\d{1,2})[-/](\d{4})', '%m-%d-%Y'),
        (r'(\d{4})年(\d{1,2})月(\d{1,2})日', '%Y-%m-%d'),
    ]
    for pattern, fmt in patterns:
        match = re.search(pattern, date_str)
        if match:
            try:
                dt = datetime.strptime(match.group(0), fmt)
                return dt.strftime('%Y-%m-%d')
            except:
                continue
    return None

4.3 数据去重：识别并合并重复记录

去重是实体解析的核心前置步骤，旨在识别同一实体的多条记录并合并为一条干净记录。去重策略分为精确去重和模糊去重两类：

4.4 字段对齐：构建统一的数据视图

字段对齐解决的是不同数据源之间字段名称、类型和语义的映射问题。当从多个系统（如CRM、ERP、外部数据库）获取数据时，同一概念可能使用不同的字段名和格式。

字段对齐的典型步骤：

1. 字段映射：建立源字段到目标字段的对应关系表。
2. 类型转换：将不同数据类型的字段统一为目标类型（如字符串转整数、日期字符串转日期类型）。
3. 值域映射：将枚举值或分类值统一（如“男/M/1”统一为“男”）。
4. 缺失字段处理：对目标字段在源数据中缺失的情况，设置默认值或标记为待补充。

# 字段对齐映射表示例（JSON格式）
{
  "target_schema": {
    "person_name": "string",
    "birth_date": "date",
    "id_number": "string",
    "phone": "string"
  },
  "source_mappings": [
    {
      "source": "CRM",
      "mapping": {
        "person_name": "customer_name",
        "birth_date": "dob",
        "id_number": "id_card",
        "phone": "contact_phone"
      }
    },
    {
      "source": "ERP",
      "mapping": {
        "person_name": "employee_name",
        "birth_date": "birthday",
        "id_number": "ssn",
        "phone": "tel"
      }
    }
  ]
}

4.5 数据预处理流程总览

下图展示了从原始数据到高质量实体解析输入数据的完整预处理流程：

4.6 预处理质量评估指标

为确保预处理效果可量化，建议使用以下指标进行质量评估：