3. 数据源接入与清洗：构建反洗钱特征工程的基石

反洗钱特征工程的质量，直接取决于底层数据的完整性、准确性与时效性。本章将系统讲解AML特征工程所需的核心数据源接入方式、数据质量检查要点以及清洗策略，确保后续特征计算建立在可靠的数据基础之上。

3.1 核心数据源概览

AML特征工程通常依赖以下五类数据源，每类数据源在特征体系中承担不同角色：

3.2 数据源接入架构

下图展示了AML特征工程中典型的数据源接入与清洗架构，各数据源通过标准化接口进入数据湖，经过质量检查与清洗后，进入特征存储层。

3.3 数据质量检查策略

数据质量检查是特征工程的"守门人"。以下按数据源类型列出核心检查项与标准：

3.3.1 客户信息（KYC）质量检查

3.3.2 交易流水质量检查

3.3.3 黑名单与制裁名单质量检查

• 完整性：名单实体名称、证件号、名单类型不可为空，缺失率须低于0.5%。
• 准确性：制裁名单的生效日期与到期日期逻辑校验（生效日期 < 到期日期）。
• 一致性：同一实体在不同名单源中的名称拼写差异需标准化处理（如"Osama bin Laden" vs "Usama bin Ladin"）。
• 时效性：名单更新版本号与发布日期必须记录，过期名单需标记失效日期。
• 唯一性：基于模糊匹配算法（如Jaro-Winkler、Levenshtein）检测名单内重复实体。

3.3.4 舆情数据质量检查

• 完整性：新闻标题、正文、发布时间、实体提及字段不可为空。
• 准确性：实体识别（NER）结果需人工抽检，准确率不低于90%。
• 一致性：同一事件在不同新闻源中的实体提及需对齐（如"马云" vs "Jack Ma"）。
• 时效性：舆情数据延迟不超过1小时，历史舆情需标注采集时间戳。
• 去重：基于文本相似度（SimHash、MinHash）去除重复或高度相似的新闻。

3.4 数据清洗策略

数据清洗是质量检查的后续动作，旨在将原始数据转化为可用于特征计算的标准格式。以下按数据源类型给出清洗策略：

3.4.1 客户信息清洗

-- 清洗示例：客户姓名标准化与证件号格式化
UPDATE customer_profile
SET 
    name_standard = UPPER(TRIM(name)),  -- 姓名统一大写并去除首尾空格
    id_number_standard = CASE
        WHEN id_type = 'ID_CARD' AND LENGTH(id_number) = 18 
            THEN UPPER(id_number)  -- 身份证统一大写
        WHEN id_type = 'PASSPORT' 
            THEN UPPER(TRIM(id_number))  -- 护照号统一大写
        ELSE id_number
    END,
    address_standard = regexp_replace(address, '\s+', ' '),  -- 地址多余空格压缩
    update_timestamp = CURRENT_TIMESTAMP
WHERE quality_flag = 'PENDING_CLEAN';

3.4.2 交易流水清洗

-- 清洗示例：交易金额舍入与时间戳标准化
CREATE OR REPLACE VIEW transaction_clean AS
SELECT 
    transaction_id,
    account_id,
    counterparty_id,
    ROUND(amount, 2) AS amount_clean,  -- 金额保留两位小数
    currency_code,
    CASE 
        WHEN transaction_time > CURRENT_TIMESTAMP 
            THEN DATEADD(hour, -8, transaction_time)  -- 时区修正示例
        ELSE transaction_time
    END AS transaction_time_clean,
    channel,
    ip_address,
    'CLEAN' AS clean_status
FROM transaction_raw
WHERE transaction_id IS NOT NULL 
  AND account_id IS NOT NULL 
  AND amount > 0;

3.4.3 名单数据清洗

-- 清洗示例：名单实体名称标准化与别名扩展
INSERT INTO sanction_list_clean
SELECT 
    sanction_id,
    UPPER(TRIM(entity_name)) AS entity_name_standard,
    -- 生成别名变体用于模糊匹配
    ARRAY[
        UPPER(TRIM(entity_name)),
        REPLACE(UPPER(TRIM(entity_name)), ' ', ''),
        REPLACE(UPPER(TRIM(entity_name)), '-', ' ')
    ] AS name_variants,
    sanction_program,
    country,
    effective_date,
    expiry_date,
    source,
    CURRENT_TIMESTAMP AS load_timestamp
FROM sanction_list_raw
WHERE effective_date <= CURRENT_DATE 
  AND (expiry_date IS NULL OR expiry_date >= CURRENT_DATE);

3.4.4 舆情数据清洗

# 清洗示例：舆情文本预处理与实体标准化
import re
import hashlib

def clean_news_article(article):
    # 去除HTML标签
    text = re.sub(r'<[^>]+>', '', article['content'])
    # 去除多余空白
    text = re.sub(r'\s+', ' ', text).strip()
    # 统一全角半角
    text = text.replace('，', ',').replace('。', '.').replace('（', '(').replace('）', ')')
    # 生成去重指纹
    text_hash = hashlib.md5(text.encode()).hexdigest()
    
    return {
        'news_id': article['news_id'],
        'title_clean': article['title'].strip(),
        'content_clean': text,
        'content_hash': text_hash,
        'publish_time': article['publish_time'],
        'entities': standardize_entities(article['entities']),  # 实体标准化
        'source': article['source'],
        'load_timestamp': datetime.now()
    }

3.5 数据质量监控与告警

建立持续的数据质量监控机制，确保特征工程始终运行在高质量数据之上：

3.6 数据清洗常见陷阱与避坑指南

3.7 本章小结

数据源接入与清洗是AML特征工程的"地基工程"，其质量直接决定上层特征的有效性与模型的可靠性。核心要点包括：

• 五类核心数据源（KYC、交易、黑名单、制裁名单、舆情）各有不同的质量检查重点与清洗策略。
• 质量检查需覆盖完整性、准确性、一致性、时效性、唯一性五个维度，并设定可量化的阈值。
• 清洗策略应保留原始数据快照，采用分级处理机制，避免过度清洗导致信息丢失。
• 监控闭环确保数据质量问题能被及时发现、告警并反馈至规则优化，形成持续改进的良性循环。

完成数据源接入与清洗后，下一阶段将进入特征工程的核心环节——基于清洗后的高质量数据，构建具有业务解释性与统计显著性的AML特征体系。