4. 实体解析流程：数据采集、清洗、标准化、匹配、聚合、输出

金融实体解析（Entity Resolution, ER）是将来自不同数据源、描述同一现实世界金融实体的记录进行识别、链接与合并的过程。在《金融实体解析回放对比SQL分析》课程中，理解ER的标准流程是构建回放与对比分析的基础。本章将详细拆解ER的六大核心阶段：数据采集、清洗、标准化、匹配、聚合与输出。

4.1 实体解析六阶段总览

下图展示了实体解析的完整流水线，从原始数据输入到最终实体输出，每个阶段都承担着特定的数据转换与决策职责。

4.2 阶段一：数据采集（Data Ingestion）

数据采集是实体解析的起点，负责从多个金融数据源中提取原始记录。在SQL回放场景中，采集阶段通常对应INSERT或SELECT INTO操作，将源表数据加载到解析工作区。

4.2.1 常见金融数据源

4.2.2 采集阶段的SQL回放标记

-- 示例：将交易流水表加载到解析临时表
INSERT INTO er_work.txn_raw
SELECT txn_id, acct_no, txn_date, amount, merchant_code
FROM source_oltp.txn_log
WHERE txn_date >= '2024-01-01';

4.3 阶段二：数据清洗（Data Cleaning）

数据清洗旨在识别并修正原始数据中的质量问题。金融数据对准确性要求极高，清洗不彻底会直接导致匹配错误或实体分裂。

4.3.1 清洗操作清单

• 缺失值处理： 对关键字段（如身份证号、统一社会信用代码）进行空值填充或标记。
• 异常值检测： 过滤金额为负、日期为未来时间等明显错误。
• 重复记录去重： 在同一数据源内消除完全一致的冗余行。
• 格式校验： 验证电话号码位数、邮箱格式、证件号码校验位。

-- 清洗示例：过滤异常交易并补全缺失的商户分类
UPDATE er_work.txn_raw
SET merchant_category = 'UNKNOWN'
WHERE merchant_category IS NULL;

DELETE FROM er_work.txn_raw
WHERE amount <= 0 OR txn_date > CURRENT_DATE;

4.4 阶段三：标准化（Standardization）

标准化将不同源系统的数据转换为统一的表示形式，消除格式异构。这是匹配阶段能够准确计算相似度的前提。

4.4.1 标准化规则示例

-- 标准化SQL示例：统一日期格式
UPDATE er_work.txn_std
SET txn_date_std = TO_CHAR(TO_DATE(txn_date_raw, 'YYYY/MM/DD'), 'YYYY-MM-DD')
WHERE source_system = 'SYSTEM_A';

UPDATE er_work.txn_std
SET txn_date_std = TO_CHAR(TO_DATE(txn_date_raw, 'DD-MON-YYYY'), 'YYYY-MM-DD')
WHERE source_system = 'SYSTEM_B';

4.5 阶段四：匹配（Matching）

匹配是实体解析的核心决策环节。通过计算不同记录间的相似度，判定它们是否指向同一金融实体。匹配算法通常分为确定性匹配与概率性匹配两类。

4.5.1 匹配算法对比

-- 匹配阶段SQL示例：基于身份证号精确匹配候选对
SELECT a.record_id AS left_id,
       b.record_id AS right_id,
       'ID_CARD_EXACT' AS match_rule,
       1.0 AS similarity_score
FROM er_work.txn_std a
JOIN er_work.txn_std b
  ON a.id_card = b.id_card
WHERE a.source_system < b.source_system;  -- 避免重复对

4.6 阶段五：聚合（Aggregation / Entity Merging）

聚合阶段将匹配环节识别出的同一实体下的多条记录合并为一条“黄金记录”（Golden Record）。合并策略包括属性选择、冲突解决与历史追溯。

4.6.1 聚合策略

• 最新值优先： 取时间戳最近的记录值。
• 高置信度源优先： 核心银行系统数据优先级高于外部数据。
• 字段级投票： 多个源中取值最多的值作为最终值。
• 保留历史快照： 聚合后的实体需关联原始记录ID，支持回放追溯。

-- 聚合示例：合并同一实体的地址信息，取最新非空值
INSERT INTO er_work.entity_golden (entity_id, address, updated_at)
SELECT entity_id,
       COALESCE(
         MAX(CASE WHEN source_rank = 1 THEN address END),
         MAX(CASE WHEN source_rank = 2 THEN address END)
       ) AS best_address,
       MAX(updated_at)
FROM er_work.entity_candidates
GROUP BY entity_id;

4.7 阶段六：输出（Output）

输出阶段将聚合后的实体结果交付给下游系统，同时生成解析日志供后续回放对比分析使用。输出格式通常包括实体宽表、增量变更流以及解析质量报告。

4.7.1 输出产物清单

-- 输出示例：将解析结果写入最终实体表
INSERT INTO dwd.entity_golden_final
SELECT entity_id, entity_name, id_card, address, phone,
       CURRENT_TIMESTAMP AS etl_time
FROM er_work.entity_golden;

4.8 六阶段数据流转关系图

下图以数据视角展示各阶段之间的输入输出关系，突出每个阶段对数据形态的转换作用。

4.9 各阶段在SQL回放中的关键字段

为了支持后续的“回放对比”分析，每个阶段在日志表中都应记录以下关键元数据字段：