1. 课程导论：金融实体解析的定义、回放对比分析的价值、SQL在金融数据治理中的核心作用
1.1 金融实体解析的定义
金融实体解析（Financial Entity Resolution）是指从异构、多源、海量的金融数据中，识别并关联属于同一真实世界实体（如客户、机构、交易对手、证券代码）的记录集合。其核心目标在于消除数据孤岛，建立统一的实体视图。
| 维度 | 说明 | 金融场景示例 |
|---|---|---|
| 实体类型 | 客户、法人、账户、交易、产品、抵押物 | 个人客户、企业客户、基金产品、债券代码 |
| 解析粒度 | 精确匹配、模糊匹配、概率匹配 | 身份证号精确匹配 vs 企业名称模糊匹配 |
| 数据来源 | 核心系统、风控系统、外部征信、监管报送 | CRM、反洗钱系统、人行征信、工商数据 |
| 输出结果 | 实体ID、置信度、匹配规则链、冲突记录 | 统一客户ID、匹配得分、规则触发日志 |
关键认知： 金融实体解析不是一次性的数据清洗，而是一个持续迭代的治理过程。每一次解析结果都需要经过回放对比验证，才能确保生产环境的准确性。
1.2 回放对比分析的价值
回放对比分析（Replay & Diff Analysis）是指将历史生产数据重新输入到新的或调整后的解析规则中，将新输出结果与历史基准结果进行逐字段、逐记录、逐实体的差异比对。其核心价值体现在以下三个层面：
- 规则验证： 在灰度发布前，通过回放历史全量数据，验证新规则是否引入回归性错误。
- 效果量化： 精确统计新增匹配对数、解除错误匹配数、实体合并/拆分比例。
- 审计追溯： 为监管合规提供可复现的解析过程记录，支持“为什么这两个记录被合并”的根因分析。
实践建议： 回放对比应覆盖至少一个完整业务周期（如月度、季度），并包含极端场景数据（如节假日交易高峰、系统迁移期间的数据）。
1.3 SQL在金融数据治理中的核心作用
SQL（结构化查询语言）是金融数据治理中最基础、最高效的工具。在实体解析回放对比分析中，SQL承担了以下不可替代的角色：
| 治理环节 | SQL能力 | 典型SQL操作 |
|---|---|---|
| 数据探查 | 快速统计分布、识别异常值 | COUNT, GROUP BY, HAVING, PERCENTILE |
| 规则实现 | 基于条件的匹配逻辑 | CASE WHEN, JOIN, LIKE, SOUNDEX |
| 差异比对 | 全字段逐行对比 | FULL OUTER JOIN, EXCEPT, COALESCE |
| 结果聚合 | 生成统计报表 | PIVOT, ROLLUP, WINDOW FUNCTIONS |
| 性能优化 | 分区、索引、执行计划调优 | PARTITION BY, EXPLAIN, INDEX |
常见误区： 不要试图用SQL一次性完成所有实体解析逻辑。复杂规则（如多层模糊匹配、图关系推理）应拆分为多个SQL步骤，中间结果通过临时表或CTE（公用表表达式）串联，便于调试和回放。
以下是一个典型的回放对比SQL片段，展示如何对比新旧两版解析结果：
-- 回放对比：新旧实体解析结果差异分析
WITH
new_result AS (
SELECT entity_id, customer_name, id_card, account_no, rule_version
FROM entity_resolution_new
WHERE batch_date = '2025-03-01'
),
old_result AS (
SELECT entity_id, customer_name, id_card, account_no, rule_version
FROM entity_resolution_old
WHERE batch_date = '2025-03-01'
)
SELECT
COALESCE(n.entity_id, o.entity_id) AS entity_id,
CASE
WHEN n.entity_id IS NULL THEN 'DELETED'
WHEN o.entity_id IS NULL THEN 'NEW'
WHEN n.customer_name != o.customer_name
OR n.id_card != o.id_card
OR n.account_no != o.account_no THEN 'MODIFIED'
ELSE 'UNCHANGED'
END AS diff_status,
n.customer_name AS new_name,
o.customer_name AS old_name,
n.id_card AS new_id,
o.id_card AS old_id,
n.rule_version AS new_rule,
o.rule_version AS old_rule
FROM new_result n
FULL OUTER JOIN old_result o
ON n.entity_id = o.entity_id
WHERE n.entity_id IS NULL
OR o.entity_id IS NULL
OR n.customer_name != o.customer_name
OR n.id_card != o.id_card
OR n.account_no != o.account_no
ORDER BY diff_status, entity_id;
核心要点： 上述SQL通过
FULL OUTER JOIN 和逐字段比较，精确识别出新增、删除、修改的记录。这是回放对比分析中最基础、最可靠的实现方式，也是后续课程中所有高级分析（如实体合并/拆分检测、规则回归率计算）的基石。
1.4 本章小结
- 金融实体解析 是构建统一客户/机构视图的核心技术，涉及多源数据匹配与冲突消解。
- 回放对比分析 是验证解析规则正确性、量化效果、满足审计合规的关键手段。
- SQL 凭借其声明式语法、强大的集合操作和广泛的数据源支持，成为金融数据治理中实现回放对比分析的首选工具。