4. 数据源血缘分析：使用SQL查询元数据，梳理坏账率涉及的表、字段、ETL依赖关系，建立数据血缘图
数据血缘分析是坏账率质量治理的“透视镜”。当坏账率指标出现异常波动时，只有清晰的血缘图谱能快速定位：是源端业务系统数据变更、ETL逻辑错误，还是中间表数据污染？本章将演示如何通过查询数据库元数据（如 information_schema、pg_catalog 或 Hive Metastore），系统梳理坏账率计算涉及的表、字段及ETL依赖关系，并构建可视化的数据血缘图。
4.1 坏账率核心数据链路全景
坏账率计算通常跨越多个数据域：
| 数据域 | 典型表 | 关键字段 | 数据来源 |
|---|---|---|---|
| 合同/借据 | loan_contract | contract_id, loan_amount, status | 核心业务系统 |
| 还款流水 | repayment_detail | contract_id, due_date, actual_paid | 账务系统 |
| 逾期标签 | overdue_tag | contract_id, overdue_days, overdue_level | 贷后系统 |
| 核销记录 | write_off | contract_id, write_off_amount, write_off_date | 资产处置系统 |
| 汇总宽表 | dw_bad_debt_fact | report_date, total_principal, bad_debt_amount | ETL加工 |
关键原则： 血缘分析必须覆盖“源 → 中间 → 应用”三层。仅分析源表和结果表，会遗漏ETL中间表带来的质量风险。
4.2 使用SQL查询元数据：以MySQL为例
通过查询 information_schema 可以自动发现表与字段的依赖关系。以下SQL用于提取坏账率相关表及其字段结构：
-- 查询涉及坏账率的所有表及字段
SELECT
t.TABLE_NAME,
c.COLUMN_NAME,
c.DATA_TYPE,
c.IS_NULLABLE,
c.COLUMN_COMMENT
FROM information_schema.TABLES t
JOIN information_schema.COLUMNS c
ON t.TABLE_NAME = c.TABLE_NAME
AND t.TABLE_SCHEMA = c.TABLE_SCHEMA
WHERE t.TABLE_SCHEMA = 'risk_data'
AND t.TABLE_NAME IN (
'loan_contract',
'repayment_detail',
'overdue_tag',
'write_off',
'dw_bad_debt_fact'
)
ORDER BY t.TABLE_NAME, c.ORDINAL_POSITION;元数据扩展： 在Hive环境中，可使用 DESCRIBE FORMATTED 或查询 metastore.TBLS 与 metastore.COLUMNS_V2 获取类似信息。在PostgreSQL中，对应 pg_catalog.pg_tables 和 information_schema.columns。
4.3 ETL依赖关系梳理：从SQL脚本中提取血缘
ETL脚本（如SQL、Spark、DataFlow）中隐含了字段级的转换逻辑。以下方法可系统化提取依赖：
- 解析INSERT … SELECT语句：目标表字段与源表字段一一对应。
- 识别JOIN条件：确定表之间的关联键（如
contract_id）。 - 追踪派生字段：如
CASE WHEN overdue_days > 90 THEN amount ELSE 0 END生成坏账金额。 - 记录过滤条件：
WHERE status = 'NORMAL'等条件影响数据范围。
示例ETL脚本片段（坏账事实表加工）：
INSERT INTO dw_bad_debt_fact (report_date, contract_id, total_principal, bad_debt_amount)
SELECT
CURRENT_DATE AS report_date,
l.contract_id,
l.loan_amount AS total_principal,
CASE
WHEN o.overdue_days >= 90 AND w.write_off_amount IS NULL
THEN l.loan_amount * 0.5
WHEN w.write_off_amount IS NOT NULL
THEN w.write_off_amount
ELSE 0
END AS bad_debt_amount
FROM loan_contract l
LEFT JOIN overdue_tag o ON l.contract_id = o.contract_id
LEFT JOIN write_off w ON l.contract_id = w.contract_id
WHERE l.status IN ('ACTIVE', 'OVERDUE');常见陷阱： 很多ETL脚本使用 SELECT * 或动态列映射，导致血缘关系隐式传递。必须结合DDL变更历史，才能准确追踪字段级依赖。
4.4 数据血缘图：字段级依赖可视化
以下SVG图展示了坏账率计算从源表到最终指标的完整字段级血缘关系，包含ETL转换节点和关键依赖路径。
4.5 血缘分析自动化：元数据查询脚本
以下SQL用于从ETL调度系统（如Airflow、DolphinScheduler）的元数据表中提取任务依赖关系：
-- 查询ETL任务依赖（以DolphinScheduler为例）
SELECT
t.name AS task_name,
t.dependence AS upstream_tasks,
t.target_table,
t.source_tables
FROM ds_task t
WHERE t.target_table IN ('dw_bad_debt_fact', 'overdue_tag')
ORDER BY t.task_id;自动化工具推荐： 对于大规模数据平台，建议使用Apache Atlas、DataHub或Marquez等开源血缘工具，它们能自动解析SQL解析树并生成字段级血缘图，避免手工维护的滞后性。
4.6 血缘分析在质量治理中的应用
| 场景 | 血缘分析价值 | 典型SQL/操作 |
|---|---|---|
| 异常指标溯源 | 快速定位上游哪个字段或ETL步骤导致坏账率突变 | 沿血缘图逆向追踪字段变更 |
| 源表结构变更影响评估 | 评估新增字段或修改数据类型对下游的影响范围 | SELECT DISTINCT target_table FROM lineage WHERE source_column = 'overdue_days' |
| ETL逻辑验证 | 确认坏账计算逻辑是否按业务规则正确映射 | 对比血缘图中的转换表达式与业务文档 |
| 数据质量规则配置 | 在关键血缘节点配置质量监控（如空值率、波动阈值） | 在 dw_bad_debt_fact.bad_debt_amount 上设置波动告警 |
最佳实践： 每次ETL发布后，自动运行血缘比对脚本，将新血缘图与基线版本对比，任何新增或消失的依赖关系都应触发人工审核。
4.7 构建血缘图的技术选型对比
| 方案 | 自动化程度 | 字段级支持 | 适用场景 |
|---|---|---|---|
| 手工SQL查询元数据 | 低 | 部分支持 | 小型团队、临时排查 |
| SQL解析器（如sqlparse） | 中 | 完全支持 | 自定义ETL审计 |
| 开源血缘工具（Atlas/DataHub） | 高 | 完全支持 | 中大型数据平台 |
| 商业数据治理平台 | 高 | 完全支持 | 企业级治理需求 |
通过系统化的数据血缘分析，坏账率质量治理从“被动救火”转变为“主动防御”。当业务人员质疑坏账率数据时，你可以直接展示字段级血缘图，清晰说明每个数据点的来源与加工逻辑，这是建立数据信任的关键一步。