VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Schema变更对数据血缘的冲击

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Schema变更概述

什么是Schema变更、为什么Schema变更会影响数据血缘、常见Schema变更类型（新增列、删除列、重命名列、修改数据类型、修改表结构）。

基础概念变更类型

数据血缘基础回顾

数据血缘的定义、数据血缘的粒度（字段级、表级、任务级）、数据血缘的存储方式（图数据库、关系型数据库、元数据存储）。

血缘基础存储

新增列对血缘的影响

新增列如何影响下游任务、血缘链路中的新增列传播机制、新增列导致的血缘断裂场景。

新增列传播

删除列对血缘的影响

删除列导致的血缘断裂、下游任务报错分析、如何通过血缘追踪定位删除列的影响范围。

删除列断裂

重命名列对血缘的影响

重命名列的血缘断裂机制、手动修复 vs 自动修复策略、重命名列在ETL中的典型问题。

重命名修复

修改数据类型对血缘的影响

数据类型不兼容导致的任务失败、隐式类型转换的血缘追踪、如何通过血缘预警数据类型变更。

数据类型预警

修改表结构对血缘的影响

分区字段变更、主键变更、索引变更对血缘的影响、表结构变更的级联效应。

表结构级联

Schema变更的检测机制

基于元数据对比的检测、基于日志的检测、基于事件驱动的检测、实时检测 vs 离线检测。

检测元数据

血缘解析引擎的Schema适配

解析引擎如何感知Schema变更、动态Schema解析策略、Schema版本管理在血缘中的应用。

解析引擎版本

血缘图的版本管理

为什么需要血缘版本管理、血缘版本快照机制、血缘版本回滚与恢复。

版本管理快照

Schema变更对血缘图的影响

血缘图的拓扑结构变化、节点和边的增删改、血缘图的完整性校验。

拓扑完整性

字段级血缘的断裂与修复

字段级血缘断裂的典型场景、自动修复算法（基于列名匹配、基于位置匹配、基于语义匹配）、手动修复的最佳实践。

字段级修复算法

表级血缘的断裂与修复

表级血缘断裂的典型场景、表依赖关系的重建、跨Schema变更的表血缘修复。

表级依赖重建

任务级血缘的断裂与修复

任务依赖关系的变更、任务输入输出Schema变更的处理、任务血缘的自动重建。

任务级自动重建

Schema变更对数据质量的影响

数据质量规则与血缘的关联、Schema变更导致的数据质量规则失效、如何通过血缘监控数据质量。

数据质量监控

Schema变更对数据治理的影响

数据资产目录的更新、数据标准的维护、数据安全策略的调整。

数据治理资产目录

Schema变更的审批流程

血缘影响分析在审批中的作用、自动生成影响分析报告、审批流程中的血缘可视化。

审批影响分析

Schema变更的灰度发布策略

灰度发布在Schema变更中的应用、血缘链路的灰度验证、回滚机制与血缘恢复。

灰度发布回滚

Schema变更的自动化测试

基于血缘的测试用例生成、Schema变更的回归测试、自动化测试框架的设计。

自动化测试回归

Schema变更的监控与告警

血缘断裂告警、数据质量告警、任务失败告警、告警的聚合与降噪。

Schema变更的根因分析

如何通过血缘图定位Schema变更的根因、根因分析的工具与方法、案例分析。

根因分析案例

Schema变更的影响范围评估

基于血缘图的影响范围分析、影响范围的量化评估、影响范围的动态更新。

影响范围量化

Schema变更的补偿机制

数据回填、任务重跑、数据修复、补偿机制的自动化。

Schema变更的文档化

Schema变更记录的维护、血缘变更日志的生成、文档化工具与最佳实践。

文档化变更日志

Schema变更的团队协作

数据工程师、数据分析师、数据治理人员的协作流程、沟通机制与工具支持。

团队协作流程

Schema变更的行业实践

金融行业、电商行业、互联网行业的Schema变更管理实践、行业案例分享。

行业实践案例

Schema变更的工具生态

Apache Atlas、DataHub、Amundsen、Marquez等工具对Schema变更的支持、工具选型建议。

工具生态选型

Schema变更的元数据管理

元数据采集、元数据存储、元数据服务、元数据与血缘的联动。

元数据联动

Schema变更的合规与审计

数据合规要求、审计日志的生成、Schema变更的审计追踪。

Schema变更的未来趋势

AI驱动的Schema变更预测、自动化的Schema变更管理、Schema变更与数据网格的融合。