VIP9
本课程属于：021-数据治理、质量与元数据工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

元数据血缘与Data Catalog生产实践与性能优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与全景认知
目标=元数据血缘与Data Cata… · 边界 · 核心价值
课程导入全景认知
02
元数据模型设计实战
目标=从业务元数据 · 技术元数据到操作元数据 · 设计可扩展的实体-关系模型
元数据模型设计实…目标=从业务元数…
03
血缘采集机制与生产接入
目标=解析SQL · Spark · Flink等计算引擎的血缘提取原理
血缘采集机制生产接入
04
Data Catalog元数据摄取管道
目标=构建从Hive · MySQL · Kafka
DataCatalog
05
血缘图谱存储选型与Schema设计
目标=对比图数据库 · 关系型数据库与混合存储方案 · 设计支持亿级节点与边的血缘图谱Sch…
Schema血缘图谱存储选型
06
血缘查询与影响分析实战
目标=实现表级 · 字段级血缘的向上追溯与向下影响分析 · 支持多跳查询
血缘查询影响分析实战
07
Data Catalog搜索与发现性能优化
目标=设计倒排索引与向量检索结合的元… · 优化模糊匹配 · 标签过滤与热门排序的响应时间
DataCatalog
08
元数据版本管理与时间旅行
目标=实现元数据变更历史 · 血缘快照与时间点回溯查询 · 支撑数据审计与故障根因定位
元数据版本管理时间旅行
09
血缘与Catalog的API服务设计
目标=构建高并发 · 低延迟的元数据服务API · 设计缓存策略
CatalogAPI
10
元数据质量与血缘完整性校验
目标=定义元数据质量指标 · 实现血缘断链检测 · 字段映射校验与自动修复任务
元数据质量血缘完整性校验
11
大规模血缘图谱的增量更新与合并
目标=处理每日千万级血缘变更 · 设计增量计算 · 图合并与冲突消解算法
大规模血缘图谱的…合并
12
Data Catalog权限模型与安全管控
目标=实现库表字段级权限 · 行级过滤与血缘可见性控制 · 集成LDAP/SSO与审计日志
DataCatalog
13
血缘驱动的数据资产估值与热度分析
目标=基于血缘关系与访问日志计算资产… · 影响范围与热度排名 · 支撑数据治理优先级
血缘驱动的数据资…热度分析
14
元数据血缘在数据质量监控中的应用
目标=将血缘关系与质量规则绑定 · 实现异常传播分析 · 根因定位与影响面评估
元数据血缘数据质量监控
15
Data Catalog与数据建模工具集成
目标=打通ERwin · PowerDesigner等建模工具 · 同步逻辑模型与物理模型
DataCatalog
16
实时血缘采集与流式Catalog更新
目标=针对Kafka · Flink等流式场景 · 设计实时血缘解析与Catalog近实…
Catalog实时血缘采集
17
跨集群、跨云元数据联邦查询
目标=实现多集群 · 多云环境下的元数据统一视图与联邦查询 · 解决网络延迟与数据一致性难题
跨集群跨云元数据联邦查…
18
血缘图谱可视化与交互优化
目标=设计大规模血缘图的前端渲染方案 · 支持渐进式加载 · 子图聚焦与交互式探索
血缘图谱可视化交互优化
19
元数据存储冷热分离与归档策略
目标=根据访问频率与时间维度设计冷热… · 降低存储成本并保持查询性能
元数据存储冷热分…归档策略
20
Data Catalog数据源扩展与自定义连接器
目标=开发插件化连接器框架 · 支持新数据源快速接入 · 处理异构元数据映射与转换
DataCatalog
21
血缘解析性能调优
目标=优化SQL解析器 · AST遍历与血缘提取算法 · 提升大批量作业血缘解析的吞吐量与准确…
血缘解析性能调优SQL
22
元数据服务高可用与容灾设计
目标=设计多副本 · 多活架构 · 实现故障自动切换与数据一致性保障
元数据服务高可用容灾设计
23
Data Catalog用户行为分析与个性化推荐
目标=采集用户搜索 · 浏览 · 收藏行为
DataCatalog
24
血缘与数据生命周期管理
目标=基于血缘关系实现数据保留策略 · 归档与销毁的联动 · 满足合规与成本控制要求
血缘数据生命周期管理
25
元数据变更影响模拟与预发布验证
目标=在元数据变更前模拟血缘影响 · 评估下游影响范围 · 支持变更审批与回滚预案
元数据变更影响模…预发布验证
26
Data Catalog与数据市场集成
目标=将Catalog元数据发布到数… · 支持数据产品上架 · 订阅与血缘展示
DataCatalog
27
血缘图谱的图算法应用
目标=应用PageRank · 社区发现 · 最短路径等图算法识别关键资产
血缘图谱的图算法…PageRank
28
元数据采集的容错与补偿机制
目标=设计采集失败重试 · 断点续传与数据补偿任务 · 保障元数据最终一致性
元数据采集的容错补偿机制
29
生产环境性能压测与调优案例
目标=针对血缘查询 · Catalog搜索与元数据写入进行压… · 分析瓶颈并实施调优
生产环境性能压测调优案例
30
课程总结与生产落地路线图
目标=回顾核心模块 · 制定从试点到全面推广的元数据血缘与D… · 持续优化性能与治理效果
课程总结生产落地路线图