VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse元数据架构与血缘治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

元数据概述

什么是元数据，技术元数据、业务元数据、管理元数据的分类，以及元数据在数据平台中的核心价值。

Lakehouse架构基础

数据湖与数据仓库的演进，Lakehouse核心特征（ACID、Schema-on-Read/Write、开放格式），Delta Lake/Iceberg/Hudi对比。

元数据层设计原则

分层解耦原则、统一命名规范、版本控制策略、血缘追踪的必要性。

技术元数据详解

表结构、分区信息、文件格式、存储路径、数据大小、记录数、更新频率。

业务元数据详解

业务定义、数据域、数据标准、质量规则、安全等级、数据Owner。

管理元数据详解

作业调度信息、运行日志、数据生命周期、权限策略、审计日志。

元数据采集机制

全量采集与增量采集策略、事件驱动采集（CDC）、定时任务采集、API采集。

元数据存储选型

关系型数据库（MySQL/PostgreSQL）、图数据库（Neo4j）、搜索引擎（Elasticsearch）、混合存储方案。

元数据服务架构

元数据服务分层（接入层、服务层、存储层）、高可用设计、缓存策略。

架构高可用

元数据API设计

RESTful API规范、GraphQL查询、批量导入导出接口、权限校验。

数据血缘解析

什么是数据血缘，血缘的粒度（表级、字段级），血缘采集方式（解析SQL、日志解析、运行时拦截）。

血缘存储与查询

图模型存储、邻接表存储、血缘追溯（向上溯源、向下影响分析）、可视化展示。

数据质量元数据

质量规则定义、质量评分模型、异常检测记录、质量报告生成。

数据安全元数据

敏感数据识别、脱敏规则、访问控制列表（ACL）、数据加密策略。

数据生命周期管理

冷热数据分层、归档策略、过期清理机制、存储成本优化。

生命周期成本

元数据一致性保障

分布式事务（2PC/Saga）、最终一致性方案、冲突检测与修复。

一致性分布式

元数据版本管理

Schema演进（兼容/不兼容变更）、版本回滚、时间旅行查询。

元数据搜索与发现

全文搜索、标签检索、推荐算法、数据资产目录。

元数据变更通知

Webhook机制、消息队列（Kafka/Pulsar）、变更事件订阅。

多引擎元数据协同

Spark、Flink、Presto/Trino、Hive的元数据统一视图。

元数据性能优化

查询缓存、索引优化、分片策略、读写分离。

元数据监控与告警

采集延迟监控、服务健康检查、异常告警规则。

元数据治理平台

开源方案（Apache Atlas、DataHub、Amundsen）对比、选型建议。

元数据与AI/ML

特征存储元数据、模型元数据、实验追踪、MLflow集成。

实时元数据流

流式元数据采集、实时血缘更新、近实时数据目录。

跨云/混合云元数据

多云统一视图、数据复制元数据、网络延迟优化。

跨云混合云

元数据成本管理

存储成本、计算成本、查询成本的可观测性。

成本可观测

元数据合规与审计

GDPR/CCPA合规、审计日志、数据溯源。

元数据最佳实践

从0到1搭建元数据体系、常见坑点、团队协作模式。

Active Metadata、Data Mesh中的元数据、AI驱动的元数据管理。