VIP20

本课程属于：042-数据治理运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

企业元数据管理与数据资产治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

元数据管理概述

什么是元数据，技术元数据、业务元数据、管理元数据的分类，核心价值与挑战。

元数据模型设计

元数据模型概念，E-R模型与图模型对比，模型设计原则与最佳实践。

元数据采集技术

JDBC/ODBC、API、日志解析、爬虫等采集方法，Atlas、DataHub、OpenMetadata选型。

元数据存储与索引

关系型数据库、图数据库、搜索引擎存储方案对比，索引策略与选型。

元数据血缘分析

血缘概念与价值，SQL解析、日志解析技术，可视化与影响分析。

元数据质量与治理

完整性、准确性、及时性维度，治理框架，数据目录与数据地图。

元数据API与集成

RESTful与GraphQL API设计，与Hadoop、Spark、Flink及治理工具集成。

元数据安全与权限

RBAC与ABAC访问控制，加密脱敏，审计日志与合规。

元数据版本管理

版本概念，乐观锁与悲观锁策略，版本回滚与历史追溯。

元数据自动化运维

监控告警，生命周期管理，自动化元数据修复。

运维自动化

元数据与数据湖

数据湖元数据管理，Hive Metastore，AWS Glue Catalog，Delta Lake与Iceberg机制。

数据湖架构

元数据与数据仓库

数据仓库元数据，维度模型，ETL元数据管理。

元数据与数据中台

数据中台元数据角色，数据资产目录，数据服务联动。

元数据与AI/ML

机器学习元数据，特征存储，模型注册表与元数据。

元数据与数据网格

数据网格架构，数据产品元数据，联邦元数据管理。

元数据工具实战：Atlas

Apache Atlas部署配置，元数据模型与Hook，REST API使用。

元数据工具实战：DataHub

DataHub架构部署，UDF元数据模型，CLI与API操作。

元数据工具实战：OpenMetadata

OpenMetadata架构部署，元数据模型，Data Quality与Profiler。

OpenMetadata实战

元数据工具实战：Amundsen

Amundsen架构部署，元数据搜索，数据预览与血缘。

元数据工具实战：Marquez

Marquez架构部署，血缘追踪，API与集成。

元数据工具实战：Ranger

Apache Ranger与元数据安全，权限模型，与Atlas集成。

元数据工具实战：dbt

dbt与元数据管理，元数据生成，文档与测试。

元数据工具实战：Great Expectations

GE的Expectation与Validation，与DataHub集成。

元数据工具实战：SQL解析与血缘

sqlparse、ANTLR工具，自定义血缘解析器开发。

元数据工具实战：API开发

基于Flask/FastAPI的元数据服务，搜索API实现。

元数据工具实战：可视化

Grafana监控，React元数据目录开发。

可视化Dashboard

元数据工具实战：迁移与同步

从Atlas迁移到DataHub，双向同步策略。

元数据工具实战：自动化采集

基于Airflow的采集调度，采集插件开发。

元数据工具实战：治理平台搭建

开源组件选型整合，治理流程设计。

最佳实践与未来趋势

实施路线图，常见问题，Active Metadata与Data Observability趋势。

趋势最佳实践