VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

元数据目录构建完整方案

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

元数据目录概述

什么是元数据，技术元数据、业务元数据、操作元数据三大分类，元数据目录的核心价值与落地挑战。

核心概念与术语

数据资产、数据实体、数据属性、数据血缘、数据字典，以及数据目录、数据地图、数据资产目录的异同。

技术元数据采集

数据库元数据（表、字段、索引、分区）、ETL元数据、BI报表元数据、API元数据的采集方法与实战。

业务元数据建模

业务术语表、指标定义、维度模型、业务规则、数据质量规则，构建业务语义层。

操作元数据管理

作业调度元数据、数据任务运行日志、数据访问审计、数据生命周期元数据的管理策略。

元数据采集架构设计

推模式 vs 拉模式、增量采集 vs 全量采集、采集调度策略、断点续传机制，高可靠架构。

元数据存储选型

关系型数据库（MySQL/PostgreSQL）、图数据库（Neo4j/JanusGraph）、搜索引擎（Elasticsearch）、混合存储架构对比。

元数据目录API设计

RESTful API设计原则、元数据查询接口、变更通知机制、批量导入导出接口规范。

数据血缘解析技术

基于ANTLR/Calcite的SQL解析，字段级、表级、跨系统血缘追踪，构建完整数据流。

元数据分类与标签

自动分类算法、基于规则的标签、用户自定义标签、标签继承与传播机制。

元数据搜索与发现

全文搜索、高级过滤、推荐搜索、相似度搜索、自然语言查询，提升数据发现效率。

元数据目录UI/UX设计

目录浏览、搜索交互、详情页设计、数据预览、关系图谱可视化，打造极致体验。

数据质量与元数据联动

质量规则绑定、质量评分、质量报告、异常告警与元数据自动更新，闭环治理。

元数据权限与安全

RBAC/ABAC模型、数据脱敏策略、元数据访问审计、敏感数据识别与保护。

元数据变更管理

变更捕获（CDC）、变更通知、版本管理、影响分析、回滚机制，保障元数据一致性。

元数据目录与数据治理

数据标准映射、数据资产盘点、合规性检查、数据生命周期治理，落地数据治理体系。

元数据目录与数据开发

数据开发IDE集成、数据模型管理、代码生成、数据测试，提升开发效率。

元数据目录与数据运营

数据资产热度分析、使用统计、成本分析、数据价值评估，驱动运营决策。

开源元数据目录工具对比

Apache Atlas、Amundsen、DataHub、Marquez、OpenMetadata 特性与选型分析。

Apache Atlas深度实践

架构解析、模型定义、Hook集成、REST API、UI定制，企业级部署指南。

DataHub深度实践

架构解析、元数据模型（PDL）、Ingestion框架、UI功能、高级特性与二次开发。

OpenMetadata深度实践

架构解析、数据模型、Connector开发、UI定制、自动化测试，快速上手。

OpenMetadata实践

元数据目录与数据湖/湖仓一体

Hive元数据同步、Iceberg/Delta Lake元数据、Lakehouse Catalog集成方案。

数据湖湖仓

元数据目录与实时数据

Kafka元数据、Flink元数据、实时血缘、实时质量监控，流式元数据管理。

元数据目录与AI/ML

特征存储元数据、模型元数据、实验元数据、MLflow集成，赋能机器学习。

元数据目录规模化实践

多集群部署、高可用设计、性能优化、数据分片与缓存，支撑大规模场景。

规模化高可用

元数据目录监控与运维

健康检查、性能监控、告警规则、日志分析、容量规划，保障稳定运行。

元数据目录测试策略

单元测试、集成测试、性能测试、元数据一致性测试、混沌工程，质量保障。

元数据目录实施路线图

需求调研、技术选型、MVP构建、推广落地、持续运营，端到端实施指南。

路线图实施

元数据目录案例实战

金融行业数据资产目录、电商数据地图、医疗数据血缘追踪、制造业数据治理，真实案例剖析。