VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

湖仓元数据治理全景规划

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

湖仓一体概述

数据仓库与数据湖的演进、湖仓一体架构定义、Lambda与Kappa架构对比。

元数据治理基础

元数据定义与分类（技术/业务/管理）、元数据管理成熟度模型。

元数据采集技术

JDBC/ODBC采集、日志采集（Flume/Filebeat）、API采集、事件驱动采集。

元数据存储与索引

关系型存储（MySQL/PostgreSQL）、图数据库（Neo4j）、搜索引擎（Elasticsearch）。

元数据血缘分析

字段级血缘解析、ETL任务血缘、SQL解析引擎（Antlr/Druid）。

元数据质量与标准化

元数据质量维度（完整性/准确性/时效性）、标准化规范制定。

数据目录与发现

数据资产目录设计、标签体系构建、搜索与推荐引擎。

数据安全与权限

元数据安全分级、RBAC/ABAC权限模型、数据脱敏策略。

数据生命周期管理

冷热数据分层、归档策略、TTL机制与元数据联动。

生命周期归档

数据模型管理

ER模型、维度建模、Data Vault模型在湖仓中的元数据映射。

实时元数据同步

CDC技术（Debezium/Canal）、流式元数据更新、Kafka Connect集成。

数据湖格式与元数据

Apache Iceberg、Delta Lake、Hudi的元数据机制对比。

湖格式对比

数据湖Catalog选型

Hive Metastore、AWS Glue、Unity Catalog、Polaris对比。

数据治理平台选型

Apache Atlas、DataHub、Amundsen、Marquez功能对比。

元数据API设计

RESTful API规范、GraphQL在元数据查询中的应用、API版本管理。

元数据事件驱动架构

事件总线设计、Schema Registry、元数据变更通知。

数据质量与元数据联动

质量规则元数据化、质量分数计算、异常检测与告警。

数据成本与治理

存储成本分析、计算成本归因、基于元数据的成本优化。

多环境元数据管理

开发/测试/生产环境隔离、元数据版本控制、灰度发布策略。

多环境版本

元数据合规与审计

GDPR/CCPA合规、审计日志设计、数据溯源与报告。

机器学习模型元数据管理、特征存储元数据、MLflow集成。

元数据可视化

知识图谱可视化、血缘图渲染、仪表盘设计。

可视化图谱

元数据自动化运维

元数据健康检查、自动修复、容量规划。

运维自动化

跨组织元数据协作

数据网格（Data Mesh）中的元数据、联邦查询与共享。

协作Data Mesh

元数据治理组织架构

治理委员会、数据管家（Data Steward）、责任矩阵（RACI）。

元数据治理流程与规范

变更管理流程、审批流程、SLA制定。

元数据治理工具链集成

CI/CD集成、数据管道编排（Airflow/Dagster）、监控告警。

工具链集成

元数据治理最佳实践

某金融行业案例、某电商行业案例、某制造业案例。

元数据治理成熟度评估

评估模型、评估方法、改进路线图。

成熟度评估

元数据治理未来趋势

Data Fabric、主动元数据、AI驱动治理。