VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多引擎元数据统一管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

元数据管理概述

什么是元数据，技术元数据、业务元数据、管理元数据分类，元数据管理的核心价值与落地挑战。

多引擎环境下的元数据挑战

Hive、MySQL、Elasticsearch、Kafka 等引擎元数据差异分析，统一管理的必要性与痛点。

元数据采集技术

JDBC/ODBC 采集、日志解析、API 采集、事件监听采集，多场景覆盖的采集策略。

元数据存储与建模

关系型存储、图数据库、混合存储架构，元数据模型设计原则与扩展性考量。

元数据血缘分析

字段级、表级、ETL 任务血缘，血缘解析算法与可视化追溯。

元数据版本管理

版本号策略、变更追踪、回滚机制、快照管理，保障元数据可追溯。

元数据质量与治理

完整性检查、一致性校验、元数据标准化、数据字典建设与治理流程。

元数据服务化

RESTful API 设计、GraphQL 接口、元数据搜索、订阅与通知机制。

元数据安全与权限

RBAC/ABAC 访问控制、敏感元数据脱敏、审计日志与合规安全。

元数据与数据目录

数据目录功能、标签管理、业务术语表、数据资产盘点与发现。

元数据与数据湖/仓

Lakehouse 架构元数据管理，Delta Lake / Iceberg / Hudi 元数据对比。

数据湖Lakehouse

元数据与数据治理平台

Atlas、DataHub、Amundsen、Marquez 等开源工具对比与选型。

元数据与AI/ML

特征存储元数据、模型元数据、实验追踪，支撑机器学习全生命周期。

元数据实时化

CDC 技术、流式元数据采集、实时血缘更新与低延迟管道。

元数据自动化

自动发现、自动标注、自动血缘解析、自动质量检测，降低人工成本。

自动化智能

元数据与数据网格

数据产品元数据、数据域划分、联邦治理与去中心化元数据管理。

数据网格联邦

元数据与合规

GDPR/CCPA 合规元数据、数据分类分级、数据保留策略与审计。

元数据与成本管理

存储成本元数据、计算成本元数据、冷热数据分层与成本优化。

元数据与SLA

数据时效性元数据、数据质量 SLA、告警与通知机制。

元数据与数据可观测性

数据健康度、数据漂移检测、异常检测与可观测性体系。

可观测监控

元数据与数据虚拟化

虚拟表元数据、查询路由元数据、数据联邦与统一访问层。

虚拟化联邦

元数据与数据交换

数据共享元数据、数据市场、数据合约与跨组织交换。

元数据与数据备份恢复

元数据备份策略、灾难恢复、元数据一致性恢复与演练。

元数据与多活/容灾

跨机房元数据同步、全局元数据视图、冲突解决与高可用。

元数据与数据压缩/编码

压缩算法元数据、编码格式、存储格式元数据与效率分析。

元数据与数据生命周期

数据创建、活跃、归档、销毁各阶段元数据管理策略。

生命周期归档

元数据与数据测试

测试数据生成元数据、测试覆盖率、数据比对元数据与质量门禁。

元数据与数据文档

自动文档生成、文档与元数据联动、文档版本管理与协同。

文档自动生成

元数据与数据协作

评论/标注、数据申请、数据审批流程元数据，提升团队协作效率。

元数据管理平台实战

从0到1搭建统一元数据平台，选型建议、落地案例与最佳实践。