VIP20
本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据湖仓Catalog集成方案

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
数据湖仓Catalog概述
什么是数据湖仓、Catalog的核心作用、为什么需要统一Catalog。
基础概念
第2章
主流Catalog技术选型
Hive Metastore、AWS Glue、Apache Polaris、Unity Catalog对比。
选型对比
第3章
Hive Metastore深度解析
架构原理、部署模式、元数据存储模型、常见问题。
Hive深度
第4章
Apache Polaris入门
Polaris是什么、架构设计、与Iceberg的集成方式。
PolarisIceberg
第5章
AWS Glue Catalog实战
Glue Data Catalog架构、爬虫机制、与Spark的集成。
AWSGlue
第6章
Unity Catalog详解
Databricks的Catalog方案、权限模型、多层级命名空间。
Databricks权限
第7章
Catalog集成模式一：联邦查询
联邦查询模式（Federated Query）的架构与实现。
联邦集成
第8章
Catalog集成模式二：元数据同步
元数据同步模式（Metadata Sync）的策略与工具链。
同步元数据
第9章
Catalog集成模式三：统一网关
统一网关模式（Unified Gateway）的设计与落地。
网关统一
第10章
Catalog集成模式四：虚拟化引擎
虚拟化引擎模式（Virtualization Engine）与查询下推。
虚拟化引擎
第11章
Apache Iceberg与Catalog集成
Iceberg的Catalog接口、REST Catalog、JDBC Catalog。
IcebergREST
第12章
Apache Hudi与Catalog集成
Hudi的元数据同步、Hive Sync、Spark DataSource。
Hudi同步
第13章
Delta Lake与Catalog集成
Delta Sharing、Unity Catalog集成、Metastore集成。
DeltaSharing
第14章
多引擎共享Catalog
Trino、Spark、Flink如何共享同一个Catalog。
多引擎共享
第15章
Catalog权限管理
RBAC模型、行级权限、列级权限、数据脱敏。
权限安全
第16章
Catalog血缘追踪
OpenLineage集成、Atlas集成、Marquez集成。
血缘OpenLineage
第17章
Catalog元数据发现与自动注册
爬虫策略、事件驱动、定时任务。
发现自动
第18章
Catalog高可用与容灾
主从架构、多活部署、跨区域复制。
高可用容灾
第19章
Catalog性能优化
缓存策略、分区裁剪、元数据压缩。
性能优化
第20章
Catalog安全最佳实践
加密传输、审计日志、密钥管理。
安全最佳实践
第21章
跨云Catalog集成
AWS、Azure、GCP之间的元数据互通方案。
跨云互通
第22章
Catalog与数据治理
数据目录、数据质量、数据分类。
治理质量
第23章
Catalog与数据版本管理
Time Travel、Schema Evolution、版本回滚。
版本Time Travel
第24章
Catalog与数据发现
搜索、标签、业务术语表。
发现搜索
第25章
Catalog与数据共享
Delta Sharing、Apache Pegasus、内部共享机制。
共享Delta Sharing
第26章
Catalog监控与告警
Prometheus集成、Grafana面板、关键指标。
监控Prometheus
第27章
Catalog迁移实战：Hive → Unity
从Hive Metastore迁移到Unity Catalog。
迁移Unity
第28章
Catalog迁移实战：Hive → Glue
从Hive Metastore迁移到AWS Glue Catalog。
迁移Glue
第29章
Catalog迁移实战：Hive → Polaris
从Hive Metastore迁移到Apache Polaris。
迁移Polaris
第30章
数据湖仓Catalog未来趋势
AI驱动的元数据管理、Data Mesh、Open Catalog标准。
趋势AI
专注课程资料整理