VIP9
本课程属于：021-数据治理、质量与元数据工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据湖仓多Catalog整合

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据湖仓概述
数据湖与数据仓库的区别、湖仓一体架构演进、多Catalog出现的背景。
基础演进
02
Catalog核心概念
什么是Catalog、Catalog与Schema/Table的关系、元数据服务的作用。
核心元数据
03
Hive Metastore深度解析
HMS架构、配置与部署、与Spark/Flink的集成。
Hive集成
04
Apache Iceberg Catalog
Iceberg核心概念、Catalog类型（Hive、Hadoop、REST）、表管理操作。
Iceberg表格式
05
Delta Lake Catalog
Delta Lake核心概念、Catalog配置、时间旅行与版本管理。
Delta时间旅行
06
Apache Hudi Catalog
Hudi核心概念、Catalog配置、Copy-on-Write与Merge-on-Read。
HudiMOR
07
Paimon Catalog
Paimon核心概念、Catalog配置、表类型与分区策略。
Paimon分区
08
JDBC Catalog
JDBC Catalog原理、连接MySQL/PostgreSQL、数据映射与同步。
JDBC关系型
09
Kafka Catalog
Kafka Catalog概念、Schema Registry集成、流式数据映射。
Kafka流式
10
REST Catalog
REST Catalog协议、服务端实现、客户端配置。
RESTAPI
11
多Catalog统一管理
Catalog注册中心、统一元数据视图、跨Catalog查询。
统一联邦
12
Spark SQL多Catalog集成
Spark Catalog配置、USE CATALOG语法、跨Catalog JOIN。
SparkSQL
13
Flink SQL多Catalog集成
Flink Catalog配置、CREATE CATALOG语法、动态表映射。
Flink动态表
14
Trino/Presto多Catalog集成
Trino Catalog配置、跨数据源查询、性能优化。
TrinoPresto
15
Doris多Catalog集成
Doris Catalog配置、外表查询、数据导入导出。
Doris外表
16
StarRocks多Catalog集成
StarRocks Catalog配置、外表查询、物化视图。
StarRocks物化视图
17
Catalog权限管理
RBAC模型、Catalog级别权限、表级别权限控制。
权限RBAC
18
Catalog数据同步策略
全量同步、增量同步、CDC实时同步。
同步CDC
19
Catalog元数据迁移
从HMS迁移到Iceberg/REST Catalog、迁移工具与脚本。
迁移HMS
20
Catalog版本兼容性
不同Catalog版本兼容性矩阵、升级策略与回滚方案。
兼容性升级
21
Catalog性能优化
元数据缓存、分区裁剪、统计信息收集。
性能缓存
22
Catalog高可用设计
多副本部署、故障转移、一致性保证。
高可用一致性
23
Catalog监控与告警
元数据操作监控、性能指标采集、告警规则配置。
监控告警
24
Catalog与数据治理
数据血缘、数据质量、数据目录集成。
治理血缘
25
Catalog与AI/ML
特征存储Catalog、模型元数据管理、MLflow集成。
AIMLflow
26
多Catalog实战案例一
实时数仓多Catalog整合（Kafka + Iceberg + Doris）。
实战实时
27
多Catalog实战案例二
数据湖多Catalog整合（Hive + Delta + Spark）。
实战数据湖
28
多Catalog实战案例三
跨云多Catalog整合（AWS Glue + Azure Purview + GCP Dataplex）。
跨云Glue
29
多Catalog最佳实践
Catalog选型建议、架构设计原则、常见坑与解决方案。
最佳实践选型
30
多Catalog未来趋势
开放目录协议、数据网格、AI驱动的元数据管理。
趋势数据网格