VIP9

本课程属于：021-数据治理、质量与元数据工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖仓表格式迁移方案

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖仓迁移概述

为什么需要迁移表格式？Hive vs Iceberg vs Delta Lake vs Hudi 核心差异。

迁移前的环境准备

Spark/Flink 版本选择、Catalog 配置、依赖包管理。

Hive 表格式详解

Hive 元数据存储结构、分区策略、SerDe 序列化机制。

Apache Iceberg 核心概念

快照隔离、Manifest 文件、分区演进、隐藏分区。

Delta Lake 核心概念

事务日志、ACID 保证、Schema 演进、时间旅行。

Apache Hudi 核心概念

Copy-on-Write vs Merge-on-Read、索引机制、Clustering。

表格式对比与选型

读写性能、生态兼容性、运维复杂度、社区活跃度。

迁移策略设计

全量迁移 vs 增量迁移、离线迁移 vs 实时迁移、停机迁移 vs 在线迁移。

元数据迁移

Hive Metastore 到 Iceberg/Deltalake Catalog 的转换。

元数据Catalog

数据文件格式转换

Parquet/ORC/Avro 之间的互转与优化。

分区策略迁移

从 Hive 静态分区到 Iceberg 隐藏分区/Delta 分区转换。

Schema 兼容性处理

字段类型映射、嵌套结构转换、默认值处理。

数据一致性校验

行数校验、Checksum 校验、抽样比对。

增量同步工具

Apache Flink CDC、Spark Structured Streaming 实现实时迁移。

迁移性能调优

并行度设置、文件大小控制、Shuffle 优化。

Hive 迁移到 Iceberg 实战

使用 Spark 批量迁移 Hive 表到 Iceberg。

Hive 迁移到 Delta Lake 实战

使用 Delta 的 Convert to Delta 命令。

Hive 迁移到 Hudi 实战

使用 Hudi DeltaStreamer 工具。

AWS S3 ↔ Azure ADLS ↔ GCP GCS 之间的数据迁移。

迁移后的查询引擎适配

Presto/Trino、Spark SQL、Flink SQL 的配置调整。

迁移后的权限管理

Ranger/Atlas 策略迁移、列级权限适配。

迁移后的数据治理

数据血缘追踪、质量监控、生命周期管理。

回滚方案设计

快照回滚、时间旅行恢复、双写回退策略。

迁移测试框架

自动化测试用例设计、性能基准测试、回归测试。

测试自动化

大规模迁移案例

PB 级数据迁移的架构设计与踩坑记录。

案例大规模

迁移监控与告警

Prometheus + Grafana 监控迁移进度与异常。

迁移后的优化

Compaction 策略、Z-order 排序、Bloom Filter 索引。

迁移工具选型

Apache XTable、Delta Sharing、Iceberg REST Catalog。

迁移文档与知识库

如何编写可复用的迁移 SOP。

迁移总结与最佳实践

常见错误清单、性能调优 checklist、团队协作建议。

总结最佳实践