VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

企业级Lakehouse迁移实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据迁移的现状与挑战

传统数据仓库的痛点、数据湖的局限性、Lakehouse架构的兴起。

Lakehouse核心概念解析

Delta Lake、Apache Iceberg、Apache Hudi三大开放表格式对比。

表格式对比

迁移前的架构评估

现有系统盘点、数据血缘梳理、依赖关系分析。

迁移策略制定

Strangler Fig模式、双跑策略、全量+增量迁移方案设计。

数据格式转换实战

从Parquet/ORC到Delta Lake的转换工具与脚本。

从传统ETL工具到Spark SQL/PySpark的作业迁移。

实时数据管道迁移

从Kafka到Delta Lake的Streaming写入实践。

元数据迁移

Hive Metastore到Unity Catalog/AWS Glue Catalog的迁移。

元数据Catalog

权限与安全迁移

从传统RBAC到Lakehouse细粒度权限控制。

数据质量保障

迁移过程中的数据校验、对账与一致性检查。

Z-Order优化、分区策略、文件大小控制与Compaction。

存储分层（S3/ADLS/OSS）、计算资源弹性伸缩策略。

迁移工具选型

Databricks Migration Toolkit、AWS S3 DistCp、自研脚本。

增量数据同步

CDC（Change Data Capture）方案设计与实现。

历史数据回填

大规模历史数据的并行加载与验证。

迁移测试策略

单元测试、集成测试、性能测试与回滚方案。

业务系统适配

BI工具（Tableau/PowerBI）连接Lakehouse的配置变更。

数据湖仓一体化

将非结构化数据（日志、图片）纳入Lakehouse管理。

非结构化湖仓一体

跨云迁移实战

从AWS到Azure/GCP的Lakehouse迁移案例。

混合云架构

本地Hadoop集群与云上Lakehouse的联邦查询。

混合云联邦

迁移自动化

使用Terraform/Pulumi实现基础设施即代码。

监控与告警

迁移过程中的作业监控、数据延迟告警与SLA保障。

数据治理迁移

数据目录、数据血缘、数据质量规则的迁移。

机器学习工作流迁移

从传统Feature Store到Lakehouse Feature Store。

MLFeature Store

迁移后优化

查询性能对比、存储成本对比与持续调优。

迁移后的备份策略、跨区域复制与RTO/RPO设计。

团队技能转型

从SQL工程师到Spark/PySpark开发者的培训路径。

合规与审计

GDPR/CCPA合规要求下的数据迁移注意事项。

迁移案例复盘

某金融企业500TB数据迁移的全过程拆解。

Lakehouse与AI原生数据库的融合、Serverless Lakehouse展望。

趋势Serverless