VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零上手 Lakehouse 架构

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据架构演进

从数据仓库到数据湖再到Lakehouse的演变历程，为什么需要Lakehouse。

Lakehouse核心概念

什么是Lakehouse，核心特性（ACID事务、Schema-on-Read、BI支持），与传统架构对比。

Apache Spark基础

Spark生态介绍，RDD、DataFrame、Dataset概念，SparkSession初始化。

Delta Lake入门

Delta Lake是什么，核心特性（ACID、时间旅行、Schema演进），与Parquet对比。

Delta Lake表操作

创建Delta表，读写数据，更新、删除、合并（Merge）操作。

Delta Lake时间旅行

数据版本控制，使用时间旅行恢复数据，查看历史版本。

Delta Lake Schema管理

Schema强制、Schema演进、Schema验证最佳实践。

Delta Lake性能优化

文件大小优化（Optimize）、Z-Order索引、数据跳过（Data Skipping）。

Apache Hudi入门

Hudi核心概念（Copy-on-Write vs Merge-on-Read），表类型与查询类型。

Apache Hudi实战

Hudi表操作（Insert、Upsert、Delete），增量查询与时间旅行。

Apache Iceberg入门

Iceberg表格式，分区演进，隐藏分区与分区变换。

Iceberg与Spark集成

使用Spark读写Iceberg表，表维护操作（Expire Snapshots、Rewrite Data Files）。

Lakehouse存储层

对象存储（S3、ADLS、GCS）作为基础，文件格式选择（Parquet、ORC、Avro）。

Lakehouse元数据管理

Hive Metastore、AWS Glue Catalog、Unity Catalog对比。

元数据Catalog

Lakehouse计算引擎

Spark、Presto/Trino、Flink在Lakehouse中的角色。

Lakehouse数据摄入

批量摄入（Batch Ingestion）与流式摄入（Streaming Ingestion）策略。

Lakehouse数据转换

使用Spark SQL进行ETL/ELT，Delta Live Tables实现声明式管道。

Lakehouse数据治理

数据血缘、数据质量、数据目录（Data Catalog）实践。

Lakehouse安全与权限

列级安全、行级过滤、动态视图实现细粒度访问控制。

Lakehouse与BI工具集成

连接Tableau、Power BI、Superset到Lakehouse。

Lakehouse与机器学习

Feature Store概念，使用Lakehouse存储特征与模型。

Lakehouse实时分析

结合Kafka与Delta Lake实现实时湖仓，Lambda架构 vs Kappa架构。

Lakehouse多表事务

跨表ACID事务，使用Delta Sharing共享数据。

Lakehouse成本优化

存储与计算分离，自动扩缩容，Spot实例使用策略。

Lakehouse监控与告警

Spark UI、Ganglia、Prometheus监控Lakehouse作业。

Lakehouse数据湖仓迁移

从Hive数仓迁移到Lakehouse，从传统数据湖迁移。

案例实战：电商实时推荐

电商实时推荐系统数据管道设计。

案例实战：金融风控

金融风控离线批处理与实时特征计算。

案例实战：物联网(IoT)

物联网设备数据采集与分析平台。

Lakehouse未来趋势

数据网格(Data Mesh)、AI原生湖仓、Serverless Lakehouse。

趋势Serverless