VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse与数据湖对比解析

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖的起源：从数据仓库到数据湖的演进

为什么需要数据湖？回顾传统数据仓库的局限，理解数据湖诞生的必然性。

数据湖的核心概念：5V特征

Volume, Velocity, Variety, Value, Veracity —— 数据湖的五大核心维度。

数据湖的架构：Lambda与Kappa

典型分层 Bronze/Silver/Gold，对比Lambda与Kappa架构的适用场景。

数据湖的存储：对象存储与文件格式

S3/ADLS/GCS 作为基础，Parquet/ORC/Avro 格式的选择与对比。

数据湖的计算引擎

Spark、Flink、Presto/Trino 在数据湖中的角色与选型建议。

数据湖的元数据管理

Hive Metastore、AWS Glue Catalog、Apache Atlas 的对比与集成。

元数据目录

数据湖的痛点：数据沼泽与ACID缺失

数据质量难以保证、性能瓶颈、ACID事务缺失带来的实际挑战。

数据湖的治理难题

Schema强制困难、数据血缘追踪复杂、权限管理粒度不足。

数据湖的查询挑战

小文件问题、数据倾斜、查询性能不稳定等实际调优难点。

数据湖的写入问题

并发写入冲突、部分写入失败、数据一致性问题深度剖析。

写入一致性

Lakehouse的诞生

Databricks的愿景：从Data Lake + Delta Lake 到 Lakehouse 的演进。

Lakehouse的核心概念

什么是Lakehouse？它如何融合数据湖的灵活性与数据仓库的可靠性。

Lakehouse的架构基石：ACID事务

Delta Lake / Iceberg / Hudi 开放文件格式如何提供ACID保障。

ACID开放格式

Delta Lake详解

事务日志、版本控制、时间旅行、Schema演进等核心特性。

Delta时间旅行

Apache Iceberg详解

表格式规范、分区演进、隐藏分区、快照隔离机制。

Apache Hudi详解

Copy-on-Write与Merge-on-Read、增量查询、记录级索引。

Lakehouse的存储层

与数据湖相同的对象存储，但增加了表格式层来管理事务与元数据。

存储表格式

Lakehouse的计算引擎

Spark、Flink、Trino 对 Lakehouse 的原生支持与优化。

Lakehouse的元数据管理

统一的Catalog：Unity Catalog、Polaris、Graviton 对比。

Lakehouse的SQL引擎

Spark SQL、Presto/Trino、DuckDB 在 Lakehouse 中的角色。

数据湖 vs Lakehouse：架构对比

存储、计算、元数据、事务能力的全面架构差异分析。

数据湖 vs Lakehouse：性能对比

查询速度、写入吞吐、并发能力的实测与理论对比。

数据湖 vs Lakehouse：治理能力对比

Schema强制、数据质量、血缘追踪的差异与优势。

数据湖 vs Lakehouse：成本对比

存储成本、计算成本、运维成本的详细对比分析。

数据湖 vs Lakehouse：适用场景对比

批处理、流处理、BI报表、机器学习场景下的选型建议。

从数据湖迁移到Lakehouse

迁移策略、数据迁移工具、兼容性考虑与最佳实践。

Lakehouse的实践案例

Netflix、Uber、Airbnb 等公司的 Lakehouse 落地经验。

Lakehouse的生态工具

dbt、Airflow、Great Expectations 与 Lakehouse 的集成。

Lakehouse的未来趋势

Serverless Lakehouse、AI与Lakehouse结合、实时Lakehouse。

总结与选型建议

什么场景选数据湖？什么场景选Lakehouse？技术决策框架。