VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

海量数据湖仓三剑客性能对比与选型指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 数据湖仓概念与三剑客（Iceberg
课程导入学习目标
02
数据湖仓基础
数据湖与数据仓库的演进 · 湖仓一体架构 · ACID事务
数据湖仓基础数据湖
03
三剑客概览
Iceberg · Hudi · Delta Lake的起源
三剑客概览Iceberg
04
表格式与元数据管理
三种格式的表结构定义 · 元数据组织（如Iceberg的Man… · Hudi的Timeline
表格式元数据管理
05
写入性能对比
批量写入 · 流式写入 · UPSERT操作的性能基准测试方法与…
写入性能对比批量写入
06
读取性能对比
查询扫描 · 点查 · 聚合查询的性能差异及索引/统计信息利…
读取性能对比查询扫描
07
事务与并发控制
ACID语义实现 · 乐观并发控制 · 快照隔离级别对比
事务并发控制
08
时间旅行与数据回滚
各工具的时间旅行实现方式 · 保留策略及性能开销
时间旅行数据回滚
09
Schema演化
添加 · 删除 · 重命名列等操作的兼容性与执行效率
Schema演化
10
分区与布局优化
隐藏分区 · 分区裁剪 · 文件布局（如大小
分区布局优化
11
小文件处理
各工具的小文件合并策略（如Compa… · Clustering）及对查询性能的…
小文件处理Compa
12
数据跳过与索引
Iceberg的Manifest S… · Hudi的Record-level… · Delta的Data Skippin…
数据跳过索引
13
流式处理支持
Change Data Captur… · 增量读取 · 与Flink/Spark Struc…
流式处理支持Change
14
数据湖仓生态集成
与AWS Glue · Azure Data Factory · Databricks等云服务的集成对…
数据湖仓生态集成AWS
15
性能调优实践
参数配置 · 文件大小调整 · 并行度设置等通用调优技巧
性能调优实践参数配置
16
案例实战
基于TPC-DS基准测试的三种格式性…
案例实战TPC-DS
17
案例实战
实时数仓场景下三剑客的写入与查询性能…
案例实战实时数仓场景下三…
18
案例实战
大规模数据迁移场景中三剑客的兼容性与…
案例实战大规模数据迁移场…
19
常见问题
数据一致性 · 并发冲突 · 元数据膨胀等问题的诊断与解决
常见问题数据一致性
20
常见问题
与Spark/Flink集成时的性能…
常见问题Spark/Flink
21
常见问题
存储成本与性能的权衡（如列式压缩 · 文件格式选择）
常见问题存储成本
22
选型方法论
根据业务场景（如实时性 · 数据量 · 查询模式）评估三剑客的适用性
选型方法论根据业务场景
23
选型决策矩阵
从性能 · 功能 · 生态
选型决策矩阵从性能
24
迁移策略
从Hive表或传统数据仓库迁移到三剑…
迁移策略Hive
25
混合架构
多引擎读写同一数据湖仓的互操作性与性…
混合架构多引擎读写同一数…
26
监控与运维
性能监控指标 · 日志分析 · 故障排查工具
监控运维
27
性能对比总结
三剑客在读写 · 事务 · 生态等方面的综合性能排名与关键差异
性能对比总结三剑客
28
未来趋势
三剑客的发展路线图 · 新特性（如Iceberg REST… · Hudi的MOR优化）及对性能的影响
未来趋势三剑客的发展路线…
29
综合实战
设计一个端到端数据湖仓方案 · 结合性能测试结果进行选型
综合实战设计一个端到端数…
30
课程总结
核心要点回顾 · 选型建议 · 学习资源推荐
课程总结核心要点回顾