VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Hudi在Lakehouse中的实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Hudi是什么、发展历史、核心特性与优势，以及在Lakehouse架构中的定位。

Hudi核心概念

Copy-on-Write与Merge-on-Read存储类型、Timeline时间线机制、FileGroup与FileSlice文件组织。

Hudi表类型详解

COW表的读写原理、MOR表的读写原理、两种表类型的选型对比与实战场景。

表类型对比

Hudi索引机制

Hudi索引的作用、Bloom Filter索引原理、HBase索引原理、自定义索引扩展。

Hudi查询引擎集成

Hudi与Spark SQL、Hive、Presto/Trino、Flink SQL的集成方式与配置。

Hudi写入操作

insert、upsert、bulk_insert操作详解、写入参数调优、小文件处理策略。

Hudi读取操作

Snapshot查询、Incremental查询、Read Optimized查询、Time Travel查询。

Hudi Compaction机制

Compaction的作用与原理、同步与异步Compaction、策略配置与调优。

Hudi Cleaning机制

Cleaner的作用、保留策略配置、Cleaner执行原理与调优。

Hudi Clustering机制

Clustering解决数据倾斜与小文件问题、策略配置、异步Clustering实战。

Hudi Schema Evolution

Schema演进的必要性、支持的Schema变更类型、演进实战案例。

Hudi与Spark集成实战

Spark读写Hudi表、Structured Streaming写入、批处理ETL实战。

Hudi与Flink集成实战

Flink CDC写入Hudi、Flink SQL读写、流式写入的Exactly-Once语义。

Hudi与Kafka集成实战

Kafka数据入湖、实时增量同步、Kafka Connect Hudi Sink Connector。

Hudi与Hive集成实战

Hive同步元数据、查询性能优化、ACID事务支持。

Hudi与Presto/Trino集成实战

Presto查询配置、性能对比、Trino联邦查询Hudi表。

Hudi与AWS S3集成实战

S3作为底层存储的配置、一致性保障、访问性能优化。

Hudi与阿里云OSS集成实战

OSS作为底层存储的配置、兼容性、访问性能调优。

Hudi数据湖CDC实战

基于Hudi的CDC架构设计、Debezium+Kafka+Hudi实时管道、数据一致性保障。

Hudi数据湖批流一体实战

Lambda与Kappa架构对比、批流一体架构设计、实时与离线数仓统一。

Hudi数据湖增量处理实战

增量ETL管道设计、增量查询在数据同步中的应用、增量与全量对比。

Hudi数据湖数据质量保障

完整性校验、数据去重策略、数据回滚与恢复机制。

Hudi性能调优实战

写入性能调优（并行度、批次、内存）、查询调优（文件大小、索引）、Compaction调优。

Hudi监控与运维

Metrics指标体系、Prometheus+Grafana监控、日志分析与故障排查。

Hudi多模态数据湖实战

结构化、半结构化(JSON/Parquet)、非结构化(图片/文本)元数据入湖。

多模态入湖

Hudi数据湖安全与权限

与Ranger集成、与Sentinel集成、数据脱敏与审计。

Hudi数据湖版本管理与回滚

Timeline版本管理、数据回滚操作实战、版本保留策略。

Hudi数据湖迁移实战

从Hive表、Kudu、Delta Lake迁移到Hudi的完整流程。

Hudi数据湖最佳实践

表设计、分区策略、文件大小控制、索引选择策略。

最佳实践设计

Hudi数据湖案例实战

电商实时数仓、金融风控数据湖、IoT物联网数据湖案例。