VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

增量计算在数据湖中的落地实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖的起源与演进

从数据仓库到数据湖，再到湖仓一体，增量计算为何成为刚需。

演进湖仓一体

增量计算核心概念

批处理 vs 流处理，增量 vs 全量，Lambda架构与Kappa架构。

Apache Hudi 深度解析（一）

Hudi核心概念、表类型（Copy on Write vs Merge on Read）、索引机制。

Apache Hudi 深度解析（二）

Hudi写入流程、增量查询、Clustering与Compaction。

Apache Iceberg 深度解析（一）

Iceberg表格式、快照隔离、Time Travel查询。

Apache Iceberg 深度解析（二）

Iceberg的增量读取、分区演进、Spark/Flink集成。

Delta Lake 深度解析

Delta Log、ACID事务、Schema Evolution、Change Data Feed。

三大引擎对比

Hudi vs Iceberg vs Delta Lake，选型指南与适用场景。

Flink CDC 实战（一）

Flink CDC原理、Debezium集成、MySQL Binlog实时捕获。

Flink CDC 实战（二）

CDC入湖Hudi/Iceberg，Exactly-Once语义保证。

入湖Exactly-Once

Spark Structured Streaming 增量处理

Streaming Write、ForeachBatch、Trigger配置。

增量ETL架构设计

增量抽取、增量转换、增量加载，避免数据倾斜。

增量计算中的状态管理

State Backend选择、TTL配置、Checkpoint与Savepoint。

状态Checkpoint

增量数据质量保障

数据校验、去重策略、延迟数据处理（Watermark）。

质量Watermark

增量计算与Schema Registry

Avro/Protobuf序列化、Schema兼容性检查。

增量计算中的小文件问题

小文件产生原因、合并策略、Hudi/Iceberg自动优化。

小文件合并

增量计算与数据湖的元数据管理

Hive Metastore、AWS Glue、Presto/Trino集成。

元数据集成

增量计算在实时数仓中的应用

ODS->DWD->DWS->ADS的增量流转。

实时数仓分层

增量计算与数据湖的权限控制

Ranger/Atlas集成、列级权限、行级过滤。

增量计算与数据湖的监控告警

Prometheus + Grafana、任务延迟监控、数据质量监控。

增量计算在湖仓一体中的实践

Paimon（原Flake）的增量处理能力。

Paimon湖仓一体

增量计算与数据湖的存储优化

列式存储、Z-order排序、Bloom Filter索引。

增量计算与数据湖的批流一体

Flink Table Store / Paimon的Unified Batch & Stream。

批流一体Unified

增量计算在数据湖中的回滚与恢复

Time Travel、版本回溯、数据修复。

回滚Time Travel

增量计算与数据湖的跨集群同步

Hudi的Incremental Pull、Iceberg的跨Catalog同步。

同步跨集群

增量计算在数据湖中的测试策略

数据比对、回归测试、Mock数据生成。

增量计算在数据湖中的成本优化

存储分层、计算资源弹性、Spot实例使用。

增量计算在数据湖中的安全合规

数据脱敏、审计日志、GDPR合规。

增量计算在数据湖中的最佳实践

生产环境踩坑总结、性能调优、常见问题排查。

最佳实践调优

增量计算与AI数据湖、Lakehouse AI、实时特征工程。