VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体架构的离线回填实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

为什么需要流批一体？Lambda架构与Kappa架构的对比，离线回填的业务场景。

离线回填核心概念

什么是离线回填？回填的触发条件，回填与实时计算的差异。

Flink vs Spark Streaming，Hudi vs Iceberg，Kafka作为消息队列的角色。

Docker Compose搭建Flink + Kafka + Hudi开发环境，配置文件详解。

数据源设计

模拟订单数据生成器，JSON Schema定义，Kafka Topic创建与分区策略。

Flink CDC入门

MySQL Binlog监听，Canal集成，实时采集订单变更数据。

状态后端与Checkpoint

RocksDB状态后端配置，Exactly-Once语义保证，Checkpoint实战调优。

状态一致性

Copy on Write vs Merge on Read，表服务（Clustering、Compaction）配置。

Flink写入Hudi

Streaming Write模式，Bulk Insert模式，写入参数调优（并行度、缓冲区）。

离线回填触发器

基于Watermark的延迟触发，基于业务时间的定时触发，手动触发API设计。

触发器Watermark

回填数据回溯

从Hudi历史分区读取数据，重新计算逻辑，覆盖写入目标表。

数据一致性校验

回填前后的数据对账，Count校验与Sum校验，异常告警机制。

增量与全量切换

全量回填策略，增量实时同步，双跑验证与切换回滚方案。

Hudi维表Join，异步IO优化，缓存策略（Guava Cache vs Redis）。

Tumble Window与Session Window在回填场景的应用，迟到数据处理。

窗口迟到数据

Interval Join与Regular Join，状态清理与TTL配置。

数据湖分层

Bronze/Silver/Gold三层架构，回填数据写入Silver层的最佳实践。

元数据管理

Hive Metastore集成，分区发现，Schema Evolution兼容性处理。

元数据Schema

监控与告警

Flink Metrics上报，Prometheus + Grafana看板，回填任务失败自动重试。

Flink算子链优化，网络缓冲区调优，Hudi写入并发控制。

数据倾斜处理

KeyBy热点检测，Salting技术，自定义分区器。

回填任务编排

Apache Airflow DAG设计，依赖管理，并行回填控制。

数据回溯工具

自研回填CLI工具，支持指定时间范围、分区粒度、并行度参数。

单元测试（Flink MiniCluster），集成测试（Testcontainers），回填结果验证。

生产案例1：电商订单回填

从MySQL到Hudi的实时+离线双链路。

生产案例2：用户行为日志回填

Kafka数据丢失后的补偿机制。

生产案例3：金融交易对账

T+1回填与实时校验的混合架构。

常见问题排查

数据重复、数据丢失、状态膨胀、OOM异常。

Flink + Paimon（原CloudHudi），Serverless流计算，AI辅助回填调度。

流批一体架构的落地要点，回填系统的SLA保障，推荐学习路径。