VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体架构 · 实战问题拆解

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

什么是流批一体、为什么需要流批一体、Lambda架构与Kappa架构对比、流批一体的核心挑战。

数据源统一接入

Kafka作为统一数据管道、Kafka Topic设计原则、Schema Registry与Avro序列化、多源数据接入实战。

Flink基础概念

Flink架构与组件、DataStream API概览、时间语义（Event Time/Processing Time）、Watermark机制详解。

Flink时间语义

Flink Table & SQL

Table API与SQL的关系、动态表与连续查询、流式SQL的局限性、批流统一的SQL语法。

Flink状态管理

状态类型（ValueState/ListState/MapState）、状态后端（RocksDB/FSState）、Checkpoint与Savepoint、状态TTL与清理策略。

Flink容错机制

Exactly-Once语义实现、端到端一致性、两阶段提交协议、故障恢复与重启策略。

容错Exactly-Once

Flink批处理模式

Batch Execution模式详解、批处理优化（算子链/数据倾斜）、批流一体API的统一调用。

批处理优化

Hive集成与批流

Flink与Hive Catalog集成、Hive读写实战、Hive Streaming写入、批流一体下的元数据管理。

Iceberg表格式

Apache Iceberg核心概念、ACID事务支持、Time Travel与版本回滚、Iceberg在流批一体中的角色。

Apache Hudi核心概念、Copy-on-Write与Merge-on-Read、增量查询与流式摄入、Hudi与Flink集成。

Delta Lake表格式

Delta Lake核心概念、Schema Evolution、Delta Sharing、与Flink/Spark的集成对比。

DeltaSchema Evolution

CDC数据同步

Debezium原理与部署、MySQL CDC实战、PostgreSQL CDC实战、CDC数据入湖的挑战。

Flink CDC连接器

Flink CDC 2.x架构、无锁读取与断点续传、动态加表、全量+增量一体化同步。

Flink CDC断点续传

实时数仓分层

ODS/DWD/DWS/ADS分层设计、实时ETL vs 离线ETL、分层在流批一体中的统一。

维度表关联

实时维度表关联方案、HBase/Redis维度表、Lookup Join与Temporal Join、维度表变更处理。

Window Join与Interval Join、Regular Join与状态管理、双流Join的延迟与乱序处理、实战案例。

双流Interval Join

Tumble/Hop/Session窗口、Cumulate窗口（累积窗口）、窗口表值函数（TVF）、Top-N与窗口结合。

数据湖写入优化

小文件合并策略、分区策略与分区裁剪、写入并发控制、Compaction机制详解。

数据湖Compaction

批流一体ETL

统一ETL管道设计、批流复用代码技巧、数据质量校验（DQC）、异常数据处理策略。

元数据管理

Hive Metastore vs 自研元数据、数据血缘追踪、Schema Registry最佳实践、元数据一致性保障。

元数据血缘

数据质量规则定义、数据脱敏与安全、数据生命周期管理、流批一体下的治理挑战。

监控与告警

Flink Metrics体系、Prometheus+Grafana集成、作业级监控指标、自定义告警规则。

并行度设置与资源分配、反压检测与处理、算子链优化、数据倾斜解决方案。

YARN/K8s部署模式对比、动态资源分配、Task Slot与资源隔离、Flink on K8s实战。

CI/CD与自动化

Flink作业的CI/CD流程、版本管理策略、自动化测试（单元/集成/端到端）、灰度发布方案。

流批一体下的数据修正、Savepoint恢复与重跑、历史数据重处理、Exactly-Once回溯实战。

回溯Savepoint

多引擎协同

Flink+Spark+Presto协同、统一Catalog与SQL、引擎间数据一致性、混合查询场景。

实时特征工程

实时特征计算框架、特征存储（Feast/Redis）、特征回溯与批流一致性、在线推理集成。

典型业务场景

实时大屏与报表、实时风控、实时推荐、实时数据中台架构。

未来趋势与总结

流批一体技术演进、Unified Streaming & Batch愿景、社区动态与选型建议、课程总结与最佳实践。