VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink CDC实时数仓数据管道建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念与原理

什么是CDC、基于日志/触发器/时间戳的实现方式，以及CDC在实时数据管道中的核心价值。

Flink基础回顾

Flink架构、DataStream/Operator/Source/Sink核心概念，以及运行模式详解。

Flink CDC Connector介绍

认识Flink CDC Connector，支持的数据库，断点续传与全量+增量核心特性。

Connector特性

环境搭建与准备

JDK、Maven、MySQL、Kafka、Flink集群的安装与配置，一步一图。

MySQL CDC Source实战

读取MySQL binlog，配置参数详解，启动第一个CDC任务。

PostgreSQL CDC Source实战

读取PostgreSQL WAL日志，配置参数与常见问题排查。

MongoDB CDC Source实战

读取MongoDB oplog，配置参数，与MySQL CDC的差异对比。

SQL Server CDC Source实战

读取SQL Server变更跟踪，配置参数与注意事项。

Oracle CDC Source实战

读取Oracle LogMiner，配置参数与性能调优策略。

Debezium是什么，与Flink CDC的关系，自定义Debezium配置。

全量+增量一体化同步

Flink CDC全量快照与增量变更无缝衔接，checkpoint机制详解。

全量+增量Checkpoint

数据序列化与反序列化

JSON、Avro、Protobuf格式选择，自定义序列化器实现。

Flink Sink实战

写入Kafka、Elasticsearch、HBase、MySQL，多种Sink实践。

Kafka作为中间管道

Kafka Connect与Flink CDC对比，Topic设计、分区策略。

实时数据清洗与转换

Flink SQL过滤、字段映射、类型转换、数据脱敏。

清洗Flink SQL

多表Join与关联

Flink CDC多表实时Join、维表Lookup Join、Temporal Join。

状态管理与容错

RocksDB/HashMap状态后端、状态TTL、Exactly-Once语义。

水位线与事件时间

事件时间vs处理时间，水位线生成策略，乱序数据处理。

水位线事件时间

滚动窗口、滑动窗口、会话窗口在CDC场景下的应用。

动态表与连续查询

Flink SQL动态表概念，CDC数据流上的连续查询与更新日志流。

动态表连续查询

数据一致性保证

CDC场景下的一致性模型、幂等写入、去重策略。

一致性幂等

并行度、算子链、缓冲区、资源分配调优实践。

监控与告警

Flink Web UI、Metrics、Prometheus+Grafana集成、自定义告警。

数据湖集成

CDC入湖Hudi/Iceberg/Delta Lake，架构模式详解。

实时数仓构建

基于CDC+Flink的实时数仓分层：ODS、DWD、DWS、ADS。

数据回溯与重放

Savepoint回溯、历史数据重放、数据修复策略。

回溯Savepoint

Schema Evolution

源端表结构变更处理、Schema Registry、兼容性策略。

安全与权限

CDC数据脱敏、Flink SQL权限控制、Kafka ACL配置。

生产环境最佳实践

集群部署、资源隔离、灰度发布、故障恢复经验。

生产最佳实践

综合实战项目

MySQL → Flink CDC → Kafka → Flink → Elasticsearch 全流程构建。

实战全流程