VIP20

本课程属于：017-Flink实时计算 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink CDC 实时数据同步实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink CDC 概述

什么是CDC，CDC技术选型对比，Flink CDC核心优势，以及典型应用场景解析。

Flink集群Standalone搭建，MySQL与Kafka安装配置，CDC依赖引入全流程。

Flink CDC 核心原理

Debezium内核机制，Snapshot与Streaming阶段，Changelog Stream概念与Exactly-Once语义保证。

MySQL CDC Connector

MySQL CDC Source配置，全量+增量同步原理，Server ID策略与Binlog格式要求。

PostgreSQL CDC Connector

PostgreSQL CDC Source配置，逻辑复制槽机制，WAL日志解析与常见问题排查。

MongoDB CDC Connector

MongoDB CDC Source配置，Change Streams原理，Oplog解析及副本集与分片集群支持。

MongoDBChange Streams

Oracle CDC Connector

Oracle CDC Source配置，LogMiner原理，归档日志与在线日志处理，权限配置详解。

SQL Server CDC Connector

SQL Server CDC Source配置，CDC表启用，捕获实例与变更表，LSN机制深入解析。

Flink CDC 与 Flink SQL 集成

CDC Table DDL定义，WITH参数详解，计算列与Watermark，Temporal Join实战。

Flink CDC 与 DataStream API 集成

DataStream Source构建，自定义反序列化器，多表合并与状态编程技巧。

Flink CDC 实时同步到 Kafka

Kafka Sink配置，Avro/JSON序列化，分区策略与Exactly-Once语义实现。

Flink CDC 实时同步到 Hudi

Hudi Sink配置，Copy-on-Write与Merge-on-Read，Clustering与Compaction及增量查询。

Flink CDC 实时同步到 Iceberg

Iceberg Sink配置，V1与V2格式，分区演进，表维护与快照管理策略。

Flink CDC 实时同步到 Paimon

Paimon Sink配置，LSM-Tree存储，Changelog Producer，Bucket与分区设计。

Flink CDC 实时同步到 ClickHouse

ClickHouse Sink配置，MergeTree引擎选择，物化视图与实时查询，数据一致性保障。

ClickHouse物化视图

Flink CDC 实时同步到 StarRocks

StarRocks Sink配置，Primary Key模型，Stream Load原理与表结构映射。

StarRocksStream Load

Flink CDC 实时同步到 Elasticsearch

Elasticsearch Sink配置，索引生命周期管理，文档路由与批量写入优化。

Elasticsearch索引

Flink CDC 实时同步到 MySQL

MySQL Sink配置，表结构自动创建，主键冲突处理与幂等写入机制。

Flink CDC 多表合并与数据路由

多源表合并，动态表名路由，字段映射与过滤，自定义Sink函数实现。

Flink CDC 数据转换与清洗

DataStream Map/FlatMap，SQL UDF/UDAF/UDTF，自定义ProcessFunction及类型转换异常处理。

Flink CDC 状态管理与容错

Checkpoint配置，Savepoint机制，RocksDB/Heap状态后端选择与状态TTL设置。

Flink CDC 监控与告警

Flink Web UI指标，Prometheus+Grafana监控，自定义Reporter与任务重启策略。

Flink CDC 性能调优

并行度设置，Source与Sink并发，网络缓冲调优，内存配置与反压处理。

Flink CDC 数据一致性保障

Exactly-Once语义实现，二阶段提交，幂等写入与CDC数据延迟监控。

一致性Exactly-Once

Flink CDC 常见问题与排错

Binlog丢失，连接断开，数据倾斜，OOM与序列化异常等典型问题排查。

Flink CDC 与 Schema Registry

Confluent Schema Registry集成，Avro Schema演进，兼容性检查与序列化/反序列化。

Flink CDC 与 CDC Pipeline

多阶段CDC Pipeline设计，中间结果持久化，数据回溯与链路血缘追踪。

实战案例一：MySQL → Hudi 实时数仓

MySQL实时同步到Hudi，构建实时数仓，涵盖全流程配置与调优。

实战案例二：Oracle → Kafka + StarRocks 报表

Oracle实时同步到Kafka与StarRocks，构建实时报表系统，端到端延迟优化。

实战案例三：多源异构 → Paimon 湖仓一体

多源异构数据库实时同步到Paimon，构建湖仓一体架构，统一存储与查询。

实战湖仓一体