VIP20

本课程属于：008-CDC增量同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink CDC与Debezium实时数据链路建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念与场景

什么是CDC、为什么需要CDC、CDC的典型应用场景（数据仓库、缓存更新、微服务解耦）。

CDC技术选型

基于日志的CDC（Debezium、Canal）、基于轮询的CDC、基于触发器的CDC，优缺点对比。

Docker、Kafka、MySQL、PostgreSQL、Debezium Connector的安装与配置。

MySQL Binlog原理

Binlog格式（Statement、Row、Mixed）、Binlog的写入与读取机制、GTID模式。

Debezium核心概念

Snapshot、Streaming、Offset管理、Schema Evolution。

Debezium部署实战

使用Docker部署Debezium Connect、配置MySQL Connector、启动与验证。

Kafka Connect架构

Source Connector、Sink Connector、Worker、Converter、Transform。

Kafka主题与分区

Topic设计、Partition策略、Replication Factor、Offset提交。

Avro与Schema Registry

Avro序列化、Schema Registry的作用、兼容性策略（Backward、Forward、Full）。

序列化Schema

Debezium高级配置

Tombstone事件、Heartbeat、Snapshot模式（initial、when_needed、never）、消息路由。

数据过滤与转换

SMT（Single Message Transform）实战、过滤删除事件、字段投影、添加头部信息。

Kafka Sink Connector实战

JDBC Sink Connector配置、写入PostgreSQL、批量写入与事务控制。

Elasticsearch Sink Connector

配置ES Sink、索引映射、处理嵌套文档、性能调优。

Redis Sink Connector

配置Redis Sink、数据结构选择（String、Hash、Stream）、缓存更新策略。

HDFS Sink Connector

配置HDFS Sink、文件格式（Avro、Parquet）、分区策略、Hive集成。

监控与告警

Kafka监控（JMX、Prometheus、Grafana）、Debezium健康检查、延迟监控。

容错与高可用

Debezium故障恢复、Kafka集群高可用、Exactly-Once语义、幂等性写入。

容错高可用

数据一致性保证

CDC延迟分析、最终一致性、分布式事务（2PC、Saga）、补偿机制。

一致性事务

Schema变更处理

DDL捕获、Schema Registry兼容性、手动处理不兼容变更、版本管理。

CDC与数据湖

CDC入湖架构、Delta Lake/Iceberg/Hudi集成、实时湖仓一体。

数据湖湖仓

CDC与流计算

Flink CDC Connector、实时ETL、动态表、状态后端。

CDC与微服务

事件驱动架构、CQRS模式、Event Sourcing、服务间数据同步。

微服务事件驱动

缓存失效策略、Write-Through、Cache-Aside、CDC驱动的缓存更新。

Elasticsearch近实时索引、CDC驱动的搜索同步、索引生命周期管理。

异地多活架构、CDC双向同步、冲突检测与解决、CRDT。

SSL/TLS加密、认证与授权、敏感数据脱敏、审计日志。

CDC性能调优

批量大小、并行度、内存配置、网络优化、连接池。

CDC故障排查

常见错误（连接断开、Schema不兼容、Offset丢失）、日志分析、调试技巧。

CDC最佳实践

架构设计原则、容量规划、灰度发布、回滚策略。

最佳实践架构

CDC未来趋势

Kafka替代品（Pulsar、Redpanda）、无服务器CDC、AI驱动的数据同步。