VIP20

本课程属于：048-数据交换与API治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink CDC增量数据交换与订阅分发

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC技术概述

什么是CDC，应用场景涵盖数据库同步、缓存更新、数据湖入湖；常见实现方案包括基于日志、触发器和时间戳的对比分析。

MySQL Binlog基础

Binlog的概念与作用，三种格式（STATEMENT、ROW、MIXED）的差异，以及开启与配置Binlog的详细步骤。

Canal是什么，工作原理基于解析Binlog，架构组件包括Server、Instance、EventParser、EventSink、EventStore。

Canal环境搭建

下载与安装Canal，配置canal.properties和instance.properties，启动与验证Canal服务是否正常运行。

Canal与MySQL对接

MySQL用户权限配置，Binlog日志消费位点管理，以及连接MySQL时的常见问题排查与解决方案。

Canal客户端开发（Java）

引入Canal Client依赖，建立连接，订阅数据库表，解析Canal消息中的Entry和RowChange对象。

Canal消息格式详解

Canal Entry结构，RowChange对象与Column对象，以及INSERT、UPDATE、DELETE事件类型的详细说明。

Canal实战：增量数据同步到Redis

需求分析，Redis数据结构设计，Java代码实现数据同步，以及缓存一致性保障策略。

Canal实战：增量数据同步到Elasticsearch

需求分析，ES索引设计，Java代码实现数据同步，以及全量+增量数据迁移方案。

Canal高可用与集群部署

Canal Server HA原理，ZooKeeper在Canal中的作用，以及多Instance并行消费配置。

高可用集群

Debezium是什么，与Canal的对比，架构与核心概念包括Connector、Snapshot、Offset。

Debezium环境搭建

安装方式（Kafka Connect、Embedded模式），MySQL Connector配置，启动与验证。

Debezium消息格式详解

Change Event结构（before、after、source、op），以及JSON和Avro序列化方式。

Debezium实战：增量数据同步到Kafka

配置Kafka Connector，Topic命名规则，消息路由策略与分区策略。

Debezium实战：增量数据同步到HBase

HBase表设计，Sink Connector开发，数据写入性能优化。

Debezium的Snapshot机制

Snapshot触发条件，模式（initial、when_needed、never），性能影响与优化。

Debezium的故障恢复与数据一致性

Offset管理机制，Exactly-Once语义保证，断点续传原理。

一致性恢复

基于时间戳的增量同步方案

时间戳字段设计，增量查询SQL编写，定时任务调度（Quartz、XXL-JOB），数据漂移问题处理。

时间戳调度

基于触发器的增量同步方案

创建触发器记录变更，增量日志表设计，触发器性能开销分析，以及方案的优缺点。

触发器方案

增量同步中的数据一致性保障

幂等性设计，分布式事务（TCC、Saga），最终一致性方案，数据校验与对账机制。

一致性事务

增量同步的性能优化

批量处理与并行消费，连接池与线程池配置，网络传输优化（压缩、序列化），内存管理与GC调优。

增量同步的监控与告警

同步延迟监控，数据丢失检测，异常告警机制（Prometheus + Grafana），日志采集与分析。

CDC与数据湖（Data Lake）集成

CDC数据入湖方案（Apache Hudi、Delta Lake、Iceberg），CDC与Flink集成，实时数仓架构。

CDC与消息队列集成

CDC数据写入Kafka、RocketMQ、Pulsar的对比，消息顺序性保障，消息回溯与重放。

消息队列集成

CDC在微服务架构中的应用

服务间数据同步，CQRS模式与CDC，事件溯源（Event Sourcing）与CDC，本地消息表与CDC。

CDC在数据迁移中的应用

在线数据迁移方案，不停机迁移策略，数据校验与回滚方案，迁移工具对比（DataX、Sqoop、CDC）。

CDC安全与权限控制

数据库账号最小权限原则，数据传输加密（TLS/SSL），敏感数据脱敏，审计日志。

CDC常见问题与排坑指南

Binlog丢失问题，数据乱序问题，重复数据问题，连接断开重连问题，性能瓶颈分析。

CDC技术选型与架构设计

Canal vs Debezium vs Maxwell vs Flink CDC，技术选型决策树，典型架构设计案例。

CDC未来趋势与展望

云原生CDC，Serverless CDC，实时数据网格（Data Mesh），AI驱动的数据同步。