VIP20

本课程属于：018-CDC实时同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Debezium入门到实战全流程

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Debezium 初探

什么是 CDC？Debezium 的诞生背景与核心价值，开启实时数据捕获之旅。

Debezium 的组件（Connector、Snapshot、Streaming）、Kafka Connect 的角色与协作。

Docker 部署 Kafka、Zookeeper、Kafka Connect 集群，快速搭建实验环境。

第一个 Connector

配置 MySQL 源连接器，实现全量数据同步，体验 Debezium 的零门槛接入。

增量捕获实战

监听 MySQL Binlog，实时捕获 INSERT/UPDATE/DELETE 事件，掌握增量同步精髓。

事件结构详解

Debezium 的 Change Event 格式（Schema、Payload、Source），深入理解消息体。

序列化与反序列化

Avro、JSON、Protobuf 的选择与配置，权衡性能与兼容性。

序列化配置

Kafka Connect 单机 vs 分布式模式

部署策略与高可用设计，选择最适合生产环境的运行模式。

部署高可用

PostgreSQL 连接器

逻辑复制槽原理与配置实战，解锁 PostgreSQL 的实时捕获能力。

PostgreSQL复制槽

MongoDB 连接器

oplog 与 Change Streams 的对比与配置，适配 NoSQL 场景。

MongoDBChange Streams

Oracle 连接器

LogMiner 与 XStream 的配置与坑，攻克企业级数据库同步难点。

SQL Server 连接器

CDC 表与捕获实例的配置，实现 SQL Server 的增量数据捕获。

Debezium Server

轻量级无 Kafka 架构的部署与使用，简化数据管道。

可视化配置与管理 Connector，降低运维复杂度。

单表过滤与路由

SMT（单消息转换）实现字段过滤、表名路由，精准控制数据流。

数据转换与清洗

使用 SMT 进行数据脱敏、类型转换、字段重命名，提升数据质量。

Debezium 与 Schema Registry

Avro 序列化与 Schema 演化管理，保障数据契约一致性。

Schema RegistryAvro

Exactly-Once 语义

Offset 管理、幂等写入与事务边界，实现端到端精确一次。

Exactly-Once事务

容错与监控

JMX 指标、日志分析、健康检查与告警，构建可观测性体系。

连接器配置参数（poll.interval.ms、max.batch.size、snapshot.fetch.size）深度调优。

大表快照优化

并行快照、分片快照、增量快照，解决大表同步性能瓶颈。

Debezium 与 Flink 集成

实时入湖入仓的经典架构，构建流批一体数据管道。

Debezium 与 Kafka Streams

构建实时物化视图，实现状态化流处理。

Kafka Streams物化视图

Debezium 与 Pulsar

替代 Kafka 的消息队列集成，拥抱云原生消息生态。

Pulsar消息队列

Debezium 与 Elasticsearch

构建实时搜索引擎索引，加速数据检索与分析。

Elasticsearch索引

数据一致性校验

源库与目标库的 CRC 校验与补偿机制，确保数据零丢失。

一致性校验

多表 Join 与宽表构建

基于 Debezium 事件的流式 Join 方案，实时构建宽表模型。

生产环境部署

Kubernetes 上部署 Debezium Connect 集群，实现容器化编排。

Kubernetes部署

故障排查手册

常见错误（Heartbeat 超时、Schema 冲突、OOM）与解决方案，快速定位问题。

全流程实战项目

电商订单系统实时同步到数据湖（MySQL -> Debezium -> Kafka -> Hudi），完整项目落地。