VIP20

本课程属于：008-CDC增量同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Debezium增量同步管道搭建与监控

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念与场景

什么是CDC、为什么需要CDC、典型应用场景：数据仓库、缓存更新、微服务解耦。

CDC技术选型对比

基于日志（Debezium/Canal）、轮询、时间戳、触发器的优劣分析，助你选型。

Docker、Docker Compose、Java、Kafka、MySQL、PostgreSQL安装与配置。

MySQL Binlog原理

Binlog格式（STATEMENT/ROW/MIXED）、开启配置、日志结构解析。

Debezium架构、Source Connector概念、与Kafka Connect的关系。

使用Docker部署Debezium、配置MySQL Source Connector、启动与验证。

Debezium核心配置

database.hostname、port、user、password、server.name、table.include.list、snapshot.mode详解。

Debezium快照机制

Snapshot模式（initial/when_needed/never/schema_only）、快照流程与性能影响。

Debezium事件结构

Source Record结构、payload解析、op字段含义（c/u/d/r）、before/after字段。

Debezium高级配置

Tombstone事件、消息压缩、批量处理、错误重试、死信队列。

Kafka Connect基础

Worker、Connector、Task、Converter、Transforms核心概念。

Kafka Connect单机与分布式模式

单机/分布式配置、REST API管理Connector。

Kafka Connect Transforms

ExtractField、RenameField、ReplaceField、ValueToKey、TimestampRouter、Filter。

转换Transforms

Kafka Connect Sink Connector

JDBC Sink、Elasticsearch Sink配置与使用。

Kafka Topic设计与分区策略

Topic命名、分区数、副本因子、消息键设计、数据局部性。

Schema Registry入门

Avro序列化、Schema Registry架构、兼容性（BACKWARD/FORWARD/FULL）。

Debezium与Schema Registry集成

Avro Converter配置、Schema命名策略、演化处理。

CDC数据一致性保证

Exactly-once语义、幂等性设计、事务边界、数据去重策略。

一致性Exactly-once

CDC延迟监控

延迟指标、Prometheus监控、Grafana仪表盘、告警规则。

CDC数据质量校验

源端与目标端对比、Debezium Validator、增量校验策略。

CDC与数据湖集成

CDC入湖（Hudi/Iceberg/Delta Lake）、Change Data Capture to Lakehouse。

数据湖Lakehouse

CDC与实时数仓

Flink CDC集成、Flink SQL处理CDC数据、实时物化视图。

Flink实时数仓

CDC与缓存同步

Redis Sink Connector、缓存失效策略、预热、一致性。

CDC与搜索引擎

Elasticsearch Sink配置、索引映射、增量索引更新。

Elasticsearch搜索

CDC与微服务事件驱动

Debezium Outbox模式、事务发件箱、事件路由。

微服务Outbox

CDC高可用与容灾

多节点部署、故障转移、数据备份恢复、跨机房同步。

高可用容灾

CDC安全实践

SSL/TLS加密、认证授权、敏感数据脱敏、审计日志。

CDC性能调优

Kafka生产者/消费者参数、Debezium轮询间隔、批量大小、内存配置。

CDC故障排查

常见问题（连接断开、Schema冲突、数据丢失）、日志分析、调试技巧。

CDC项目实战

从零搭建完整CDC管道：MySQL → Debezium → Kafka → Flink → Elasticsearch，含代码、配置、部署、验证。