VIP20

本课程属于：008-CDC增量同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Debezium连接器配置与增量同步优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Debezium 概述

CDC 概念、Debezium 架构、核心组件介绍。

Kafka 集群搭建、ZooKeeper 配置、MySQL 源端准备。

连接器基础配置

connector.class、database.hostname、database.port、database.user、database.password、database.server.name。

快照模式详解

initial、when_needed、never、initial_only 模式选择与场景。

偏移量管理

offset.storage、offset.flush.interval.ms、offset.commit.policy 配置。

偏移量持久化

数据库白名单与黑名单

table.include.list、table.exclude.list、database.include.list、database.exclude.list。

列级过滤与转换

column.include.list、column.exclude.list、column.mask、column.truncate。

消息键与值转换器

key.converter、value.converter、JsonConverter、AvroConverter、Schema Registry 集成。

事件反压与缓冲

max.batch.size、max.queue.size、poll.interval.ms、max.request.size。

heartbeat.interval.ms、heartbeat.topics.prefix、为何需要心跳。

快照线程与并行度

snapshot.fetch.size、snapshot.max.threads、incremental.snapshot.chunk.size。

incremental.snapshot.enabled、信号表配置、手动触发与自动触发。

DDL 变更捕获

include.schema.changes、schema.history.internal、DDL 过滤策略。

Tombstone 事件与压缩

tombstones.on.delete、Kafka 日志压缩配置、delete 事件处理。

Tombstone压缩

事务边界与元数据

provide.transaction.metadata、transaction.topic、事务边界事件结构。

事务元数据

自定义转换器（SMT）

Single Message Transform 基础、ExtractNewDocumentState、RegexRouter、自定义 SMT 开发。

错误处理与重试

errors.tolerance、errors.deadletterqueue.topic.name、errors.retry.delay.max.ms。

监控与指标

JMX 指标暴露、Prometheus + Grafana 集成、关键指标解读。

日志优化与调试

log.level 配置、连接器日志分类、调试技巧。

模拟高吞吐场景、调整参数对比、瓶颈定位方法。

多数据源配置

同一连接器多数据库、多连接器实例、命名空间冲突解决。

Schema 演进兼容性

Avro 兼容性策略、Schema Registry 配置、前后向兼容。

SSL/TLS 加密、SASL 认证、Kafka 安全集成。

Kafka Connect 分布式模式

worker 配置、rebalance 机制、任务再分配。

分布式Connect

REST API 管理

连接器创建、更新、暂停、恢复、状态查询。

Debezium Server 模式

轻量级部署、目标端配置（Kafka/Pulsar/文件）、适用场景。

Oracle 连接器特殊配置

LogMiner 模式、redo log 管理、SCN 处理。

SQL Server 连接器特殊配置

CDC 启用、捕获实例、LSN 处理。

MongoDB 连接器特殊配置

副本集连接、oplog 读取、变更流配置。

生产环境最佳实践

配置清单、容量规划、升级策略、常见故障排查。

最佳实践生产