VIP20

本课程属于：018-CDC实时同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Debezium集群部署与运维

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念、Debezium是什么、核心特性与适用场景、架构概览。

JDK安装、Kafka集群搭建、Zookeeper配置、MySQL源端准备。

Debezium核心概念

Connector、Snapshot、Offset、Schema History、转换器。

MySQL Connector部署

配置详解、启动连接器、全量与增量快照、常见参数调优。

PostgreSQL Connector部署

配置详解、逻辑复制槽、WAL日志管理、插件安装。

PostgreSQL复制

MongoDB Connector部署

配置详解、副本集要求、变更流捕获、连接器调优。

MongoDB变更流

Oracle Connector部署

配置详解、LogMiner模式、归档日志管理、权限配置。

SQL Server Connector部署

配置详解、CDC启用、捕获实例管理、高可用配置。

Debezium Server模式

REST API部署、嵌入式引擎、Kafka Connect对比、无Kafka模式。

Kafka Connect集群部署

分布式模式、Worker配置、REST API管理、负载均衡。

连接器配置管理

JSON配置详解、环境变量覆盖、动态更新、配置校验。

数据转换与过滤

SMT（单消息转换）、过滤表达式、路由策略、自定义转换器。

Schema管理与演化

Avro序列化、Schema Registry集成、兼容性策略、Schema演化处理。

文件存储、Kafka存储、自定义存储、Offset重置与恢复。

监控与告警

JMX指标、Prometheus集成、Grafana面板、关键指标解读。

监控Prometheus

日志与排错

日志级别调整、常见错误码、连接器失败恢复、Kafka Connect日志分析。

吞吐量优化、延迟控制、批量大小、内存配置、并行度设置。

高可用与容灾

多节点部署、故障转移、数据一致性保证、灾备方案。

高可用容灾

SSL/TLS加密、认证机制、授权控制、审计日志。

多租户与多源管理

多数据库源、命名空间隔离、资源限制、权限分离。

多租户隔离

数据一致性保证

Exactly-Once语义、幂等写入、事务边界、数据校验。

一致性Exactly-Once

增量快照与数据回填

增量快照机制、信号触发、数据补录、性能影响。

Schema变更处理

DDL捕获、表结构变更、兼容性检查、自动适配。

自定义Kafka Connect插件

开发环境搭建、Source/Sink Connector开发、打包部署。

Debezium与Kafka Streams集成

流处理拓扑、状态存储、Exactly-Once、实时ETL。

Kafka Streams集成

Debezium与Flink集成

Flink CDC Connector、动态表、Checkpoint、端到端一致性。

Debezium与Pulsar集成

Pulsar IO Connector、无状态消费、分层存储、多区域复制。

生产环境最佳实践

容量规划、滚动升级、灰度发布、回滚策略、运维手册。

最佳实践运维

故障场景与恢复

连接器挂掉、Kafka宕机、数据库故障、数据不一致修复。

电商订单同步、金融交易审计、实时数仓构建、多数据中心复制。