VIP20

本课程属于：008-CDC增量同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Debezium数据库变更采集与多端同步

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是CDC、Debezium简介、核心概念与架构、应用场景。

MySQL Binlog配置、Kafka集群搭建、Zookeeper部署、Debezium Connector安装。

第一个Connector

MySQL Connector配置、启动任务、查看数据流、常见问题排查。

数据格式解析

Debezium事件结构、Before/After快照、Source元数据、op字段含义。

Schema变更处理

DDL捕获、Schema历史Topic、Avro序列化、Schema Registry集成。

Snapshot模式详解、Snapshot锁策略、增量快照、自定义快照。

过滤与路由

Topic路由、SMT转换、列过滤、表白名单/黑名单、事件过滤。

数据转换(SMT)

单消息转换、基于内容的路由、字段重命名、值转换器。

Kafka Connect深入

REST API管理、Connector生命周期、任务重平衡、Offset管理。

高可用与容错

多节点部署、故障转移、Exactly-Once语义、幂等性保证。

高可用容错

监控与告警

JMX指标、Prometheus集成、Grafana仪表盘、日志分析。

批量大小、轮询间隔、内存配置、并行度设置、吞吐量测试。

多数据源同步

多MySQL实例、多表合并、跨数据中心复制、冲突处理。

目标端写入

Kafka Sink配置、JDBC Sink、Elasticsearch Sink、文件Sink。

PostgreSQL支持

PG逻辑复制、PG输出插件、PG Connector配置、与MySQL对比。

PostgreSQL逻辑复制

MongoDB Oplog、MongoDB Connector、文档变更捕获、集合过滤。

SQL Server支持

SQL Server CDC、SQL Server Connector、表捕获、LSN处理。

Oracle LogMiner、XStream、Oracle Connector、GoldenGate对比。

Cassandra支持

Cassandra CDC、CommitLog阅读器、Cassandra Connector、表映射。

Debezium Server

独立运行模式、目标端配置、文件输出、HTTP推送。

Debezium Operator

Kubernetes部署、Operator CRD、自动伸缩、滚动升级。

数据一致性校验

端到端校验、Checksum对比、延迟监控、数据修复策略。

一致性校验

SSL/TLS加密、认证机制、授权控制、审计日志。

生产环境最佳实践

配置清单、部署拓扑、容量规划、应急预案。

最佳实践生产

实时数仓案例

MySQL到ClickHouse、ETL流程、物化视图、OLAP查询。

数仓ClickHouse

缓存同步案例

MySQL到Redis、缓存失效策略、双写一致性、热点处理。

搜索引擎案例

MySQL到Elasticsearch、索引映射、全量重建、增量同步。

微服务事件驱动

Debezium + Kafka Streams、CQRS模式、事件溯源、状态机。

微服务事件驱动

数据湖集成

Debezium + Hudi/Iceberg、CDC入湖、ACID事务、时间旅行。

故障排查与诊断

常见错误码、日志分析、Offset重置、数据丢失恢复、社区资源。