VIP20

本课程属于：018-CDC实时同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零搭建CDC实时同步系统

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念与架构

什么是CDC · 应用场景 · Canal/Debezium/DataX方案对比 · 整体架构设计

核心概念架构

环境准备与基础搭建

JDK · MySQL · Kafka · Zookeeper 安装与配置，夯实基础环境

MySQL Binlog原理

Binlog定义 · STATEMENT/ROW/MIXED格式 · 开启配置 · 查看与解析

Canal是什么 · 工作原理 · 安装启动 · 连接MySQL测试

Canal核心配置

instance配置 · MQ配置 · 过滤规则 · 高可用配置详解

配置高可用

Canal客户端开发

Java客户端接入 · 消息解析 · 同步到控制台 · 异常重试

Kafka核心概念

Topic/Partition · Producer/Consumer · 持久化与过期 · 集群搭建

Kafka生产者实战

生产者API · 分区策略 · 确认机制 · 幂等性与事务

生产者实战

Kafka消费者实战

消费者API · 消费组与重平衡 · 位移提交 · 消费速度控制

消费者重平衡

Canal + Kafka 整合

Canal配置Kafka输出 · 消息格式 · Topic命名 · 数据路由

Debezium是什么 · 与Canal对比 · 安装配置 · 连接MySQL

Debezium核心概念

Snapshot/Streaming · Offset管理 · Schema变更 · Server模式

Debezium + Kafka Connect

Kafka Connect架构 · Source/Sink配置 · REST API管理

数据格式与序列化

JSON/Avro详解 · Schema Registry · 自定义序列化器

数据同步目标端设计

写入MySQL/Elasticsearch/HBase/HDFS 目标端实践

目标端存储

全量+增量同步策略

全量同步 · 增量同步 · 断点续传 · 数据一致性校验

策略断点续传

数据过滤与转换

字段/行过滤 · 数据脱敏 · 字段映射与类型转换

数据延迟监控

延迟原因 · 监控指标 · Prometheus+Grafana · 告警规则

数据一致性保障

Exactly-Once · 幂等写入 · 分布式事务 · 数据对账

一致性事务

高可用与容灾

Canal/Kafka高可用 · 多机房同步 · 故障恢复演练

高可用容灾

Canal/Kafka调优 · 消费者并行度 · 批量处理优化

安全与权限

Binlog权限 · Kafka ACL · 加密传输 · 审计日志

多数据源同步

多MySQL实例 · 异构数据源 · 数据路由分发 · 全局ID生成

实时数仓场景

CDC入仓架构 · ODS/DWD层构建 · 实时ETL实现

缓存同步场景

CDC+Redis缓存同步 · 淘汰策略 · 缓存与数据库一致性 · 热点处理

搜索引擎场景

CDC+Elasticsearch同步 · 索引映射 · 全量重建 · 搜索优化

数据湖场景

CDC+Hudi/Iceberg/Delta Lake · 湖仓一体 · Time Travel · Compaction

运维与监控

监控大盘 · 日志采集 · 自动化运维 · 容量规划

故障排查实战

常见问题 · 日志分析 · 断点续传修复 · 数据修复方案

项目实战：电商订单CDC同步

需求分析到上线 · 架构设计文档 · 项目总结与复盘