VIP20

本课程属于：032-数据网格架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CDC技术支撑实时数据产品

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC技术全景

什么是CDC、三种主流实现方式（基于日志、触发器、时间戳）及在实时数据产品中的核心价值。

MySQL Binlog基础

Binlog三种格式（STATEMENT、ROW、MIXED）、开启配置与mysqlbinlog工具的使用方法。

Canal工作原理、架构组件（Server、Instance、EventParser、EventSink、EventStore）及安装配置。

连接MySQL、同步数据到Kafka与Elasticsearch，以及高可用部署方案。

Debezium工作原理、架构（Connector、Snapshot、Streaming）及与Kafka Connect的集成。

连接MySQL、PostgreSQL、MongoDB及配置优化技巧。

Kafka Connect核心

架构（Worker、Connector、Task、Converter）、单机与分布式模式及REST API管理。

实时数据管道构建

从MySQL到Kafka、Kafka到Elasticsearch、Kafka到HDFS的实时管道实践。

数据格式与序列化

Avro与Schema Registry、Protobuf、JSON格式及性能对比分析。

序列化格式

Schema Registry实战

安装配置、Schema注册演化及兼容性策略（BACKWARD、FORWARD、FULL、NONE）。

Schema兼容性

实时数据一致性保障

Exactly-Once语义、幂等性设计、数据去重策略及分布式事务挑战。

一致性事务

数据延迟与监控

延迟常见原因、Prometheus+Grafana监控CDC管道及告警规则设计。

增量快照与全量同步

Debezium增量快照机制、全量与增量同步衔接及数据一致性校验。

DDL变更处理

MySQL DDL对CDC的影响、Canal与Debezium的DDL处理机制及兼容性策略。

多表关联与数据整合

基于CDC的多表实时关联、Flink SQL流表关联及数据宽表构建。

实时数据湖构建

CDC数据入湖（Delta Lake、Iceberg、Hudi）及与数据湖的集成模式。

数据湖入湖

CDC与实时数仓

实时数仓分层架构（ODS、DWD、DWS）、CDC角色及Lambda与Kappa架构对比。

Flink CDC实战

Flink CDC Connector使用、与Debezium对比及Exactly-Once保证机制。

Maxwell工作原理、安装配置及与Canal的对比分析。

DataX离线同步能力、与CDC配合使用及实时模式探索。

CDC安全与权限

数据库账号权限最小化、数据脱敏策略、网络安全及审计日志。

大规模CDC集群

Canal集群部署运维、Debezium扩展性及Kafka Connect负载均衡。

CDC数据回溯

基于时间点的数据恢复、回溯实现方案及对生产环境的影响。

异构数据源同步

MySQL到Oracle、TiDB、ClickHouse的实时同步实践。

CDC与消息队列

Kafka作为CDC消息总线的优势、RocketMQ与Pulsar集成方案。

消息队列集成

CDC数据质量

数据完整性校验、准确性校验及质量监控平台建设。

CDC与微服务

事件驱动架构、微服务间数据一致性及CQRS模式实现。

CDC与缓存同步

基于CDC的缓存失效策略、更新Redis及本地缓存方案。

CDC最佳实践

生产环境选型指南、运维最佳实践及常见问题排查手册。

最佳实践运维

CDC未来趋势

实时数据产品演进、云原生、AI/ML结合及标准化展望。