VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时推荐CDC技术实现数据库实时同步

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC技术概述

什么是CDC、CDC的应用场景（数据仓库、缓存更新、微服务解耦）、CDC与ETL的区别。

CDC核心原理

基于日志的CDC（Log-based CDC）、基于查询的CDC（Query-based CDC）、基于触发器的CDC（Trigger-based CDC）。

常见CDC工具对比

Debezium、Canal、Maxwell、Flink CDC、DataX 核心特性与选型分析。

Debezium架构、核心组件（Connector、Snapshot、Streaming）、支持的数据库。

Debezium部署与配置

Kafka Connect集成、MySQL Connector配置实战、PostgreSQL Connector配置实战。

Debezium核心概念

Snapshot机制、Offset管理、Schema Evolution、Tombstone Event。

Debezium高级特性

Single Message Transform（SMT）、New Record State Extraction、Heartbeat。

Canal架构、工作原理、与MySQL Binlog的交互。

Canal部署与配置

Canal Server搭建、Canal Client开发、Canal Admin使用。

Canal高级特性

多库多表订阅、消息投递策略、HA机制。

Maxwell架构、工作原理、与Canal的异同。

Maxwell部署与配置

Kafka集成、RabbitMQ集成、Redis集成。

集成消息队列

Flink CDC入门

Flink CDC架构、DataStream API、Table API。

Flink CDC实战

MySQL到Doris实时同步、PostgreSQL到Kafka实时同步。

Flink CDC高级特性

动态表、时态表、Exactly-Once语义。

CDC数据一致性保障

Exactly-Once语义实现、幂等性设计、数据去重策略。

一致性幂等

CDC延迟监控与优化

延迟指标、监控告警、性能调优（并行度、批量大小）。

CDC数据格式与序列化

Avro、Protobuf、JSON Schema、Schema Registry。

序列化Schema

CDC与消息队列集成

Kafka、Pulsar、RocketMQ、RabbitMQ。

消息队列集成

CDC与数据湖集成

Hudi、Iceberg、Delta Lake。

数据湖集成

CDC与数据仓库集成

ClickHouse、Doris、StarRocks。

数据仓库集成

CDC与缓存同步

Redis缓存更新策略、Canal + Redis实战。

CDC与搜索引擎同步

Elasticsearch索引更新、Debezium + ES实战。

CDC与微服务解耦

事件驱动架构、CQRS模式、CDC作为事件源。

微服务事件驱动

CDC高可用与容灾

多机房部署、故障转移、数据校验。

高可用容灾

CDC安全实践

数据脱敏、访问控制、审计日志。

CDC运维实战

监控大盘（Prometheus + Grafana）、日志分析、问题排查。

CDC性能压测

压测工具（JMeter、Kafka Benchmark）、指标分析、瓶颈定位。

CDC最佳实践

选型建议、架构设计、常见坑与避坑指南。

最佳实践避坑

CDC未来趋势

云原生CDC、Serverless CDC、AI辅助CDC运维。

趋势云原生