VIP20

本课程属于：008-CDC增量同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CDC同步方案选型与增量链路落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是CDC、为什么需要CDC、CDC的应用场景。

CDC核心原理

日志捕获机制、增量数据识别、数据变更事件。

CDC主流工具对比

Debezium、Canal、Maxwell、Flink CDC。

CDC选型指南

数据源兼容性、实时性要求、数据一致性、运维复杂度。

CDC架构设计

单机架构、分布式架构、高可用架构。

架构高可用

CDC数据格式

JSON、Avro、Protobuf、Debezium事件格式。

格式序列化

CDC与消息队列

Kafka集成、RocketMQ集成、Pulsar集成。

CDC数据转换

字段映射、类型转换、数据清洗、数据过滤。

CDC数据投递

写入数据湖、写入数据仓库、写入搜索引擎。

CDC监控与运维

延迟监控、数据一致性校验、故障恢复。

CDC性能优化

并行度设置、批量处理、内存管理。

CDC安全机制

数据加密、权限控制、审计日志。

CDC与实时数仓

实时ETL、实时物化视图、实时OLAP。

CDC与数据湖

Delta Lake、Apache Iceberg、Apache Hudi。

数据湖湖仓

CDC与搜索引擎

Elasticsearch同步、Solr同步。

Redis缓存同步、Memcached同步。

CDC与微服务

事件驱动架构、CQRS模式、Saga模式。

微服务架构

CDC与数据迁移

在线迁移、离线迁移、双写策略。

CDC与数据备份

增量备份、时间点恢复、异地容灾。

CDC与数据治理

数据血缘、数据质量、元数据管理。

CDC与云原生

Kubernetes部署、Serverless CDC、云服务CDC。

CDC与多活架构

异地多活、单元化架构、全局一致性。

多活高可用

CDC与数据合规

GDPR合规、数据脱敏、数据保留策略。

CDC与机器学习

实时特征工程、在线学习、模型更新。

CDC与流计算

Flink流处理、Spark Streaming、Kafka Streams。

流计算实时

CDC与批处理

Lambda架构、Kappa架构、流批一体。

批处理架构

CDC与数据同步工具

DataX、Sqoop、Kettle。

CDC与数据集成平台

Apache NiFi、StreamSets、Airbyte。

CDC与数据中台

数据资产、数据服务、数据运营。

CDC未来趋势

实时数据网格、边缘CDC、AI驱动CDC。