VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时推荐CDC数据同步与Lakehouse集成

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念与原理

什么是CDC，基于日志、触发器、时间戳的实现方式，以及在数据同步中的核心价值。

常见CDC工具对比

Debezium、Canal、Maxwell、Flink CDC的架构与适用场景深度对比分析。

Debezium深度解析

Debezium架构、核心组件（Connector、Snapshot、Streaming）及多种部署模式详解。

Debezium MySQL Connector实战

配置MySQL源端、开启Binlog，实现全量+增量同步配置与验证。

Debezium PostgreSQL Connector实战

配置PostgreSQL源端、逻辑复制槽、WAL日志解析与同步实践。

Debezium Kafka Connect集成

Kafka Connect架构、Worker配置、REST API管理Connector全流程。

Debezium消息格式与Schema管理

Avro、JSON、Protobuf格式对比，以及Schema Registry集成方案。

Schema序列化

Debezium高级特性

单消息转换（SMT）、Tombstone事件、Heartbeat事件、Exactly-Once语义。

Flink CDC简介

Flink CDC架构、与Debezium的关系，以及2.x版本新特性解读。

Flink CDC MySQL Connector实战

Table API方式、DataStream方式、动态加表等实时同步技巧。

Flink CDC PostgreSQL Connector实战

全量快照、增量读取、水位线对齐，实现精准一致同步。

PostgreSQL水位线

Flink CDC SQL语法详解

CREATE TABLE AS、SELECT INTO、CDC Source定义与SQL语义。

Flink CDC实时ETL

数据清洗、字段映射、类型转换、多流Join实现实时ETL管道。

Flink CDC状态管理与容错

Checkpoint、Savepoint、Exactly-Once保证与故障恢复机制。

Flink CDC与Kafka集成

将CDC数据写入Kafka Topic、多Topic路由、分区策略与配置。

Lakehouse概念与架构

Lakehouse定义、Delta Lake/Iceberg/Hudi对比、ACID事务核心特性。

Lakehouse架构

Delta Lake深度解析

Delta Lake架构、事务日志、版本管理、时间旅行与数据回滚。

Delta时间旅行

Apache Iceberg深度解析

Iceberg表格式、分区演进、隐藏分区、文件布局优化策略。

Apache Hudi深度解析

Hudi表类型（COW/MOR）、索引机制、Clustering、Compaction详解。

CDC数据入湖（Delta Lake）

使用Spark Structured Streaming消费Kafka CDC数据写入Delta表。

CDC数据入湖（Iceberg）

使用Spark/Flink写入Iceberg表、UPSERT语义实现与配置。

CDC数据入湖（Hudi）

使用DeltaStreamer、Flink Hudi Sink、Bulk Insert写入Hudi表。

CDC入湖的Schema演进

新增列、删除列、列类型变更的处理策略与兼容性保障。

Schema演进兼容

CDC入湖的数据一致性保障

幂等写入、去重策略、小文件合并，确保湖内数据准确一致。

一致性去重

CDC入湖的性能优化

并行度调优、批量写入、文件大小控制、Compaction策略实践。

CDC数据湖查询与分析

Spark SQL、Presto/Trino、Hive on Lakehouse查询引擎集成。

CDC数据湖的增量查询

Time Travel、Incremental Query、Change Data Feed实现增量读取。

增量Time Travel

CDC数据湖的实时数仓架构

ODS层、DWD层、DWS层、ADS层的CDC同步链路设计。

CDC数据同步监控与运维

Prometheus+Grafana监控、Connector健康检查、延迟告警体系。

CDC与Lakehouse集成最佳实践

选型建议、架构设计、常见问题排查、生产案例分享与总结。

最佳实践案例

专注课程资料整理