VIP13

本课程属于：015-数据仓库、建模与Analytics Engineering 后端、数据与云原生工程 · 共 13 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从CDC到Lakehouse实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念与场景

什么是CDC（变更数据捕获），典型应用场景：数据同步、实时数仓、缓存失效，与批量ETL的对比分析。

CDC技术选型

基于日志的CDC（Debezium、Canal）、触发器、时间戳方案，优缺点对比与选型建议。

Debezium架构（Connector、Snapshot、Streaming），部署模式（Embedded、Kafka Connect），核心概念Source Record与Offset。

MySQL Binlog配置，Debezium MySQL Connector配置启动，观察Insert/Update/Delete变更事件的JSON结构。

Kafka核心概念：Topic、Partition、Consumer Group、Offset，在CDC链路中扮演消息队列、解耦、缓冲角色。

Kafka Connect与Debezium集成

Kafka Connect的Worker、Connector、Converter概念，Debezium作为Source Connector写入Kafka Topic。

Schema Registry与Avro

Schema Registry必要性，Avro序列化/反序列化，Debezium集成Schema Registry，兼容性策略。

Lakehouse概念

数据湖+数据仓库，Delta Lake/Iceberg/Hudi核心特性（ACID、Time Travel、Schema Evolution），与传统数仓对比。

Lakehouse架构

Delta Lake入门

Delta Lake架构（Transaction Log、Parquet），Spark读写Delta表，版本管理与Time Travel。

Apache Iceberg入门

Iceberg表格式（Manifest、Snapshot），Spark/Flink集成，Partition Evolution特性。

Iceberg表格式

Apache Hudi入门

Hudi表类型（Copy on Write vs Merge on Read），Incremental Query，与Debezium配合。

CDC数据入湖（Delta Lake）

Spark Structured Streaming消费Kafka CDC事件，写入Delta Lake，处理Schema变更。

CDC数据入湖（Iceberg）

Flink CDC Connector / Spark Streaming写入Iceberg，Exactly-Once语义保证。

CDC数据入湖（Hudi）

Hudi DeltaStreamer / Spark写入，处理Upsert与Delete操作。

数据一致性保证

Exactly-Once语义（Kafka Offset + Lakehouse Transaction Log），去重策略，数据回滚。

一致性去重

Schema Evolution实战

源表列变更，CDC传递Schema变更，Delta/Iceberg/Hudi自动演化Schema。

实时ETL与CDC

基于CDC的实时清洗（过滤、脱敏、字段映射），Spark/Flink流式ETL写入Lakehouse。

CDC延迟监控与告警

监控CDC延迟（Kafka Lag、Debezium Lag），告警阈值设置，常见延迟原因与排查。

CDC数据质量

数据完整性校验（Count、Checksum），异常事件处理（Dead Letter Queue），数据回溯与修复。

多源CDC合并

多MySQL/PostgreSQL实例CDC合并到同一Lakehouse表，主键冲突与时间戳排序处理。

CDC与反向ETL

从Lakehouse同步变更到业务系统（Redis、Elasticsearch），缓存刷新与搜索索引更新。

反向ETL同步

CDC与数据湖的增量查询

利用Delta Change Data Feed、Iceberg Incremental Read实现增量查询，替代传统批处理。

CDC与Flink SQL

Flink SQL定义CDC Source Table，对CDC流进行SQL分析，写入Lakehouse Sink Table。

Flink SQL流分析

CDC与Spark SQL

Spark SQL读取Kafka CDC数据（DataFrame API），注册临时视图进行SQL分析。

Spark SQL分析

CDC数据湖的权限管理

Lakehouse细粒度权限（Table、Column、Row Level Security），与CDC数据流集成。

CDC数据湖的存储优化

小文件合并（Compaction），Z-Order排序，数据布局优化，提升查询性能。

CDC数据湖的备份与恢复

Lakehouse快照备份，基于Time Travel的数据恢复，跨区域复制。

生产环境CDC架构设计

高可用部署（Kafka Cluster、Debezium Cluster），容灾策略，容量规划。

生产高可用

端到端案例：电商订单系统

电商订单CDC入湖，实时分析订单状态，构建实时大屏。

CDC到Lakehouse的未来趋势

实时数据湖演进，CDC与流式数仓融合，Data Mesh与CDC结合。